JP2022158337A - 制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラム - Google Patents
制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラム Download PDFInfo
- Publication number
- JP2022158337A JP2022158337A JP2021063144A JP2021063144A JP2022158337A JP 2022158337 A JP2022158337 A JP 2022158337A JP 2021063144 A JP2021063144 A JP 2021063144A JP 2021063144 A JP2021063144 A JP 2021063144A JP 2022158337 A JP2022158337 A JP 2022158337A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible light
- control
- ultrasonic
- light image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【課題】超音波画像と可視光画像とを表示させる形態において消費電力を低減することができる制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラムを提供する。【解決手段】携帯情報端末12は、超音波画像Uと可視光画像Cとをモニタ56に表示させる制御を行う表示制御部66と、可視光画像Cにプローブ画像10Cが含まれるか否かを判定する判定部64と、超音波画像Uの表示中にカメラ部52により撮影された可視光画像Cにプローブ画像10Cが含まれる場合には、カメラ部52の所定の駆動及び表示制御部66の可視光画像Cをモニタ56へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、可視光画像Cにプローブ画像10Cが含まれない場合には、カメラ部52の駆動若しくは表示制御部66の駆動の少なくとも一方において第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う消費電力制御部と、を備える。【選択図】図2
Description
本開示は、制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラムに関する。
従来から、被検体の内部の画像を得る技術として、超音波プローブにより被検体の表面を走査して超音波画像を撮影する技術が知られている。超音波プローブは、被検体に向けて送信した超音波による超音波エコーを受信し、受信した超音波エコーに基づく音線信号を出力する。超音波プローブから出力された音線信号に基づき、超音波画像が生成される。
また、超音波プローブを用いた超音波画像の撮影を支援する技術が知られている。例えば、特許文献1には、被検体を超音波プローブにより走査する様子を撮像装置によって撮像して得られた可視光画像と、超音波プローブを用いて得られた超音波画像とを、表示装置に表示させる技術が記載されている。超音波画像と共に、超音波画像を撮影する様子を撮影した可視光画像等の可視光画像を表示させることで、超音波プローブの走査位置や走査状態の確認を容易にすることができる。
ところで、超音波画像と可視光画像とを表示させる場合、超音波画像のみを表示させる場合に比べて、電力の消費量が多くなる。例えば、可視光画像を撮影するためのカメラ部を駆動するための電力が必要となるため、電力の消費量が多くなる。そのため、消費電力を低減することが望まれている。
本開示は上記事情を考慮して成されたものであり、超音波画像と可視光画像とを表示させる形態において消費電力を低減することができる制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラムを提供することを目的とする。
上記目的を達成するために本開示の第1の態様の制御装置は、超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行う表示制御部と、可視光画像に超音波プローブを表す画像が含まれるか否かを判定する判定部と、超音波画像の表示中にカメラ部により撮影された可視光画像に超音波プローブを表す画像が含まれる場合には、カメラ部の所定の駆動及び表示制御部の可視光画像を表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、可視光画像に超音波プローブを表す画像が含まれない場合には、カメラ部の駆動若しくは表示制御部の駆動の少なくとも一方において第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う消費電力制御部と、を備える。
本開示の第2の態様の制御装置は、第1の態様の制御装置において、カメラ部は撮像素子を有し、消費電力制御部は、第2の制御として、撮像素子を間引いて駆動させる制御を行う。
本開示の第3の態様の制御装置は、第1の態様の制御装置において、カメラ部は、可視光画像を動画像として撮影し、消費電力制御部は、第2の制御として、カメラ部が動画像を撮影するフレームレートを低下させる制御を行う。
本開示の第4の態様の制御装置は、第1の態様の制御装置において、消費電力制御部は、第2の制御として、表示部に表示させる可視光画像を暗くする制御を行う。
本開示の第5の態様の制御装置は、第1の態様の制御装置において、カメラ部は、可視光画像を動画像として撮影し、消費電力制御部は、第2の制御として、動画像に代えて可視光画像の静止画像を表示部に表示させる制御を行う。
本開示の第6の態様の制御装置は、第1の態様から第5の態様のいずれか1態様の制御装置において、消費電力制御部により第1の制御が行われている場合には、超音波画像及び可視光画像を記憶部に記憶させ、かつ消費電力制御部により第2の制御が行われている場合には、超音波画像を記憶部に記憶させる制御を行う記憶制御部をさらに備えた。
本開示の第7の態様の制御装置は、第1の態様から第6の態様のいずれか1態様の制御装置において、判定部は、可視光画像を用いて、可視光画像に超音波プローブを表す画像が含まれるか否かを判定する。
本開示の第8の態様の制御装置は、第7の態様の制御装置において、判定部は、可視光画像の中に超音波プローブの本体が含まれるか否かを判定する。
本開示の第9の態様の制御装置は、第7の態様の制御装置において、判定部は、被写体の超音波画像の撮影に用いられている超音波プローブが有するプローブ識別情報を取得し、取得したプローブ識別情報に基づいて可視光画像に超音波プローブを表す画像が含まれるか否かを判定する。
本開示の第10の態様の制御装置は、第9の態様の制御装置において、超音波プローブは、本体の表面にプローブ識別情報を有し、判定部は、取得したプローブ識別情報が可視光画像に含まれる場合に可視光画像に超音波プローブを表す画像が含まれると判定する。
また、上記目的を達成するために本開示の第11の態様の携帯情報端末は、表示部と、カメラ部と、本開示の制御装置と、を備える。
また、上記目的を達成するために本開示の第12の態様の超音波画像撮影システムは、送信した超音波による超音波エコーを受信して受信した超音波エコーに基づく音線信号を生成する超音波プローブと、超音波プローブが生成した音線信号に基づいて超音波画像を生成する画像生成部と、本開示の携帯情報端末と、を備える。
また、上記目的を達成するために本開示の第13の態様の制御方法は、超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、可視光画像に超音波プローブを表す画像が含まれるか否かを判定し、超音波画像の表示中にカメラ部により撮影された可視光画像に超音波プローブを表す画像が含まれる場合には、カメラ部の所定の駆動及び可視光画像を表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、可視光画像に超音波プローブを表す画像が含まれない場合には、カメラ部の駆動若しくは可視光画像を表示部へ表示させる駆動の少なくとも一方において第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う処理をコンピュータが実行するための方法である。
また、上記目的を達成するために本開示の第14の態様の制御プログラムは、超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、可視光画像に超音波プローブを表す画像が含まれるか否かを判定し、超音波画像の表示中にカメラ部により撮影された可視光画像に超音波プローブを表す画像が含まれる場合には、カメラ部の所定の駆動及び可視光画像を表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、可視光画像に超音波プローブを表す画像が含まれない場合には、カメラ部の駆動若しくは可視光画像を表示部へ表示させる駆動の少なくとも一方において第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う処理をコンピュータに実行させるためのものである。
本開示によれば、超音波画像と可視光画像とを表示させる形態において消費電力を低減することができる。
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。なお、本実施形態において、「同一」、「同じ」は、完全に同一または同じであることに限定されず、技術分野で一般的に許容される誤差範囲を含んで、同一または同じとみなせることをいう。
図1には、本実施形態の超音波画像撮影システム1の構成の一例が示されている。また、図2には、超音波プローブ10及び携帯情報端末12の構成の一例を表すブロック図が示されている。図1及び図2に示すように本実施形態の超音波画像撮影システム1は、超音波プローブ10と、携帯情報端末12と、を備える。一例として、本実施形態の超音波プローブ10と携帯情報端末12とは無線通信により接続されている。本実施形態の超音波画像撮影システム1では、超音波プローブ10の撮影環境を撮影して得られた可視光画像Cを携帯情報端末12のモニタ56に表示させることで操作者による超音波プローブ10を用いた超音波画像の撮影を支援する。
まず、本実施形態の超音波プローブ10について説明する。超音波プローブ10は、操作者が保持し、測定対象である被検体の表面に接触される。超音波プローブ10は、生態の内部に対して超音波ビームUBを送受信する。なお、本実施形態の超音波プローブ10は、いわゆるハンドヘルド型の超音波プローブであるが、具体的な形態は特に限定されない。たとえば、超音波プローブ10は、複数の振動子が直線状に配列されたリニア型の超音波プローブであってもよいし、振動子が湾曲して配列されたコンベックス型又はセクタ型の超音波プローブであってもよい。
図2に示すように本実施形態の超音波プローブ10は、振動子アレイ20、送受信回路22、プローブ側通信部26、入力装置28、記憶部29、プローブ制御部30、及び信号処理部32を備える。なお、後述するが、プローブ制御部30及び信号処理部32は、プロセッサ24により構成される。図1に示すように、振動子アレイ20、送受信回路22、プロセッサ24、プローブ側通信部26、入力装置28、及び記憶部29を収容する筐体10Aの表面には、個々の超音波プローブ10を識別するための識別情報10Bが付与されている。本実施形態では、識別情報10Bの一例として、バーコードを採用している。
振動子アレイ20は、送受信回路22に接続されており、送受信回路22は、プロセッサ24の信号処理部32に接続されており、信号処理部32はプローブ側通信部26に接続されている。
振動子アレイ20は、1次元または2次元に配列された複数の振動子(図示省略)を有している。これらの振動子は、それぞれ送受信回路22から供給される駆動信号に応じて超音波ビームUBを送信すると共に、被検体内で生じた超音波エコーを受信して、受信した超音波エコーに応じた電気信号を出力する。複数の振動子の各々は、例えば、PZT(Lead Zirconate Titanate:チタン酸ジルコン酸鉛)に代表される圧電セラミック、PVDF(Poly Vinylidene Di Fluoride:ポリフッ化ビニリデン)に代表される高分子圧電素子およびPMN-PT(Lead Magnesium Niobate-Lead Titanate:マグネシウムニオブ酸鉛-チタン酸鉛固溶体)に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
送受信回路22は、プローブ制御部30の制御に基づいて、振動子アレイ20から被検体に向けて超音波ビームUBの送信を行わせ、かつ振動子アレイ20により取得された受信信号に基づいて音線信号を生成する。送受信回路22は、図3に示すように、増幅部40、AD(Analog Digital)変換部42、ビームフォーマ44、及びパルサ46を備える。
パルサ46は、例えば、複数のパルス発生器を含んでおり、振動子アレイ20に接続されている。パルサ46は、プローブ制御部30からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ20の複数の振動子から送信される超音波が超音波ビームUBを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ20の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームUBが形成される。
送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波プローブ10の振動子アレイ20に向かって伝搬する。振動子アレイ20を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部40に出力する。
増幅部40は、振動子アレイ20に接続されており、振動子アレイ20を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をAD変換部42に送信する。AD変換部42は、増幅部40に接続されており、増幅部40から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ44に送信する。
ビームフォーマ44は、プローブ制御部30からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、AD変換部42により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、AD変換部42で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。生成され音線信号は、信号処理部32に出力される。
信号処理部32は、送受信回路22により生成された音線信号に基づいて、信号処理を施すことにより画像化前の受信データを生成する。より具体的には、信号処理部32は、送受信回路22により生成された音線信号に対して、超音波が反射した位置の深度に応じて伝搬距離に起因する減衰の補正を施した後、包絡線検波処理を施して、画像化前の受信データとして、被検体内の組織に関する断層画像情報を表す信号を生成する。
プローブ側通信部26は、電波の送信及び受信を行うためのアンテナを含んでおり、信号処理部32により生成された画像化前の受信データに基づいてキャリアを変調して、画像化前の受信データを表す伝送信号を生成する。プローブ側通信部26は、このようにして生成された伝送信号をアンテナに供給してアンテナから電波を送信することにより、画像化前の受信データを携帯情報端末12に対して無線通信により送信する。キャリアの変調方式としては、ASK(Amplitude Shift Keying:振幅偏移変調)、PSK(Phase Shift Keying:位相偏移変調)、QPSK(Quadrature Phase Shift Keying:四位相偏移変調)、及び16QAM(16 Quadrature Amplitude Modulation:16直角位相振幅変調)等が用いられる。
また、超音波プローブ10及び携帯情報端末12間の無線通信は、通信規格として、5G(5th Generation:第5世代移動通信システム)、4G(4th Generation:第4世代移動通信システム)等の移動体通信に関する通信規格、WiFi(登録商標)、Bluetooth(登録商標)、UWB(Ultra Wide Band:超広帯域無線システム)等の近距離無線通信を採用してもよい。また、超音波プローブ10と携帯情報端末12とは、互いに近傍に位置することが想定されるため、超音波プローブ10と携帯情報端末12との間の無線通信として、移動体通信および近距離無線通信のいずれの無線通信方式を採用してもよい。
なお、上記のように本実施形態では、超音波プローブ10及び携帯情報端末12間の通信として無線通信を採用しているが、無線通信に代えて、または無線通信とともに有線通信を採用してもよい。
プローブ制御部30は、記憶部29が接続されており、記憶部29に記憶しているプローブ制御プログラム29A等に基づいて、超音波プローブ10の各部の制御を行う。記憶部29としては、例えば、フラッシュメモリ、RAM(Random Access Memory:ランダムアクセスメモリ)、SDカード(Secure Digital card:セキュアデジタルカード)、及びSSD(Solid StateDrive:ソリッドステートドライブ)等を用いることができる。
また、プローブ制御部30には、入力装置28が接続されている。入力装置28は、操作者が、各種指示を行うためのボタン等が含まれる。これら入力装置28としてのボタン等は、例えば、超音波プローブ10の筐体10Aに設けられる。
なお、本実施形態の超音波プローブ10では、上述したように、プローブ制御部30及び信号処理部32は、プロセッサ24により構成される。具体的には、プロセッサ24は、記憶部29に記憶されているプローブ制御プログラム29Aに基づき、RAM(Random Access Memory)等と協働して処理を行うことにより、プローブ制御部30及び信号処理部32として機能する。本実施形態のプロセッサ24は、例えば、CPU(Central Processing Unit)である。
また、図示を省略したが、超音波プローブ10には、バッテリが内蔵されており、このバッテリから超音波プローブ10の各回路に電力が供給される。
次に、本実施形態の携帯情報端末12について説明する。
携帯情報端末12は、図4に示すように、超音波プローブ10を用いて撮影された超音波画像Uを表示する。また、本実施形態の携帯情報端末12は、超音波プローブ10の撮影環境がカメラ部52により撮影された可視光画像Cをモニタ56に表示する。一例として本実施形態の携帯情報端末12は、いわゆるスマートフォンまたはタブレットと呼ばれる携帯型のコンピュータである。本実施形態の携帯情報端末12が、本開示の制御装置の一例である。
図2に示すように本実施形態の携帯情報端末12は、端末側通信部50、カメラ部52、モニタ56、入力装置58、記憶部59、端末制御部60、画像処理部62、判定部64、表示制御部66、及び消費電力制御部68を備える。なお、後述するが、端末制御部60、画像処理部62、判定部64、表示制御部66、及び消費電力制御部68は、プロセッサ54により構成される。端末側通信部50は、画像処理部62に接続されており、画像処理部62は、表示制御部66に接続されている。
端末側通信部50は、電波の送信及び受信を行うためのアンテナを含んでおり、端末制御部60の制御に基づいて、超音波プローブ10のプローブ側通信部26から送信された画像化前の受信データを表す伝送信号を、アンテナを介して受信し、受信した伝送信号を復調することにより画像化前の受信データを画像処理部62に出力する。
画像処理部62は、端末側通信部50から出力された画像化前の受信データを、通常のテレビジョン信号の走査方式に従う画像信号にラスター変換し、変換された画像信号に対して、モニタ56用の表示フォーマットに従う明るさ補正、階調補正、シャープネス補正、画像サイズ補正、リフレッシュレート補正、走査周波数補正、及び色補正等の各種の必要な画像処理を施すことによりBモード(Brightness mode:輝度モード)画像信号を生成する。このようにして生成されたBモード画像信号を、本実施形態では、超音波画像Uという。また、画像処理部62は、生成した超音波画像Uを表示制御部66に出力する。画像処理部62は、プローブ制御部30の制御によって、超音波画像の撮影期間中、超音波画像を一定のフレームレートにて連続して複数回生成し、出力する。
カメラ部52は、可視光画像Cを撮影する撮像装置である。いずれも図示を省略したが、カメラ部52は、撮影レンズと、CMOSイメージセンサと、アナログ信号処理回路と、デジタル信号処理回路とが内蔵されている。CMOSイメージセンサは、2次元状に配列された複数の画素を有し、撮影レンズを通して得られたアナログ信号である可視光画像信号を取得する。本実施形態のCMOSイメージセンサが、本開示の撮像素子の一例である。アナログ信号処理回路は、CMOSイメージセンサにより取得された可視光画像信号を増幅し且つデジタル信号に変換する。デジタル信号処理回路は、アナログ信号処理回路により変換されたデジタル信号に対してゲイン等の各種の補正を行って2次元の可視光画像を生成する。なお、アナログ信号処理回路およびデジタル信号処理回路は、プロセッサ54に内蔵されていてもよい。カメラ部52は、生成した可視光画像Cを、判定部64に出力する。なお、本実施形態のカメラ部52が撮影する可視光画像Cは、所定のフレームレートで複数回撮影を行う動画像である。
判定部64は、カメラ部52により撮影された可視光画像Cに超音波プローブ10を表す画像が含まれるか否かを判定する。上述したように本実施形態の超音波画像撮影システム1は、超音波プローブ10の撮影環境がカメラ部52により撮影される。具体的には、被検体Wを走査する超音波プローブ10、及び被検体Wの超音波プローブ10による走査箇所が撮影される。本実施形態の超音波画像撮影システム1では、超音波プローブ10の撮影環境を表す可視光画像Cを携帯情報端末12のモニタ56に表示させることで操作者による超音波プローブ10を用いた超音波画像の撮影を支援する。
しかしながら、カメラ部52が超音波プローブ10の撮影環境以外を撮影する場合がある。例えば、カメラ部52を被検体Wに向けておらず、被検体Wがいない方向を撮影している場合等は、カメラ部52が超音波プローブ10の撮影環境以外を撮影している状態となる。超音波プローブ10の操作者が意図しないうちに、超音波プローブ10の撮影環境以外をカメラ部52により撮影してしまうことがある。超音波プローブ10の撮影環境以外を撮影対象とした可視光画像Cは、超音波プローブ10の撮影環境を撮影対象とした可視光画像Cに比べて、重要度が低い場合がある。
カメラ部52により超音波プローブ10の撮影環境を撮影した場合、図4に示したように、可視光画像Cには、被検体Wを走査する超音波プローブ10を表すプローブ画像10Cが含まれる。一方、カメラ部52により超音波プローブ10の撮影環境以外を撮影した場合、可視光画像Cには、超音波プローブ10を表すプローブ画像10Cが含まれていない場合が多い。そこで本実施形態の判定部64は、カメラ部52により撮影された可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定することにより、可視光画像Cが、超音波プローブ10の撮影対象以外を撮影した可視光画像Cであるか否かを判定する。
一例として、本実施形態の判定部64は、カメラ部52により撮影された可視光画像Cを用いて、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定する。具体的には、本実施形態の判定部64は、超音波プローブ10の筐体10Aに付与されている識別情報10Bに基づいて、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定する。より具体的には、判定部64は、被検体Wの超音波画像Uの撮影で使用中の超音波プローブ10を表す識別情報10Bを取得する。判定部64が、被検体Wの超音波画像Uの撮影に用いている超音波プローブ10を表す識別情報10Bを取得する方法は特に限定されない。例えば、超音波画像Uの撮影開始前に、超音波プローブ10の筐体10Aに付与されている識別情報10Bをカメラ部52により撮影することにより、判定部64が撮影開始前に識別情報10Bを読み取る形態としてもよい。また、超音波プローブ10自身が自身に付与されている識別情報10Bを記憶している場合、判定部64は、超音波プローブ10に記憶されている識別情報10Bを取得する形態としてもよい。
また、判定部64は、取得した識別情報10Bを表す識別情報画像10BCが、カメラ部52から入力された可視光画像Cから検出された場合、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれていると判定する。判定部64は、判定結果及び可視光画像Cを表示制御部66に出力する。また、判定部64は、判定結果を消費電力制御部68に出力する。
このように識別情報10Bに基づいて、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定することにより、複数の超音波プローブ10の各々を表すプローブ画像10Cが可視光画像Cに含まれる場合でも、使用中の超音波プローブ10に応じたプローブ画像10Cを適切に検出することができる。
表示制御部66は、画像処理部62により生成された超音波画像Uと、カメラ部52により撮影された可視光画像Cとをモニタ56に表示させる制御を行う。一例として、本実施形態の表示制御部66は、超音波画像Uと可視光画像Cとを互いに同期させる。ここで、超音波画像Uと可視光画像Cとを互いに同期させるとは、同一のタイミングで撮影された超音波画像Uと可視光画像Cとを互いに関連付けることである。例えば、超音波プローブ10により、音線信号が生成された時刻を表すタイムスタンプまたは画像処理部62により超音波画像Uが生成された時刻を表すタイムスタンプが超音波画像Uに対して付与され、カメラ部52により、可視光画像Cが撮影された時刻を表すタイムスタンプが可視光画像Cに対して付与される。表示制御部66は、超音波画像Uのタイムスタンプを超音波画像Uが撮影された時刻を表すものとみなし、可視光画像Cのタイムスタンプを可視光画像Cが撮影された時刻を表すものとみなして、超音波画像Uおよび可視光画像Cのタイムスタンプを参照することにより、同一のタイミングで撮影された超音波画像Uと可視光画像Cとを互いに同期する。
また、表示制御部66は、超音波画像Uと可視光画像Cとを関連付ける際に、例えば、超音波画像Uのタイムスタンプと可視光画像Cのタイムスタンプとを参照し、超音波画像Uが撮影された時刻と可視光画像Cが撮影された時刻との差が、一定の範囲内、例えば0.1秒以内であれば、超音波画像Uと可視光画像Cが同一のタイミングで撮影されたものとみなして、関連付けを行ってもよい。また、表示制御部66は、例えば、超音波画像Uのタイムスタンプと可視光画像Cのタイムスタンプとを参照し、関連付けの対象となる超音波画像Uが撮影された時刻に対して最も近い時刻に撮影された可視光画像Cを選択して、選択された可視光画像Cと超音波画像Uとを関連付けてもよい。また、表示制御部66は、例えば、関連付けの対象となる可視光画像Cが撮影された時刻に対して最も近い時刻に撮影された超音波画像Uを選択して、選択された超音波画像Uと可視光画像Cとを関連付けてもよい。
表示制御部66は、端末制御部60の制御に基づいて、図4に示したように、携帯情報端末12のモニタ56に、同期された超音波画像Uと共に可視光画像Cを表示する。モニタ56は、表示制御部66の制御に基づいて、超音波画像U及び可視光画像C等を表示する。モニタ56としては、例えば、LCD(Liquid Crystal Display:液晶ディスプレイ)、有機ELディスプレイ(Organic Electroluminescence Display)等のディスプレイ装置が挙げられる。
消費電力制御部68は、モニタ56に超音波画像Uを表示している最中にカメラ部52により撮影された可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれる場合には、カメラ部52の所定の駆動及び表示制御部66の可視光画像Cをモニタ56へ表示させる所定の駆動を行わせる第1の制御を行う。また、消費電力制御部68は、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれない場合には、カメラ部52の駆動若しくは表示制御部66の駆動の少なくとも一方において第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う。
端末制御部60には、記憶部59が接続されており、記憶部59に記憶している端末制御プログラム59A等に基づいて、携帯情報端末12の各部の制御を行う。記憶部59としては、例えば、フラッシュメモリ、RAM、SDカード、及びSSD等を用いることができる。本実施形態の端末制御プログラム59Aが、本開示の制御プログラムの一例である。
また、端末制御部60には、入力装置28が接続されている。携帯情報端末12の入力装置58は、操作者が各種の指示を行うためのものであり、モニタ56と一体的に設CPUけられたタッチセンサを含んでいる。例えば、操作者は、入力装置58により、超音波プローブ10を制御するための指示を行うことができる。入力装置58により入力された指示は、端末制御部60を介して端末側通信部50から超音波プローブ10に出力される。
なお、本実施形態の携帯情報端末12では、上述したように、端末制御部60、画像処理部62、判定部64、表示制御部66、及び消費電力制御部68は、はプロセッサ54により構成される。具体的には、プロセッサ54は、記憶部59に記憶されている端末制御プログラム59Aに基づき、RAM等と協働して処理を行うことにより、端末制御部60、画像処理部62、判定部64、表示制御部66、及び消費電力制御部68として機能する。本実施形態のプロセッサ54は、例えば、CPUである。
また、図示を省略したが、携帯情報端末12には、バッテリが内蔵されており、このバッテリから携帯情報端末12の各回路に電力が供給される。
次に、本実施形態の携帯情報端末12の作用について図面を参照して説明する。
本実施形態の携帯情報端末12は、一例として、携帯情報端末12の入力装置58により、端末制御プログラム59Aの実行を指示した場合に図5に一例を示した消費電力制御処理を実行する。図5には、本実施形態の携帯情報端末12において実行される消費電力制御処理の流れの一例を表したフローチャートが示されている。
本実施形態の携帯情報端末12は、一例として、携帯情報端末12の入力装置58により、端末制御プログラム59Aの実行を指示した場合に図5に一例を示した消費電力制御処理を実行する。図5には、本実施形態の携帯情報端末12において実行される消費電力制御処理の流れの一例を表したフローチャートが示されている。
図5のステップS100で端末制御部60は、超音波画像Uの取得を開始する。上述したように、画像処理部62は、超音波プローブ10により得られた音線信号に基づいて生成された画像化前の受信データから超音波画像Uを生成する。端末制御部60は、画像処理部62により超音波画像Uの生成を開始させることで、超音波画像Uの取得を開始する。画像処理部62により生成された超音波画像Uは、表示制御部66に出力される。
次のステップS102で端末制御部60は、カメラ部52が起動したか否かを判定する。本実施形態の超音波画像撮影システム1では、超音波プローブ10に設けられた入力装置28または携帯情報端末12に設けられた入力装置58により操作者がカメラ部52の起動を指示することができる。そのため、端末制御部60は、入力装置28または入力装置58によって操作者により行われたカメラ部52の起動の指示を受け付けた場合、カメラ部52が起動したと判定する。なお、端末制御部60が、カメラ部52が起動したか否かを判定する方法は特に限定されない。例えば、超音波プローブ10が被検体Wに接触している場合と、接触していない場合とで、超音波画像Uに含まれるが図が大きく異なる。そのため、超音波プローブ10が被検体Wに接触した場合に自動的にカメラ部52を起動する形態とすることができる。例えば、端末制御部60は、超音波画像Uを解析することにより超音波プローブ10が被検体Wに接触したか否かを検知し、超音波プローブ10が被検体Wに接触したことを検知した場合、カメラ部52を起動させると共に、ステップS102においてカメラ部52が起動したと判定する。
カメラ部52が起動していない場合、ステップS102の判定が否定判定となり、ステップS104へ移行する。ステップS104で表示制御部66は、画像処理部62から入力される超音波画像Uを56に表示させる。この場合、カメラ部52による可視光画像Cの撮影は行われていないため、図6に示すようにモニタ56には、超音波画像U及び可視光画像Cのうち、超音波画像Uが表示される。
次のステップS106で端末制御部60は超音波画像Uの取得を終了するか否かを判定する。一例として、本実施形態の端末制御部60は、超音波プローブ10の電源がオフとされた場合や、超音波プローブ10の入力装置28により操作者が超音波画像Uの撮影の終了を指示した場合等の終了条件を満たす場合に、超音波画像Uの取得を終了すると判定する。超音波画像Uの取得を終了する場合、ステップS106の判定が肯定判定となり、ステップS108へ移行する。
ステップS108で端末制御部60は、超音波画像Uの取得を終了する。具体的には、端末制御部60は、画像処理部62による超音波画像Uの生成を終了させる。
次のステップS110で端末制御部60は、記憶部59に、取得した超音波画像Uを記憶させた後、図5に示した消費電力制御処理を終了する。
一方、ステップS106において超音波画像Uの取得を終了しない場合、ステップS106の判定が否定判定となり、ステップS102に戻る。
ステップS102において、カメラ部52が起動している場合、ステップS102の判定が肯定判定となり、ステップS112へ移行する。ステップS112で端末制御部60は、可視光画像Cの取得を開始する。上述したように、端末制御部60は、判定部64にカメラ部52により撮影された可視光画像Cの取得を開始させる。
次のステップS114で表示制御部66は、超音波画像U及び可視光画像Cをモニタ56に表示させる制御を行う。本制御により、図4に示したように、モニタ56には、超音波画像U及び可視光画像Cが表示される。
次のステップS116で判定部64は、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定するプローブ有無判定処理を実行する。図7には、本実施形態のプローブ有無判定処理の一例を表すフローチャートが示されている。図7のステップS200で判定部64は、超音波画像Uの撮影に使用中の超音波プローブ10の識別情報10Bを取得する。上述したように、判定部64は、例えば、超音波プローブ10に記憶されている識別情報10Bを取得する等により、超音波画像Uの撮影に使用中の超音波プローブ10の識別情報10Bを取得する。
次のステップS202で判定部64は、可視光画像Cから識別情報10Bが検出されたか否かを判定する。上述したように、本実施形態の判定部64は、可視光画像Cから上記ステップS200で取得した識別情報10Bを表す識別情報画像10BCが検出されたか否かを判定する。判定部64が、可視光画像Cから識別情報画像10BCを検出する方法は特に限定されず、例えば、公知のパターンマッチング等の手法を適用することができる。
可視光画像Cから識別情報10Bが検出された場合、ステップS202の判定が肯定判定となり、ステップS204へ移行する。ステップS204で判定部64は、可視光画像Cにプローブ画像10Cが含まれていると判定する。
一方、可視光画像Cから識別情報10Bが検出されない場合、ステップS202の判定が否定判定となり、ステップS206へ移行する。ステップS206で判定部64は、可視光画像Cにプローブ画像10Cが含まれていないと判定する。ステップS204またはステップS206の判定が終了すると、図7に示したプローブ有無判定処理を終了し、図5に示した消費電力制御処理のステップS118へ移行する。
ステップS118で端末制御部60は、上記ステップS116で実行したプローブ有無判定処理の判定結果が可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれているとした判定結果であるか否かを判定する。可視光画像Cにプローブ画像10Cが含まれていないとした判定結果の場合、ステップS118の判定が否定判定となり、ステップS120へ移行する。
ステップS120で消費電力制御部68はカメラ部52の駆動における電力の消費を抑制する第2の制御を行う低消費電力モードに移行するための低消費電力モード移行処理を実行する。図8Aには、本実施形態の低消費電力モード移行処理の一例を表すフローチャートが示されている。図8AのステップS300で消費電力制御部68は、カメラ部52のCMOSイメージセンサの画素を間引いて駆動する間引き駆動を実行させる。カメラ部52のCMOSイメージセンサは、複数の画素が2次元状に、いわば行列状に配置されている。消費電力制御部68は、CMOSイメージセンサにて2次元状に配置されている画素を例えば、1行おきや1列おきに間引き駆動させる。このような撮像素子の間引き駆動により、通常よりも解像度が低い可視光画像Cがカメラ部52により得られる。ステップS300の処理が終了すると、図8Aに示した低消費電力モード移行処理が終了し、図5に示した消費電力制御処理のステップS126へ移行する。
なお、低消費電力モード移行処理は、図8Aに示した形態に限定されない。図8Bには、本実施形態の低消費電力モード移行処理の他の例を表すフローチャートが示されている。図8BのステップS320で消費電力制御部68は、カメラ部52における可視光画像Cを取得するフレームレートを低下させる制御を行う。上述したように可視光画像Cは、所定のフレームレートで複数回撮影を行う動画像であるため、消費電力制御部68は、そのフレームレートを低下させる。ステップS320の処理が終了すると、図8Bに示した低消費電力モード移行処理が終了し、図5に示した消費電力制御処理のステップS126へ移行する。
一方、ステップS116におけるプローブ有無判定処理の判定結果が可視光画像Cにプローブ画像10Cが含まれていないとした判定結果の場合、ステップS118の判定が肯定判定となり、ステップS122へ移行し、第1の制御を行う。
ステップS122で消費電力制御部68は、低消費電力モード中であるか否かを判定する。上記ステップS120の処理を実行しており、低消費電力モードに移行している状態の場合、ステップS122の判定が肯定判定となり、ステップS124へ移行する。
ステップS124で消費電力制御部68は、低消費電力モードから通常モードに移行する。消費電力制御部68は、上記ステップS120で行った低消費電力モード移行処理と反対の処理を行うことにより、通常モードに移行させる。例えば、低消費電力モード移行処理として、図8Aに示したようにカメラ部52のCMOSイメージセンサの間引き駆動を行った場合、消費電力制御部68は、CMOSイメージセンサを間引かずに駆動させることで通常モードに移行させる。例えば、上述したようにCMOSイメージセンサにて2次元状に配置されている画素を、1行おきや1列おきに間引き駆動させた場合、消費電力制御部68は、カメラ部52により全ての行及び列の画素を駆動させる制御を行う。また例えば、低消費電力モード移行処理として図8Bに示したようにカメラ部52における可視光画像Cを取得するフレームレートを低下させる制御を行った場合、消費電力制御部68は、可視光画像Cを取得するフレームレートを低下させる前のフレームレートに戻すことで通常モードに移行させる。
次のステップS126で端末制御部60は超音波画像Uの取得を終了するか否かを判定する。一例として、本実施形態の端末制御部60は、上記ステップS106の処理と同様に、超音波プローブ10の電源がオフとされた場合や、超音波プローブ10の入力装置28により操作者が超音波画像Uの撮影の終了を指示した場合等の終了条件を満たす場合に、超音波画像Uの取得を終了すると判定する。超音波画像Uの取得を終了しない場合、ステップS126の判定が否定判定となり、ステップS128へ移行する。
ステップS128で端末制御部60は、可視光画像Cの取得を終了するか否かを判定する。一例として、本実施形態の端末制御部60は、カメラ部52の起動が終了した場合、可視光画像Cの取得を終了する。例えば、可視光画像Cの表示を終了し、超音波画像Uのみをモニタ56に表示させる場合、操作者は、入力装置28または入力装置58によりカメラ部52の起動を終了させる指示を行う。端末制御部60は、カメラ部52の起動を終了させる指示を受け付けた場合、可視光画像Cの取得を終了すると判定する。
可視光画像Cの取得を終了しない場合、ステップS128の判定が否定判定となり、ステップS114に戻り、ステップS114~S126の処理を繰り返す。一方、可視光画像Cの取得を終了する場合、ステップS128の判定が肯定判定となり、ステップS130へ移行する。
ステップS130で端末制御部60は、可視光画像Cの取得を終了する。具体的には、端末制御部60は、判定部64による可視光画像Cの取得を終了させる。
次のステップS132で端末制御部60は、取得した超音波画像U及び可視光画像Cを上述したように、表示制御部66により同期させた状態で記憶部59に記憶させた後、ステップS104へ移行する。本処理により、超音波画像Uと可視光画像Cとをモニタ56に表示させた場合は、超音波画像Uと可視光画像Cとが同期された状態で記憶部29に記憶される。
一方、上記ステップS126において超音波画像Uの取得を終了する場合、ステップS126の判定が肯定判定となり、ステップS134へ移行する。
ステップS134で端末制御部60は、超音波画像U及び可視光画像Cの取得を終了する。端末制御部60は、上記ステップS108の処理とステップS130の処理とを実行することにより超音波画像U及び可視光画像Cの取得を終了する。
次のステップS136で端末制御部60は、取得した超音波画像U及び可視光画像Cを上述したように、ステップS132と同様に表示制御部66により同期させた状態で記憶部59に記憶させる。本処理により、超音波画像Uと可視光画像Cとをモニタ56に表示させた場合は、超音波画像Uと可視光画像とが同期された状態で記憶部29に記憶される。
ステップS110の処理またはステップS136の処理が終了すると、図5に示した消費電力制御処理が終了する。
なお、上記形態では、消費電力制御部68が第2の制御として、カメラ部52の駆動を制御する形態について説明したが、表示制御部66の可視光画像Cをモニタ56へ表示させる駆動を制御する形態としてもよい。例えば、消費電力制御部68は、図9Aに示した低消費電力モード移行処理を実行する。図9AのステップS340で消費電力制御部68は、可視光画像Cを静止画像でモニタ56に表示させる制御を行う。消費電力制御部68は、例えば、表示制御部66が低消費電力モード移行処理を実行した際に取得した最初の可視光画像Cをモニタ56に表示させたままとすることで、モニタ56に表示される可視光画像Cを動画像から静止画像に切り替える制御を行う。ステップS340の処理が終了すると、図9Aに示した低消費電力モード移行処理が終了し、図5に示した消費電力制御処理のステップS126へ移行する。
また例えば、消費電力制御部68は、図9Bに示した低消費電力モード移行処理を実行する。図9BのステップS360で消費電力制御部68は、モニタ56における可視光画像Cの表示を暗くさせる制御を行う。消費電力制御部68は、例えば、表示制御部66により可視光画像Cの輝度を下げることにより、モニタ56に表示される可視光画像Cを暗くさせる制御を行う。また例えば、モニタ56の可視光画像Cが表示される領域のバックライトを暗くすることにより、モニタ56に表示された可視光画像Cを暗くさせる制御を行う。ステップS360の処理が終了すると、図9Bに示した低消費電力モード移行処理が終了し、図5に示した消費電力制御処理のステップS126へ移行する。
なお、第2の制御として、カメラ部52の駆動を制御する形態と、表示制御部66の可視光画像Cをモニタ56へ表示させる駆動を制御する形態とを組み合わせてもよい。
以上説明したように、上記各形態の携帯情報端末12は、超音波プローブ10により得られた音線信号から生成された超音波画像Uと、カメラ部52により撮影された可視光画像Cとをモニタ56に表示させる制御を行う表示制御部66と、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定する判定部64と、超音波画像Uの表示中にカメラ部52により撮影された可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれる場合には、カメラ部52の所定の駆動及び表示制御部66の可視光画像Cをモニタ56へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれない場合には、カメラ部52の駆動若しくは表示制御部66の駆動の少なくとも一方において第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う消費電力制御部と、を備える。
このように、上記各形態の携帯情報端末12は、可視光画像Cにプローブ画像10Cが含まれていない場合、第2の制御としてカメラ部52の駆動、若しくは表示制御部66の可視光画像Cをモニタ56へ表示させる駆動の少なくとも一方において消費電力の低い駆動を行わせる。従って、上記各形態の携帯情報端末12によれば、超音波画像Uと可視光画像Cとを表示させる形態において消費電力を低減することができる
なお、本開示の技術は、上記各形態に限定されず、さらに種々の変形が可能である。
上記各形態では、超音波画像U及び可視光画像Cをモニタ56に表示させた場合、超音波画像U及び可視光画像Cを記憶部59に記憶させる形態について説明したが、超音波画像U及び可視光画像Cをどのように記憶させるかは本形態に限定されない。例えば、端末制御部60が、図5に示した消費電力制御処理のステップS136に代わり、図10に示した消費電力制御処理のようにステップS136Aの処理を行う形態としてもよい。図10に示した消費電力制御処理では、ステップS136Aで端末制御部60は、消費電力制御部68が第1の制御を行う通常モードの期間は、超音波画像U及び可視光画像Cを記憶部59に記憶させ、かつ消費電力制御部68が第2の制御を行う低消費電力モード期間は、超音波画像Uのみを記憶部59に記憶させる制御を行う。この場合の端末制御部60が、本開示の記憶制御部の一例である。このように、低消費電力モード期間では、超音波画像Uのみを記憶部59に記憶させることで、記憶部59の容量を圧迫するのを抑制することができる。
また、上記形態では、識別情報10Bとしてバーコードを用いた形態について説明したが、識別情報10Bは、バーコードに限定されない。例えば、識別情報10Bは、QRコード(登録商標)等の他の二次元バーコードであってもよいし、文字や数字等であってもよい。また例えば、識別情報10Bは、色や模様等であってもよく、例えば、筐体10Aの色や模様等であってもよい。
また、上記形態では、カメラ部52により撮影された可視光画像Cに超音波プローブ10を表す画像が含まれるか否かの判定方法として、識別情報10Bに基づいて判定部64が判定する形態について説明したが、判定方法は、本形態に特に限定されない。識別情報10Bを用いずに、可視光画像Cに超音波プローブ10を表す画像が含まれるか否かを判定する形態としてもよい。例えば、判定部64が、可視光画像Cの中に超音波プローブ10の本体が含まれるか否かを判定する形態としてもよい。この場合のプローブ有無判定処理の一例を表すフローチャートを図11に示す。
図11に示したプローブ有無判定処理は、図7に示したプローブ有無判定処理のステップS200及びS202に代わり、ステップS200A及びS202Aを備える。図11のステップS200Aで判定部64は、超音波画像Uの撮影に使用中の超音波プローブ10の形状を表す形状情報を取得する。一例として本形態では、超音波プローブ10は、本体の形状として、筐体10Aの形状を表す画像情報が予め超音波プローブ10の記憶部29に記憶されている。判定部64は、記憶部29から筐体10Aの形状を表す画像情報を取得する。次のステップS202Aで判定部64は、可視光画像Cから上記ステップS200Aで取得した形状と一致する形状が検出されたか否かを判定する。
上記例では、判定部64は、上記ステップ200で取得した画像情報が表す形状と一致する形状が可視光画像Cから検出されたか否かを判定する。なお、図4に示したように、超音波プローブ10は操作者により保持されるため、筐体10Aの全体、すなわち本体全体が可視光画像Cに含まれていない場合がある。そのため、判定部64は、上記ステップ200で取得した画像情報が表す形状と所定の割合以上一致する形状が可視光画像Cから検出されたか否かを判定する。判定部64が、可視光画像Cから画像情報が表す形状と一致する形状を検出する方法は特に限定されず、例えば、公知のパターンマッチング等の手法を適用することができる。
また、上記形態では、図4に示したように、超音波画像Uと、可視光画像Cとを並べて表示させる形態について説明したが、超音波画像Uと、可視光画像Cとを共に表示させる表示形態は、本形態に限定されない。例えば、図12に示したように、超音波画像Uに重畳させた状態で可視光画像Cを表示させる形態としてもよい。
また、低消費電力モードに移行するために、超音波プローブ10を表すプローブ画像10Cが含まれているか否かの検出のために可視光画像Cを繰り返し取得するタイミングと、低消費電力モードから通常モードに移行するために、可視光画像Cを繰り返し取得するタイミングとは、同じであっても、異なっていてもよい。例えば、低消費電力モード期間中は、超音波プローブ10を表すプローブ画像10Cが含まれているか否かの検出のために可視光画像Cを繰り返し取得するタイミングを少なくすることにより、より消費電力を抑制することができる。また、逆に、可視光画像Cを繰り返し取得するタイミングを少なくすることにより、通常モードに速やかに復帰することができる。
また、上記形態では、2次元の可視光画像Cを用いて、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定する形態としたが、可視光画像Cに超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定する方法は本形態に限定されない。例えば、カメラ部を被写体のまでの距離を表す距離画像を撮影する距離画像撮影装置(いわゆるTOF(Time Of Flight)カメラ)とすることにより、可視光画像Cとして距離画像を取得し、その距離画像に超音波プローブ10を表すプローブ画像10Cが含まれるか否かを判定する形態としてもよい。
また、上記形態では、携帯情報端末12が、1つのモニタ56を備える形態について説明したが、携帯情報端末12は、複数のモニタ56を備える形態であってもよい。この場合、表示されているタイミングが同一であればよく、超音波画像Uと可視光画像Cとを表示するモニタ56が異なっていてもよい。
上記各形態では、音線信号に基づいて超音波画像Uを生成する画像処理部62が携帯情報端末12に設けられた形態について説明したが、これに代えて、画像処理部62は、超音波プローブ10内に設けられていてもよい。この場合、超音波プローブ10は、超音波画像Uを生成して携帯情報端末12に出力する。
また、上記形態において、例えば、超音波プローブ10のプローブ制御部30及び信号処理部32と、携帯情報端末12の端末制御部60、画像処理部62、判定部64、表示制御部66、及び消費電力制御部68といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記各実施形態では、プローブ制御プログラム29Aが記憶部29に予め記憶(インストール)されており、端末制御プログラム59Aが記憶部59に予め記憶されている態様を説明したが、これに限定されない。プローブ制御プログラム29A及び端末制御プログラム59Aの各々は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プローブ制御プログラム29A及び端末制御プログラム59Aの各々は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の記載から、以下の付記1~9に記載の発明を把握することができる。
[付記1]
少なくとも1つのプロセッサを備え、
前記プロセッサは、
超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、
可視光画像に超音波プローブを表す画像が含まれるか否かを判定し、
前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記表示制御部の前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記表示制御部の駆動の少なくとも一方において前記第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う、
制御装置。
少なくとも1つのプロセッサを備え、
前記プロセッサは、
超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、
可視光画像に超音波プローブを表す画像が含まれるか否かを判定し、
前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記表示制御部の前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記表示制御部の駆動の少なくとも一方において前記第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う、
制御装置。
[付記2]
カメラ部は複数の撮像素子を有し、
前記プロセッサは、
第2の制御として、撮像素子を間引いて駆動させる制御を行う
付記1に記載の制御装置。
カメラ部は複数の撮像素子を有し、
前記プロセッサは、
第2の制御として、撮像素子を間引いて駆動させる制御を行う
付記1に記載の制御装置。
[付記3]
カメラ部は、可視光画像を動画像として撮影し、
前記プロセッサは、
第2の制御として、カメラ部が動画像を撮影するフレームレートを低下させる制御を行う
付記1に記載の制御装置。
カメラ部は、可視光画像を動画像として撮影し、
前記プロセッサは、
第2の制御として、カメラ部が動画像を撮影するフレームレートを低下させる制御を行う
付記1に記載の制御装置。
[付記4]
前記プロセッサは、
第2の制御として、表示部に表示させる可視光画像を暗くする制御を行う
付記1に記載の制御装置。
前記プロセッサは、
第2の制御として、表示部に表示させる可視光画像を暗くする制御を行う
付記1に記載の制御装置。
[付記5]
カメラ部は、可視光画像を動画像として撮影し、
前記プロセッサは、
第2の制御として、動画像に代えて可視光画像の静止画像を表示部に表示させる制御を行う
付記1に記載の制御装置。
カメラ部は、可視光画像を動画像として撮影し、
前記プロセッサは、
第2の制御として、動画像に代えて可視光画像の静止画像を表示部に表示させる制御を行う
付記1に記載の制御装置。
[付記6]
前記プロセッサは、
第1の制御が行われている場合には、超音波画像及び可視光画像を記憶部に記憶させ、かつ第2の制御が行われている場合には、超音波画像を記憶部に記憶させる制御を行う
付記1から付記5のいずれか1項に記載の制御装置。
前記プロセッサは、
第1の制御が行われている場合には、超音波画像及び可視光画像を記憶部に記憶させ、かつ第2の制御が行われている場合には、超音波画像を記憶部に記憶させる制御を行う
付記1から付記5のいずれか1項に記載の制御装置。
[付記7]
前記プロセッサは、
可視光画像を用いて、超音波プローブを表す画像が含まれるか否かを判定する
付記1から付記6のいずれか1項に記載の制御装置。
前記プロセッサは、
可視光画像を用いて、超音波プローブを表す画像が含まれるか否かを判定する
付記1から付記6のいずれか1項に記載の制御装置。
[付記8]
前記プロセッサは、
可視光画像の中に超音波プローブの本体が含まれるか否かを判定する
付記7に記載の制御装置。
前記プロセッサは、
可視光画像の中に超音波プローブの本体が含まれるか否かを判定する
付記7に記載の制御装置。
[付記9]
前記プロセッサは、
被写体の超音波画像の撮影に用いられている超音波プローブが有するプローブ識別情報を取得し、取得したプローブ識別情報に基づいて可視光画像に超音波プローブを表す画像が含まれるか否かを判定する
付記7に記載の制御装置。
前記プロセッサは、
被写体の超音波画像の撮影に用いられている超音波プローブが有するプローブ識別情報を取得し、取得したプローブ識別情報に基づいて可視光画像に超音波プローブを表す画像が含まれるか否かを判定する
付記7に記載の制御装置。
[付記10]
超音波プローブは、本体の表面にプローブ識別情報を有し、
前記プロセッサは、
取得したプローブ識別情報が可視光画像に含まれる場合に可視光画像に超音波プローブを表す画像が含まれると判定する
付記9に記載の制御装置。
超音波プローブは、本体の表面にプローブ識別情報を有し、
前記プロセッサは、
取得したプローブ識別情報が可視光画像に含まれる場合に可視光画像に超音波プローブを表す画像が含まれると判定する
付記9に記載の制御装置。
1 超音波画像撮影システム
10 超音波プローブ、10A 筐体、10B 識別情報、10BC 識別情報画像、10C プローブ画像
12 携帯情報端末
20 振動子アレイ
22 送受信回路
24 プロセッサ
26 プローブ側通信部
28 入力装置
29 記憶部、29A プローブ制御プログラム
30 プローブ制御部
32 信号処理部
40 増幅部
42 AD変換部
44 ビームフォーマ
46 パルサ
50 端末側通信部
52 カメラ部
54 プロセッサ
56 モニタ
58 入力装置
59 記憶部、59A 端末制御プログラム
60 端末制御部
62 画像処理部
64 判定部
66 表示制御部
68 消費電力制御部
C 可視光画像
U 超音波画像、UB 超音波ビーム
W 被検体
10 超音波プローブ、10A 筐体、10B 識別情報、10BC 識別情報画像、10C プローブ画像
12 携帯情報端末
20 振動子アレイ
22 送受信回路
24 プロセッサ
26 プローブ側通信部
28 入力装置
29 記憶部、29A プローブ制御プログラム
30 プローブ制御部
32 信号処理部
40 増幅部
42 AD変換部
44 ビームフォーマ
46 パルサ
50 端末側通信部
52 カメラ部
54 プロセッサ
56 モニタ
58 入力装置
59 記憶部、59A 端末制御プログラム
60 端末制御部
62 画像処理部
64 判定部
66 表示制御部
68 消費電力制御部
C 可視光画像
U 超音波画像、UB 超音波ビーム
W 被検体
Claims (14)
- 超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行う表示制御部と、
前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定する判定部と、
前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記表示制御部の前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記表示制御部の駆動の少なくとも一方において前記第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う消費電力制御部と、
を備えた制御装置。 - 前記カメラ部は撮像素子を有し、
前記消費電力制御部は、前記第2の制御として、前記撮像素子を間引いて駆動させる制御を行う
請求項1に記載の制御装置。 - 前記カメラ部は、前記可視光画像を動画像として撮影し、
前記消費電力制御部は、前記第2の制御として、前記カメラ部が前記動画像を撮影するフレームレートを低下させる制御を行う
請求項1に記載の制御装置。 - 前記消費電力制御部は、前記第2の制御として、前記表示部に表示させる前記可視光画像を暗くする制御を行う
請求項1に記載の制御装置。 - 前記カメラ部は、前記可視光画像を動画像として撮影し、
前記消費電力制御部は、前記第2の制御として、前記動画像に代えて前記可視光画像の静止画像を前記表示部に表示させる制御を行う
請求項1に記載の制御装置。 - 前記消費電力制御部により前記第1の制御が行われている場合には、前記超音波画像及び前記可視光画像を記憶部に記憶させ、かつ前記消費電力制御部により前記第2の制御が行われている場合には、前記超音波画像を記憶部に記憶させる制御を行う記憶制御部をさらに備えた
請求項1から請求項5のいずれか1項に記載の制御装置。 - 前記判定部は、前記可視光画像を用いて、前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定する
請求項1から請求項6のいずれか1項に記載の制御装置。 - 前記判定部は、前記可視光画像の中に前記超音波プローブの本体が含まれるか否かを判定する
請求項7に記載の制御装置。 - 前記判定部は、被写体の超音波画像の撮影に用いられている超音波プローブが有するプローブ識別情報を取得し、取得したプローブ識別情報に基づいて前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定する
請求項7に記載の制御装置。 - 前記超音波プローブは、本体の表面にプローブ識別情報を有し、
前記判定部は、取得したプローブ識別情報が前記可視光画像に含まれる場合に前記可視光画像に前記超音波プローブを表す画像が含まれると判定する
請求項9に記載の制御装置。 - 表示部と、
カメラ部と、
請求項1から請求項10のいずれか1項に記載の制御装置と、
を備えた携帯情報端末。 - 送信した超音波による超音波エコーを受信して受信した超音波エコーに基づく音線信号を生成する超音波プローブと、
前記超音波プローブが生成した前記音線信号に基づいて超音波画像を生成する画像生成部と、
請求項11に記載の携帯情報端末と、
を備えた超音波画像撮影システム。 - 超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、
前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定し、
前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記可視光画像を前記表示部へ表示させる駆動の少なくとも一方において前記第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う、
処理をコンピュータが実行する制御方法。 - 超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、
前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定し、
前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第1の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記可視光画像を前記表示部へ表示させる駆動の少なくとも一方において前記第1の制御よりも消費電力の低い駆動を行わせる第2の制御を行う、
処理をコンピュータに実行させるための制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021063144A JP2022158337A (ja) | 2021-04-01 | 2021-04-01 | 制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021063144A JP2022158337A (ja) | 2021-04-01 | 2021-04-01 | 制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022158337A true JP2022158337A (ja) | 2022-10-17 |
Family
ID=83638634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021063144A Pending JP2022158337A (ja) | 2021-04-01 | 2021-04-01 | 制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022158337A (ja) |
-
2021
- 2021-04-01 JP JP2021063144A patent/JP2022158337A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20120226160A1 (en) | Ultrasound diagnostic apparatus and ultrasound image producing method | |
US20120053465A1 (en) | Ultrasound diagnostic apparatus and ultrasound diagnostic method | |
US12059303B2 (en) | Ultrasound system and method of controlling ultrasound system | |
KR20110139643A (ko) | 초음파 진단 장치 | |
JP2003265468A (ja) | 診断情報生成装置および超音波診断装置 | |
US20120209119A1 (en) | Ultrasound diagnostic apparatus and method of producing ultrasound image | |
US20220125409A1 (en) | Ultrasound system and method of controlling ultrasound system | |
US20210015459A1 (en) | Ultrasound system and method for controlling ultrasound system | |
KR20190094821A (ko) | 초음파 진단 장치 및 그 제어 방법 | |
US11927703B2 (en) | Ultrasound system and method for controlling ultrasound system | |
US20230285007A1 (en) | Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus | |
US11957518B2 (en) | Ultrasound system and control method of ultrasound system | |
JP2022158337A (ja) | 制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラム | |
US11903763B2 (en) | Methods and system for data transfer for ultrasound acquisition with multiple wireless connections | |
JP2012217618A (ja) | 超音波診断装置 | |
EP4014889A1 (en) | Ultrasonic system and method for controlling ultrasonic system | |
JP2013090827A (ja) | 超音波診断装置および超音波画像生成方法 | |
JP7190263B2 (ja) | 超音波診断装置および自動保存制御プログラム | |
JP2012228425A (ja) | 超音波診断装置 | |
JP7434563B2 (ja) | 超音波システムおよび超音波システムの制御方法 | |
EP4252668A1 (en) | Ultrasound diagnostic apparatus and operation method thereof | |
US11801037B2 (en) | Ultrasound system and method for controlling ultrasound system | |
JP2012187256A (ja) | 超音波診断装置および超音波画像生成方法 | |
US20210038194A1 (en) | Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus | |
US20230314581A1 (en) | Ultrasound diagnostic apparatus and control method for ultrasound diagnostic apparatus |