JP2022158337A - 制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラム - Google Patents

Abstract

【課題】超音波画像と可視光画像とを表示させる形態において消費電力を低減することができる制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラムを提供する。【解決手段】携帯情報端末１２は、超音波画像Ｕと可視光画像Ｃとをモニタ５６に表示させる制御を行う表示制御部６６と、可視光画像Ｃにプローブ画像１０Ｃが含まれるか否かを判定する判定部６４と、超音波画像Ｕの表示中にカメラ部５２により撮影された可視光画像Ｃにプローブ画像１０Ｃが含まれる場合には、カメラ部５２の所定の駆動及び表示制御部６６の可視光画像Ｃをモニタ５６へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、可視光画像Ｃにプローブ画像１０Ｃが含まれない場合には、カメラ部５２の駆動若しくは表示制御部６６の駆動の少なくとも一方において第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う消費電力制御部と、を備える。【選択図】図２

Description

本開示は、制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラムに関する。

従来から、被検体の内部の画像を得る技術として、超音波プローブにより被検体の表面を走査して超音波画像を撮影する技術が知られている。超音波プローブは、被検体に向けて送信した超音波による超音波エコーを受信し、受信した超音波エコーに基づく音線信号を出力する。超音波プローブから出力された音線信号に基づき、超音波画像が生成される。

また、超音波プローブを用いた超音波画像の撮影を支援する技術が知られている。例えば、特許文献１には、被検体を超音波プローブにより走査する様子を撮像装置によって撮像して得られた可視光画像と、超音波プローブを用いて得られた超音波画像とを、表示装置に表示させる技術が記載されている。超音波画像と共に、超音波画像を撮影する様子を撮影した可視光画像等の可視光画像を表示させることで、超音波プローブの走査位置や走査状態の確認を容易にすることができる。

特表２０１９－５２１７４５号公報

ところで、超音波画像と可視光画像とを表示させる場合、超音波画像のみを表示させる場合に比べて、電力の消費量が多くなる。例えば、可視光画像を撮影するためのカメラ部を駆動するための電力が必要となるため、電力の消費量が多くなる。そのため、消費電力を低減することが望まれている。

本開示は上記事情を考慮して成されたものであり、超音波画像と可視光画像とを表示させる形態において消費電力を低減することができる制御装置、携帯情報端末、超音波画像撮影システム、制御方法、及び制御プログラムを提供することを目的とする。

上記目的を達成するために本開示の第１の態様の制御装置は、超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行う表示制御部と、可視光画像に超音波プローブを表す画像が含まれるか否かを判定する判定部と、超音波画像の表示中にカメラ部により撮影された可視光画像に超音波プローブを表す画像が含まれる場合には、カメラ部の所定の駆動及び表示制御部の可視光画像を表示部へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、可視光画像に超音波プローブを表す画像が含まれない場合には、カメラ部の駆動若しくは表示制御部の駆動の少なくとも一方において第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う消費電力制御部と、を備える。

本開示の第２の態様の制御装置は、第１の態様の制御装置において、カメラ部は撮像素子を有し、消費電力制御部は、第２の制御として、撮像素子を間引いて駆動させる制御を行う。

本開示の第３の態様の制御装置は、第１の態様の制御装置において、カメラ部は、可視光画像を動画像として撮影し、消費電力制御部は、第２の制御として、カメラ部が動画像を撮影するフレームレートを低下させる制御を行う。

本開示の第４の態様の制御装置は、第１の態様の制御装置において、消費電力制御部は、第２の制御として、表示部に表示させる可視光画像を暗くする制御を行う。

本開示の第５の態様の制御装置は、第１の態様の制御装置において、カメラ部は、可視光画像を動画像として撮影し、消費電力制御部は、第２の制御として、動画像に代えて可視光画像の静止画像を表示部に表示させる制御を行う。

本開示の第６の態様の制御装置は、第１の態様から第５の態様のいずれか１態様の制御装置において、消費電力制御部により第１の制御が行われている場合には、超音波画像及び可視光画像を記憶部に記憶させ、かつ消費電力制御部により第２の制御が行われている場合には、超音波画像を記憶部に記憶させる制御を行う記憶制御部をさらに備えた。

本開示の第７の態様の制御装置は、第１の態様から第６の態様のいずれか１態様の制御装置において、判定部は、可視光画像を用いて、可視光画像に超音波プローブを表す画像が含まれるか否かを判定する。

本開示の第８の態様の制御装置は、第７の態様の制御装置において、判定部は、可視光画像の中に超音波プローブの本体が含まれるか否かを判定する。

本開示の第９の態様の制御装置は、第７の態様の制御装置において、判定部は、被写体の超音波画像の撮影に用いられている超音波プローブが有するプローブ識別情報を取得し、取得したプローブ識別情報に基づいて可視光画像に超音波プローブを表す画像が含まれるか否かを判定する。

本開示の第１０の態様の制御装置は、第９の態様の制御装置において、超音波プローブは、本体の表面にプローブ識別情報を有し、判定部は、取得したプローブ識別情報が可視光画像に含まれる場合に可視光画像に超音波プローブを表す画像が含まれると判定する。

また、上記目的を達成するために本開示の第１１の態様の携帯情報端末は、表示部と、カメラ部と、本開示の制御装置と、を備える。

また、上記目的を達成するために本開示の第１２の態様の超音波画像撮影システムは、送信した超音波による超音波エコーを受信して受信した超音波エコーに基づく音線信号を生成する超音波プローブと、超音波プローブが生成した音線信号に基づいて超音波画像を生成する画像生成部と、本開示の携帯情報端末と、を備える。

また、上記目的を達成するために本開示の第１３の態様の制御方法は、超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、可視光画像に超音波プローブを表す画像が含まれるか否かを判定し、超音波画像の表示中にカメラ部により撮影された可視光画像に超音波プローブを表す画像が含まれる場合には、カメラ部の所定の駆動及び可視光画像を表示部へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、可視光画像に超音波プローブを表す画像が含まれない場合には、カメラ部の駆動若しくは可視光画像を表示部へ表示させる駆動の少なくとも一方において第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う処理をコンピュータが実行するための方法である。

また、上記目的を達成するために本開示の第１４の態様の制御プログラムは、超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、可視光画像に超音波プローブを表す画像が含まれるか否かを判定し、超音波画像の表示中にカメラ部により撮影された可視光画像に超音波プローブを表す画像が含まれる場合には、カメラ部の所定の駆動及び可視光画像を表示部へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、可視光画像に超音波プローブを表す画像が含まれない場合には、カメラ部の駆動若しくは可視光画像を表示部へ表示させる駆動の少なくとも一方において第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う処理をコンピュータに実行させるためのものである。

本開示によれば、超音波画像と可視光画像とを表示させる形態において消費電力を低減することができる。

超音波画像撮影システムの構成の一例を示す図である。 超音波プローブ及び携帯情報端末の構成の一例を示すブロック図である。 送受信回路の構成の一例を示すブロック図である。 超音波画像及び可視光画像の表示形態の一例を示す図である。 携帯情報端末で実行される消費電力制御処理の流れの一例を表したフローチャートである。 超音波画像の表示形態の一例を示す図である、 プローブ有無判定処理の流れの一例を表したフローチャートである。 低消費電力モード移行処理の流れの一例を表したフローチャートである。 低消費電力モード移行処理の流れの他の例を表したフローチャートである。 低消費電力モード移行処理の流れの他の例を表したフローチャートである。 低消費電力モード移行処理の流れの他の例を表したフローチャートである。 携帯情報端末で実行される消費電力制御処理の流れの他の例を表したフローチャートである。 プローブ有無判定処理の流れの他の例を表したフローチャートである。 超音波画像及び可視光画像の表示形態の他の例を示す図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。なお、本実施形態において、「同一」、「同じ」は、完全に同一または同じであることに限定されず、技術分野で一般的に許容される誤差範囲を含んで、同一または同じとみなせることをいう。

図１には、本実施形態の超音波画像撮影システム１の構成の一例が示されている。また、図２には、超音波プローブ１０及び携帯情報端末１２の構成の一例を表すブロック図が示されている。図１及び図２に示すように本実施形態の超音波画像撮影システム１は、超音波プローブ１０と、携帯情報端末１２と、を備える。一例として、本実施形態の超音波プローブ１０と携帯情報端末１２とは無線通信により接続されている。本実施形態の超音波画像撮影システム１では、超音波プローブ１０の撮影環境を撮影して得られた可視光画像Ｃを携帯情報端末１２のモニタ５６に表示させることで操作者による超音波プローブ１０を用いた超音波画像の撮影を支援する。

まず、本実施形態の超音波プローブ１０について説明する。超音波プローブ１０は、操作者が保持し、測定対象である被検体の表面に接触される。超音波プローブ１０は、生態の内部に対して超音波ビームＵＢを送受信する。なお、本実施形態の超音波プローブ１０は、いわゆるハンドヘルド型の超音波プローブであるが、具体的な形態は特に限定されない。たとえば、超音波プローブ１０は、複数の振動子が直線状に配列されたリニア型の超音波プローブであってもよいし、振動子が湾曲して配列されたコンベックス型又はセクタ型の超音波プローブであってもよい。

図２に示すように本実施形態の超音波プローブ１０は、振動子アレイ２０、送受信回路２２、プローブ側通信部２６、入力装置２８、記憶部２９、プローブ制御部３０、及び信号処理部３２を備える。なお、後述するが、プローブ制御部３０及び信号処理部３２は、プロセッサ２４により構成される。図１に示すように、振動子アレイ２０、送受信回路２２、プロセッサ２４、プローブ側通信部２６、入力装置２８、及び記憶部２９を収容する筐体１０Ａの表面には、個々の超音波プローブ１０を識別するための識別情報１０Ｂが付与されている。本実施形態では、識別情報１０Ｂの一例として、バーコードを採用している。

振動子アレイ２０は、送受信回路２２に接続されており、送受信回路２２は、プロセッサ２４の信号処理部３２に接続されており、信号処理部３２はプローブ側通信部２６に接続されている。

振動子アレイ２０は、１次元または２次元に配列された複数の振動子（図示省略）を有している。これらの振動子は、それぞれ送受信回路２２から供給される駆動信号に応じて超音波ビームＵＢを送信すると共に、被検体内で生じた超音波エコーを受信して、受信した超音波エコーに応じた電気信号を出力する。複数の振動子の各々は、例えば、ＰＺＴ（Lead Zirconate Titanate：チタン酸ジルコン酸鉛）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride：ポリフッ化ビニリデン）に代表される高分子圧電素子およびＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate：マグネシウムニオブ酸鉛－チタン酸鉛固溶体）に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。

送受信回路２２は、プローブ制御部３０の制御に基づいて、振動子アレイ２０から被検体に向けて超音波ビームＵＢの送信を行わせ、かつ振動子アレイ２０により取得された受信信号に基づいて音線信号を生成する。送受信回路２２は、図３に示すように、増幅部４０、ＡＤ（Analog Digital）変換部４２、ビームフォーマ４４、及びパルサ４６を備える。

パルサ４６は、例えば、複数のパルス発生器を含んでおり、振動子アレイ２０に接続されている。パルサ４６は、プローブ制御部３０からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ２０の複数の振動子から送信される超音波が超音波ビームＵＢを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ２０の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームＵＢが形成される。

送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波プローブ１０の振動子アレイ２０に向かって伝搬する。振動子アレイ２０を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して、電気信号である受信信号を発生させ、これらの受信信号を増幅部４０に出力する。

増幅部４０は、振動子アレイ２０に接続されており、振動子アレイ２０を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をＡＤ変換部４２に送信する。ＡＤ変換部４２は、増幅部４０に接続されており、増幅部４０から送信された信号をデジタルの受信データに変換し、これらの受信データをビームフォーマ４４に送信する。

ビームフォーマ４４は、プローブ制御部３０からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、ＡＤ変換部４２により変換された各受信データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、ＡＤ変換部４２で変換された各受信データが整相加算され且つ超音波エコーの焦点が絞り込まれた音線信号が取得される。生成され音線信号は、信号処理部３２に出力される。

信号処理部３２は、送受信回路２２により生成された音線信号に基づいて、信号処理を施すことにより画像化前の受信データを生成する。より具体的には、信号処理部３２は、送受信回路２２により生成された音線信号に対して、超音波が反射した位置の深度に応じて伝搬距離に起因する減衰の補正を施した後、包絡線検波処理を施して、画像化前の受信データとして、被検体内の組織に関する断層画像情報を表す信号を生成する。

プローブ側通信部２６は、電波の送信及び受信を行うためのアンテナを含んでおり、信号処理部３２により生成された画像化前の受信データに基づいてキャリアを変調して、画像化前の受信データを表す伝送信号を生成する。プローブ側通信部２６は、このようにして生成された伝送信号をアンテナに供給してアンテナから電波を送信することにより、画像化前の受信データを携帯情報端末１２に対して無線通信により送信する。キャリアの変調方式としては、ＡＳＫ（Amplitude Shift Keying：振幅偏移変調）、ＰＳＫ（Phase Shift Keying：位相偏移変調）、ＱＰＳＫ（Quadrature Phase Shift Keying：四位相偏移変調）、及び１６ＱＡＭ（16 Quadrature Amplitude Modulation：１６直角位相振幅変調）等が用いられる。

また、超音波プローブ１０及び携帯情報端末１２間の無線通信は、通信規格として、５Ｇ（5th Generation：第５世代移動通信システム）、４Ｇ（4th Generation：第４世代移動通信システム）等の移動体通信に関する通信規格、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ultra Wide Band：超広帯域無線システム）等の近距離無線通信を採用してもよい。また、超音波プローブ１０と携帯情報端末１２とは、互いに近傍に位置することが想定されるため、超音波プローブ１０と携帯情報端末１２との間の無線通信として、移動体通信および近距離無線通信のいずれの無線通信方式を採用してもよい。

なお、上記のように本実施形態では、超音波プローブ１０及び携帯情報端末１２間の通信として無線通信を採用しているが、無線通信に代えて、または無線通信とともに有線通信を採用してもよい。

プローブ制御部３０は、記憶部２９が接続されており、記憶部２９に記憶しているプローブ制御プログラム２９Ａ等に基づいて、超音波プローブ１０の各部の制御を行う。記憶部２９としては、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory：ランダムアクセスメモリ）、ＳＤカード（Secure Digital card：セキュアデジタルカード）、及びＳＳＤ（Solid StateDrive：ソリッドステートドライブ）等を用いることができる。

また、プローブ制御部３０には、入力装置２８が接続されている。入力装置２８は、操作者が、各種指示を行うためのボタン等が含まれる。これら入力装置２８としてのボタン等は、例えば、超音波プローブ１０の筐体１０Ａに設けられる。

なお、本実施形態の超音波プローブ１０では、上述したように、プローブ制御部３０及び信号処理部３２は、プロセッサ２４により構成される。具体的には、プロセッサ２４は、記憶部２９に記憶されているプローブ制御プログラム２９Ａに基づき、ＲＡＭ（Random Access Memory）等と協働して処理を行うことにより、プローブ制御部３０及び信号処理部３２として機能する。本実施形態のプロセッサ２４は、例えば、ＣＰＵ（Central Processing Unit）である。

また、図示を省略したが、超音波プローブ１０には、バッテリが内蔵されており、このバッテリから超音波プローブ１０の各回路に電力が供給される。

次に、本実施形態の携帯情報端末１２について説明する。

携帯情報端末１２は、図４に示すように、超音波プローブ１０を用いて撮影された超音波画像Ｕを表示する。また、本実施形態の携帯情報端末１２は、超音波プローブ１０の撮影環境がカメラ部５２により撮影された可視光画像Ｃをモニタ５６に表示する。一例として本実施形態の携帯情報端末１２は、いわゆるスマートフォンまたはタブレットと呼ばれる携帯型のコンピュータである。本実施形態の携帯情報端末１２が、本開示の制御装置の一例である。

図２に示すように本実施形態の携帯情報端末１２は、端末側通信部５０、カメラ部５２、モニタ５６、入力装置５８、記憶部５９、端末制御部６０、画像処理部６２、判定部６４、表示制御部６６、及び消費電力制御部６８を備える。なお、後述するが、端末制御部６０、画像処理部６２、判定部６４、表示制御部６６、及び消費電力制御部６８は、プロセッサ５４により構成される。端末側通信部５０は、画像処理部６２に接続されており、画像処理部６２は、表示制御部６６に接続されている。

端末側通信部５０は、電波の送信及び受信を行うためのアンテナを含んでおり、端末制御部６０の制御に基づいて、超音波プローブ１０のプローブ側通信部２６から送信された画像化前の受信データを表す伝送信号を、アンテナを介して受信し、受信した伝送信号を復調することにより画像化前の受信データを画像処理部６２に出力する。

画像処理部６２は、端末側通信部５０から出力された画像化前の受信データを、通常のテレビジョン信号の走査方式に従う画像信号にラスター変換し、変換された画像信号に対して、モニタ５６用の表示フォーマットに従う明るさ補正、階調補正、シャープネス補正、画像サイズ補正、リフレッシュレート補正、走査周波数補正、及び色補正等の各種の必要な画像処理を施すことによりＢモード（Brightness mode：輝度モード）画像信号を生成する。このようにして生成されたＢモード画像信号を、本実施形態では、超音波画像Ｕという。また、画像処理部６２は、生成した超音波画像Ｕを表示制御部６６に出力する。画像処理部６２は、プローブ制御部３０の制御によって、超音波画像の撮影期間中、超音波画像を一定のフレームレートにて連続して複数回生成し、出力する。

カメラ部５２は、可視光画像Ｃを撮影する撮像装置である。いずれも図示を省略したが、カメラ部５２は、撮影レンズと、ＣＭＯＳイメージセンサと、アナログ信号処理回路と、デジタル信号処理回路とが内蔵されている。ＣＭＯＳイメージセンサは、２次元状に配列された複数の画素を有し、撮影レンズを通して得られたアナログ信号である可視光画像信号を取得する。本実施形態のＣＭＯＳイメージセンサが、本開示の撮像素子の一例である。アナログ信号処理回路は、ＣＭＯＳイメージセンサにより取得された可視光画像信号を増幅し且つデジタル信号に変換する。デジタル信号処理回路は、アナログ信号処理回路により変換されたデジタル信号に対してゲイン等の各種の補正を行って２次元の可視光画像を生成する。なお、アナログ信号処理回路およびデジタル信号処理回路は、プロセッサ５４に内蔵されていてもよい。カメラ部５２は、生成した可視光画像Ｃを、判定部６４に出力する。なお、本実施形態のカメラ部５２が撮影する可視光画像Ｃは、所定のフレームレートで複数回撮影を行う動画像である。

判定部６４は、カメラ部５２により撮影された可視光画像Ｃに超音波プローブ１０を表す画像が含まれるか否かを判定する。上述したように本実施形態の超音波画像撮影システム１は、超音波プローブ１０の撮影環境がカメラ部５２により撮影される。具体的には、被検体Ｗを走査する超音波プローブ１０、及び被検体Ｗの超音波プローブ１０による走査箇所が撮影される。本実施形態の超音波画像撮影システム１では、超音波プローブ１０の撮影環境を表す可視光画像Ｃを携帯情報端末１２のモニタ５６に表示させることで操作者による超音波プローブ１０を用いた超音波画像の撮影を支援する。

しかしながら、カメラ部５２が超音波プローブ１０の撮影環境以外を撮影する場合がある。例えば、カメラ部５２を被検体Ｗに向けておらず、被検体Ｗがいない方向を撮影している場合等は、カメラ部５２が超音波プローブ１０の撮影環境以外を撮影している状態となる。超音波プローブ１０の操作者が意図しないうちに、超音波プローブ１０の撮影環境以外をカメラ部５２により撮影してしまうことがある。超音波プローブ１０の撮影環境以外を撮影対象とした可視光画像Ｃは、超音波プローブ１０の撮影環境を撮影対象とした可視光画像Ｃに比べて、重要度が低い場合がある。

カメラ部５２により超音波プローブ１０の撮影環境を撮影した場合、図４に示したように、可視光画像Ｃには、被検体Ｗを走査する超音波プローブ１０を表すプローブ画像１０Ｃが含まれる。一方、カメラ部５２により超音波プローブ１０の撮影環境以外を撮影した場合、可視光画像Ｃには、超音波プローブ１０を表すプローブ画像１０Ｃが含まれていない場合が多い。そこで本実施形態の判定部６４は、カメラ部５２により撮影された可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定することにより、可視光画像Ｃが、超音波プローブ１０の撮影対象以外を撮影した可視光画像Ｃであるか否かを判定する。

一例として、本実施形態の判定部６４は、カメラ部５２により撮影された可視光画像Ｃを用いて、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定する。具体的には、本実施形態の判定部６４は、超音波プローブ１０の筐体１０Ａに付与されている識別情報１０Ｂに基づいて、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定する。より具体的には、判定部６４は、被検体Ｗの超音波画像Ｕの撮影で使用中の超音波プローブ１０を表す識別情報１０Ｂを取得する。判定部６４が、被検体Ｗの超音波画像Ｕの撮影に用いている超音波プローブ１０を表す識別情報１０Ｂを取得する方法は特に限定されない。例えば、超音波画像Ｕの撮影開始前に、超音波プローブ１０の筐体１０Ａに付与されている識別情報１０Ｂをカメラ部５２により撮影することにより、判定部６４が撮影開始前に識別情報１０Ｂを読み取る形態としてもよい。また、超音波プローブ１０自身が自身に付与されている識別情報１０Ｂを記憶している場合、判定部６４は、超音波プローブ１０に記憶されている識別情報１０Ｂを取得する形態としてもよい。

また、判定部６４は、取得した識別情報１０Ｂを表す識別情報画像１０ＢＣが、カメラ部５２から入力された可視光画像Ｃから検出された場合、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれていると判定する。判定部６４は、判定結果及び可視光画像Ｃを表示制御部６６に出力する。また、判定部６４は、判定結果を消費電力制御部６８に出力する。

このように識別情報１０Ｂに基づいて、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定することにより、複数の超音波プローブ１０の各々を表すプローブ画像１０Ｃが可視光画像Ｃに含まれる場合でも、使用中の超音波プローブ１０に応じたプローブ画像１０Ｃを適切に検出することができる。

表示制御部６６は、画像処理部６２により生成された超音波画像Ｕと、カメラ部５２により撮影された可視光画像Ｃとをモニタ５６に表示させる制御を行う。一例として、本実施形態の表示制御部６６は、超音波画像Ｕと可視光画像Ｃとを互いに同期させる。ここで、超音波画像Ｕと可視光画像Ｃとを互いに同期させるとは、同一のタイミングで撮影された超音波画像Ｕと可視光画像Ｃとを互いに関連付けることである。例えば、超音波プローブ１０により、音線信号が生成された時刻を表すタイムスタンプまたは画像処理部６２により超音波画像Ｕが生成された時刻を表すタイムスタンプが超音波画像Ｕに対して付与され、カメラ部５２により、可視光画像Ｃが撮影された時刻を表すタイムスタンプが可視光画像Ｃに対して付与される。表示制御部６６は、超音波画像Ｕのタイムスタンプを超音波画像Ｕが撮影された時刻を表すものとみなし、可視光画像Ｃのタイムスタンプを可視光画像Ｃが撮影された時刻を表すものとみなして、超音波画像Ｕおよび可視光画像Ｃのタイムスタンプを参照することにより、同一のタイミングで撮影された超音波画像Ｕと可視光画像Ｃとを互いに同期する。

また、表示制御部６６は、超音波画像Ｕと可視光画像Ｃとを関連付ける際に、例えば、超音波画像Ｕのタイムスタンプと可視光画像Ｃのタイムスタンプとを参照し、超音波画像Ｕが撮影された時刻と可視光画像Ｃが撮影された時刻との差が、一定の範囲内、例えば０．１秒以内であれば、超音波画像Ｕと可視光画像Ｃが同一のタイミングで撮影されたものとみなして、関連付けを行ってもよい。また、表示制御部６６は、例えば、超音波画像Ｕのタイムスタンプと可視光画像Ｃのタイムスタンプとを参照し、関連付けの対象となる超音波画像Ｕが撮影された時刻に対して最も近い時刻に撮影された可視光画像Ｃを選択して、選択された可視光画像Ｃと超音波画像Ｕとを関連付けてもよい。また、表示制御部６６は、例えば、関連付けの対象となる可視光画像Ｃが撮影された時刻に対して最も近い時刻に撮影された超音波画像Ｕを選択して、選択された超音波画像Ｕと可視光画像Ｃとを関連付けてもよい。

表示制御部６６は、端末制御部６０の制御に基づいて、図４に示したように、携帯情報端末１２のモニタ５６に、同期された超音波画像Ｕと共に可視光画像Ｃを表示する。モニタ５６は、表示制御部６６の制御に基づいて、超音波画像Ｕ及び可視光画像Ｃ等を表示する。モニタ５６としては、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、有機ＥＬディスプレイ（Organic Electroluminescence Display）等のディスプレイ装置が挙げられる。

消費電力制御部６８は、モニタ５６に超音波画像Ｕを表示している最中にカメラ部５２により撮影された可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれる場合には、カメラ部５２の所定の駆動及び表示制御部６６の可視光画像Ｃをモニタ５６へ表示させる所定の駆動を行わせる第１の制御を行う。また、消費電力制御部６８は、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれない場合には、カメラ部５２の駆動若しくは表示制御部６６の駆動の少なくとも一方において第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う。

端末制御部６０には、記憶部５９が接続されており、記憶部５９に記憶している端末制御プログラム５９Ａ等に基づいて、携帯情報端末１２の各部の制御を行う。記憶部５９としては、例えば、フラッシュメモリ、ＲＡＭ、ＳＤカード、及びＳＳＤ等を用いることができる。本実施形態の端末制御プログラム５９Ａが、本開示の制御プログラムの一例である。

また、端末制御部６０には、入力装置２８が接続されている。携帯情報端末１２の入力装置５８は、操作者が各種の指示を行うためのものであり、モニタ５６と一体的に設ＣＰＵけられたタッチセンサを含んでいる。例えば、操作者は、入力装置５８により、超音波プローブ１０を制御するための指示を行うことができる。入力装置５８により入力された指示は、端末制御部６０を介して端末側通信部５０から超音波プローブ１０に出力される。

なお、本実施形態の携帯情報端末１２では、上述したように、端末制御部６０、画像処理部６２、判定部６４、表示制御部６６、及び消費電力制御部６８は、はプロセッサ５４により構成される。具体的には、プロセッサ５４は、記憶部５９に記憶されている端末制御プログラム５９Ａに基づき、ＲＡＭ等と協働して処理を行うことにより、端末制御部６０、画像処理部６２、判定部６４、表示制御部６６、及び消費電力制御部６８として機能する。本実施形態のプロセッサ５４は、例えば、ＣＰＵである。

また、図示を省略したが、携帯情報端末１２には、バッテリが内蔵されており、このバッテリから携帯情報端末１２の各回路に電力が供給される。

次に、本実施形態の携帯情報端末１２の作用について図面を参照して説明する。
本実施形態の携帯情報端末１２は、一例として、携帯情報端末１２の入力装置５８により、端末制御プログラム５９Ａの実行を指示した場合に図５に一例を示した消費電力制御処理を実行する。図５には、本実施形態の携帯情報端末１２において実行される消費電力制御処理の流れの一例を表したフローチャートが示されている。

図５のステップＳ１００で端末制御部６０は、超音波画像Ｕの取得を開始する。上述したように、画像処理部６２は、超音波プローブ１０により得られた音線信号に基づいて生成された画像化前の受信データから超音波画像Ｕを生成する。端末制御部６０は、画像処理部６２により超音波画像Ｕの生成を開始させることで、超音波画像Ｕの取得を開始する。画像処理部６２により生成された超音波画像Ｕは、表示制御部６６に出力される。

次のステップＳ１０２で端末制御部６０は、カメラ部５２が起動したか否かを判定する。本実施形態の超音波画像撮影システム１では、超音波プローブ１０に設けられた入力装置２８または携帯情報端末１２に設けられた入力装置５８により操作者がカメラ部５２の起動を指示することができる。そのため、端末制御部６０は、入力装置２８または入力装置５８によって操作者により行われたカメラ部５２の起動の指示を受け付けた場合、カメラ部５２が起動したと判定する。なお、端末制御部６０が、カメラ部５２が起動したか否かを判定する方法は特に限定されない。例えば、超音波プローブ１０が被検体Ｗに接触している場合と、接触していない場合とで、超音波画像Ｕに含まれるが図が大きく異なる。そのため、超音波プローブ１０が被検体Ｗに接触した場合に自動的にカメラ部５２を起動する形態とすることができる。例えば、端末制御部６０は、超音波画像Ｕを解析することにより超音波プローブ１０が被検体Ｗに接触したか否かを検知し、超音波プローブ１０が被検体Ｗに接触したことを検知した場合、カメラ部５２を起動させると共に、ステップＳ１０２においてカメラ部５２が起動したと判定する。

カメラ部５２が起動していない場合、ステップＳ１０２の判定が否定判定となり、ステップＳ１０４へ移行する。ステップＳ１０４で表示制御部６６は、画像処理部６２から入力される超音波画像Ｕを５６に表示させる。この場合、カメラ部５２による可視光画像Ｃの撮影は行われていないため、図６に示すようにモニタ５６には、超音波画像Ｕ及び可視光画像Ｃのうち、超音波画像Ｕが表示される。

次のステップＳ１０６で端末制御部６０は超音波画像Ｕの取得を終了するか否かを判定する。一例として、本実施形態の端末制御部６０は、超音波プローブ１０の電源がオフとされた場合や、超音波プローブ１０の入力装置２８により操作者が超音波画像Ｕの撮影の終了を指示した場合等の終了条件を満たす場合に、超音波画像Ｕの取得を終了すると判定する。超音波画像Ｕの取得を終了する場合、ステップＳ１０６の判定が肯定判定となり、ステップＳ１０８へ移行する。

ステップＳ１０８で端末制御部６０は、超音波画像Ｕの取得を終了する。具体的には、端末制御部６０は、画像処理部６２による超音波画像Ｕの生成を終了させる。

次のステップＳ１１０で端末制御部６０は、記憶部５９に、取得した超音波画像Ｕを記憶させた後、図５に示した消費電力制御処理を終了する。

一方、ステップＳ１０６において超音波画像Ｕの取得を終了しない場合、ステップＳ１０６の判定が否定判定となり、ステップＳ１０２に戻る。

ステップＳ１０２において、カメラ部５２が起動している場合、ステップＳ１０２の判定が肯定判定となり、ステップＳ１１２へ移行する。ステップＳ１１２で端末制御部６０は、可視光画像Ｃの取得を開始する。上述したように、端末制御部６０は、判定部６４にカメラ部５２により撮影された可視光画像Ｃの取得を開始させる。

次のステップＳ１１４で表示制御部６６は、超音波画像Ｕ及び可視光画像Ｃをモニタ５６に表示させる制御を行う。本制御により、図４に示したように、モニタ５６には、超音波画像Ｕ及び可視光画像Ｃが表示される。

次のステップＳ１１６で判定部６４は、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定するプローブ有無判定処理を実行する。図７には、本実施形態のプローブ有無判定処理の一例を表すフローチャートが示されている。図７のステップＳ２００で判定部６４は、超音波画像Ｕの撮影に使用中の超音波プローブ１０の識別情報１０Ｂを取得する。上述したように、判定部６４は、例えば、超音波プローブ１０に記憶されている識別情報１０Ｂを取得する等により、超音波画像Ｕの撮影に使用中の超音波プローブ１０の識別情報１０Ｂを取得する。

次のステップＳ２０２で判定部６４は、可視光画像Ｃから識別情報１０Ｂが検出されたか否かを判定する。上述したように、本実施形態の判定部６４は、可視光画像Ｃから上記ステップＳ２００で取得した識別情報１０Ｂを表す識別情報画像１０ＢＣが検出されたか否かを判定する。判定部６４が、可視光画像Ｃから識別情報画像１０ＢＣを検出する方法は特に限定されず、例えば、公知のパターンマッチング等の手法を適用することができる。

可視光画像Ｃから識別情報１０Ｂが検出された場合、ステップＳ２０２の判定が肯定判定となり、ステップＳ２０４へ移行する。ステップＳ２０４で判定部６４は、可視光画像Ｃにプローブ画像１０Ｃが含まれていると判定する。

一方、可視光画像Ｃから識別情報１０Ｂが検出されない場合、ステップＳ２０２の判定が否定判定となり、ステップＳ２０６へ移行する。ステップＳ２０６で判定部６４は、可視光画像Ｃにプローブ画像１０Ｃが含まれていないと判定する。ステップＳ２０４またはステップＳ２０６の判定が終了すると、図７に示したプローブ有無判定処理を終了し、図５に示した消費電力制御処理のステップＳ１１８へ移行する。

ステップＳ１１８で端末制御部６０は、上記ステップＳ１１６で実行したプローブ有無判定処理の判定結果が可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれているとした判定結果であるか否かを判定する。可視光画像Ｃにプローブ画像１０Ｃが含まれていないとした判定結果の場合、ステップＳ１１８の判定が否定判定となり、ステップＳ１２０へ移行する。

ステップＳ１２０で消費電力制御部６８はカメラ部５２の駆動における電力の消費を抑制する第２の制御を行う低消費電力モードに移行するための低消費電力モード移行処理を実行する。図８Ａには、本実施形態の低消費電力モード移行処理の一例を表すフローチャートが示されている。図８ＡのステップＳ３００で消費電力制御部６８は、カメラ部５２のＣＭＯＳイメージセンサの画素を間引いて駆動する間引き駆動を実行させる。カメラ部５２のＣＭＯＳイメージセンサは、複数の画素が２次元状に、いわば行列状に配置されている。消費電力制御部６８は、ＣＭＯＳイメージセンサにて２次元状に配置されている画素を例えば、１行おきや１列おきに間引き駆動させる。このような撮像素子の間引き駆動により、通常よりも解像度が低い可視光画像Ｃがカメラ部５２により得られる。ステップＳ３００の処理が終了すると、図８Ａに示した低消費電力モード移行処理が終了し、図５に示した消費電力制御処理のステップＳ１２６へ移行する。

なお、低消費電力モード移行処理は、図８Ａに示した形態に限定されない。図８Ｂには、本実施形態の低消費電力モード移行処理の他の例を表すフローチャートが示されている。図８ＢのステップＳ３２０で消費電力制御部６８は、カメラ部５２における可視光画像Ｃを取得するフレームレートを低下させる制御を行う。上述したように可視光画像Ｃは、所定のフレームレートで複数回撮影を行う動画像であるため、消費電力制御部６８は、そのフレームレートを低下させる。ステップＳ３２０の処理が終了すると、図８Ｂに示した低消費電力モード移行処理が終了し、図５に示した消費電力制御処理のステップＳ１２６へ移行する。

一方、ステップＳ１１６におけるプローブ有無判定処理の判定結果が可視光画像Ｃにプローブ画像１０Ｃが含まれていないとした判定結果の場合、ステップＳ１１８の判定が肯定判定となり、ステップＳ１２２へ移行し、第１の制御を行う。

ステップＳ１２２で消費電力制御部６８は、低消費電力モード中であるか否かを判定する。上記ステップＳ１２０の処理を実行しており、低消費電力モードに移行している状態の場合、ステップＳ１２２の判定が肯定判定となり、ステップＳ１２４へ移行する。

ステップＳ１２４で消費電力制御部６８は、低消費電力モードから通常モードに移行する。消費電力制御部６８は、上記ステップＳ１２０で行った低消費電力モード移行処理と反対の処理を行うことにより、通常モードに移行させる。例えば、低消費電力モード移行処理として、図８Ａに示したようにカメラ部５２のＣＭＯＳイメージセンサの間引き駆動を行った場合、消費電力制御部６８は、ＣＭＯＳイメージセンサを間引かずに駆動させることで通常モードに移行させる。例えば、上述したようにＣＭＯＳイメージセンサにて２次元状に配置されている画素を、１行おきや１列おきに間引き駆動させた場合、消費電力制御部６８は、カメラ部５２により全ての行及び列の画素を駆動させる制御を行う。また例えば、低消費電力モード移行処理として図８Ｂに示したようにカメラ部５２における可視光画像Ｃを取得するフレームレートを低下させる制御を行った場合、消費電力制御部６８は、可視光画像Ｃを取得するフレームレートを低下させる前のフレームレートに戻すことで通常モードに移行させる。

次のステップＳ１２６で端末制御部６０は超音波画像Ｕの取得を終了するか否かを判定する。一例として、本実施形態の端末制御部６０は、上記ステップＳ１０６の処理と同様に、超音波プローブ１０の電源がオフとされた場合や、超音波プローブ１０の入力装置２８により操作者が超音波画像Ｕの撮影の終了を指示した場合等の終了条件を満たす場合に、超音波画像Ｕの取得を終了すると判定する。超音波画像Ｕの取得を終了しない場合、ステップＳ１２６の判定が否定判定となり、ステップＳ１２８へ移行する。

ステップＳ１２８で端末制御部６０は、可視光画像Ｃの取得を終了するか否かを判定する。一例として、本実施形態の端末制御部６０は、カメラ部５２の起動が終了した場合、可視光画像Ｃの取得を終了する。例えば、可視光画像Ｃの表示を終了し、超音波画像Ｕのみをモニタ５６に表示させる場合、操作者は、入力装置２８または入力装置５８によりカメラ部５２の起動を終了させる指示を行う。端末制御部６０は、カメラ部５２の起動を終了させる指示を受け付けた場合、可視光画像Ｃの取得を終了すると判定する。

可視光画像Ｃの取得を終了しない場合、ステップＳ１２８の判定が否定判定となり、ステップＳ１１４に戻り、ステップＳ１１４～Ｓ１２６の処理を繰り返す。一方、可視光画像Ｃの取得を終了する場合、ステップＳ１２８の判定が肯定判定となり、ステップＳ１３０へ移行する。

ステップＳ１３０で端末制御部６０は、可視光画像Ｃの取得を終了する。具体的には、端末制御部６０は、判定部６４による可視光画像Ｃの取得を終了させる。

次のステップＳ１３２で端末制御部６０は、取得した超音波画像Ｕ及び可視光画像Ｃを上述したように、表示制御部６６により同期させた状態で記憶部５９に記憶させた後、ステップＳ１０４へ移行する。本処理により、超音波画像Ｕと可視光画像Ｃとをモニタ５６に表示させた場合は、超音波画像Ｕと可視光画像Ｃとが同期された状態で記憶部２９に記憶される。

一方、上記ステップＳ１２６において超音波画像Ｕの取得を終了する場合、ステップＳ１２６の判定が肯定判定となり、ステップＳ１３４へ移行する。

ステップＳ１３４で端末制御部６０は、超音波画像Ｕ及び可視光画像Ｃの取得を終了する。端末制御部６０は、上記ステップＳ１０８の処理とステップＳ１３０の処理とを実行することにより超音波画像Ｕ及び可視光画像Ｃの取得を終了する。

次のステップＳ１３６で端末制御部６０は、取得した超音波画像Ｕ及び可視光画像Ｃを上述したように、ステップＳ１３２と同様に表示制御部６６により同期させた状態で記憶部５９に記憶させる。本処理により、超音波画像Ｕと可視光画像Ｃとをモニタ５６に表示させた場合は、超音波画像Ｕと可視光画像とが同期された状態で記憶部２９に記憶される。

ステップＳ１１０の処理またはステップＳ１３６の処理が終了すると、図５に示した消費電力制御処理が終了する。

なお、上記形態では、消費電力制御部６８が第２の制御として、カメラ部５２の駆動を制御する形態について説明したが、表示制御部６６の可視光画像Ｃをモニタ５６へ表示させる駆動を制御する形態としてもよい。例えば、消費電力制御部６８は、図９Ａに示した低消費電力モード移行処理を実行する。図９ＡのステップＳ３４０で消費電力制御部６８は、可視光画像Ｃを静止画像でモニタ５６に表示させる制御を行う。消費電力制御部６８は、例えば、表示制御部６６が低消費電力モード移行処理を実行した際に取得した最初の可視光画像Ｃをモニタ５６に表示させたままとすることで、モニタ５６に表示される可視光画像Ｃを動画像から静止画像に切り替える制御を行う。ステップＳ３４０の処理が終了すると、図９Ａに示した低消費電力モード移行処理が終了し、図５に示した消費電力制御処理のステップＳ１２６へ移行する。

また例えば、消費電力制御部６８は、図９Ｂに示した低消費電力モード移行処理を実行する。図９ＢのステップＳ３６０で消費電力制御部６８は、モニタ５６における可視光画像Ｃの表示を暗くさせる制御を行う。消費電力制御部６８は、例えば、表示制御部６６により可視光画像Ｃの輝度を下げることにより、モニタ５６に表示される可視光画像Ｃを暗くさせる制御を行う。また例えば、モニタ５６の可視光画像Ｃが表示される領域のバックライトを暗くすることにより、モニタ５６に表示された可視光画像Ｃを暗くさせる制御を行う。ステップＳ３６０の処理が終了すると、図９Ｂに示した低消費電力モード移行処理が終了し、図５に示した消費電力制御処理のステップＳ１２６へ移行する。

なお、第２の制御として、カメラ部５２の駆動を制御する形態と、表示制御部６６の可視光画像Ｃをモニタ５６へ表示させる駆動を制御する形態とを組み合わせてもよい。

以上説明したように、上記各形態の携帯情報端末１２は、超音波プローブ１０により得られた音線信号から生成された超音波画像Ｕと、カメラ部５２により撮影された可視光画像Ｃとをモニタ５６に表示させる制御を行う表示制御部６６と、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定する判定部６４と、超音波画像Ｕの表示中にカメラ部５２により撮影された可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれる場合には、カメラ部５２の所定の駆動及び表示制御部６６の可視光画像Ｃをモニタ５６へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれない場合には、カメラ部５２の駆動若しくは表示制御部６６の駆動の少なくとも一方において第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う消費電力制御部と、を備える。

このように、上記各形態の携帯情報端末１２は、可視光画像Ｃにプローブ画像１０Ｃが含まれていない場合、第２の制御としてカメラ部５２の駆動、若しくは表示制御部６６の可視光画像Ｃをモニタ５６へ表示させる駆動の少なくとも一方において消費電力の低い駆動を行わせる。従って、上記各形態の携帯情報端末１２によれば、超音波画像Ｕと可視光画像Ｃとを表示させる形態において消費電力を低減することができる

なお、本開示の技術は、上記各形態に限定されず、さらに種々の変形が可能である。

上記各形態では、超音波画像Ｕ及び可視光画像Ｃをモニタ５６に表示させた場合、超音波画像Ｕ及び可視光画像Ｃを記憶部５９に記憶させる形態について説明したが、超音波画像Ｕ及び可視光画像Ｃをどのように記憶させるかは本形態に限定されない。例えば、端末制御部６０が、図５に示した消費電力制御処理のステップＳ１３６に代わり、図１０に示した消費電力制御処理のようにステップＳ１３６Ａの処理を行う形態としてもよい。図１０に示した消費電力制御処理では、ステップＳ１３６Ａで端末制御部６０は、消費電力制御部６８が第１の制御を行う通常モードの期間は、超音波画像Ｕ及び可視光画像Ｃを記憶部５９に記憶させ、かつ消費電力制御部６８が第２の制御を行う低消費電力モード期間は、超音波画像Ｕのみを記憶部５９に記憶させる制御を行う。この場合の端末制御部６０が、本開示の記憶制御部の一例である。このように、低消費電力モード期間では、超音波画像Ｕのみを記憶部５９に記憶させることで、記憶部５９の容量を圧迫するのを抑制することができる。

また、上記形態では、識別情報１０Ｂとしてバーコードを用いた形態について説明したが、識別情報１０Ｂは、バーコードに限定されない。例えば、識別情報１０Ｂは、ＱＲコード（登録商標）等の他の二次元バーコードであってもよいし、文字や数字等であってもよい。また例えば、識別情報１０Ｂは、色や模様等であってもよく、例えば、筐体１０Ａの色や模様等であってもよい。

また、上記形態では、カメラ部５２により撮影された可視光画像Ｃに超音波プローブ１０を表す画像が含まれるか否かの判定方法として、識別情報１０Ｂに基づいて判定部６４が判定する形態について説明したが、判定方法は、本形態に特に限定されない。識別情報１０Ｂを用いずに、可視光画像Ｃに超音波プローブ１０を表す画像が含まれるか否かを判定する形態としてもよい。例えば、判定部６４が、可視光画像Ｃの中に超音波プローブ１０の本体が含まれるか否かを判定する形態としてもよい。この場合のプローブ有無判定処理の一例を表すフローチャートを図１１に示す。

図１１に示したプローブ有無判定処理は、図７に示したプローブ有無判定処理のステップＳ２００及びＳ２０２に代わり、ステップＳ２００Ａ及びＳ２０２Ａを備える。図１１のステップＳ２００Ａで判定部６４は、超音波画像Ｕの撮影に使用中の超音波プローブ１０の形状を表す形状情報を取得する。一例として本形態では、超音波プローブ１０は、本体の形状として、筐体１０Ａの形状を表す画像情報が予め超音波プローブ１０の記憶部２９に記憶されている。判定部６４は、記憶部２９から筐体１０Ａの形状を表す画像情報を取得する。次のステップＳ２０２Ａで判定部６４は、可視光画像Ｃから上記ステップＳ２００Ａで取得した形状と一致する形状が検出されたか否かを判定する。

上記例では、判定部６４は、上記ステップ２００で取得した画像情報が表す形状と一致する形状が可視光画像Ｃから検出されたか否かを判定する。なお、図４に示したように、超音波プローブ１０は操作者により保持されるため、筐体１０Ａの全体、すなわち本体全体が可視光画像Ｃに含まれていない場合がある。そのため、判定部６４は、上記ステップ２００で取得した画像情報が表す形状と所定の割合以上一致する形状が可視光画像Ｃから検出されたか否かを判定する。判定部６４が、可視光画像Ｃから画像情報が表す形状と一致する形状を検出する方法は特に限定されず、例えば、公知のパターンマッチング等の手法を適用することができる。

また、上記形態では、図４に示したように、超音波画像Ｕと、可視光画像Ｃとを並べて表示させる形態について説明したが、超音波画像Ｕと、可視光画像Ｃとを共に表示させる表示形態は、本形態に限定されない。例えば、図１２に示したように、超音波画像Ｕに重畳させた状態で可視光画像Ｃを表示させる形態としてもよい。

また、低消費電力モードに移行するために、超音波プローブ１０を表すプローブ画像１０Ｃが含まれているか否かの検出のために可視光画像Ｃを繰り返し取得するタイミングと、低消費電力モードから通常モードに移行するために、可視光画像Ｃを繰り返し取得するタイミングとは、同じであっても、異なっていてもよい。例えば、低消費電力モード期間中は、超音波プローブ１０を表すプローブ画像１０Ｃが含まれているか否かの検出のために可視光画像Ｃを繰り返し取得するタイミングを少なくすることにより、より消費電力を抑制することができる。また、逆に、可視光画像Ｃを繰り返し取得するタイミングを少なくすることにより、通常モードに速やかに復帰することができる。

また、上記形態では、２次元の可視光画像Ｃを用いて、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定する形態としたが、可視光画像Ｃに超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定する方法は本形態に限定されない。例えば、カメラ部を被写体のまでの距離を表す距離画像を撮影する距離画像撮影装置（いわゆるＴＯＦ（Time Of Flight）カメラ）とすることにより、可視光画像Ｃとして距離画像を取得し、その距離画像に超音波プローブ１０を表すプローブ画像１０Ｃが含まれるか否かを判定する形態としてもよい。

また、上記形態では、携帯情報端末１２が、１つのモニタ５６を備える形態について説明したが、携帯情報端末１２は、複数のモニタ５６を備える形態であってもよい。この場合、表示されているタイミングが同一であればよく、超音波画像Ｕと可視光画像Ｃとを表示するモニタ５６が異なっていてもよい。

上記各形態では、音線信号に基づいて超音波画像Ｕを生成する画像処理部６２が携帯情報端末１２に設けられた形態について説明したが、これに代えて、画像処理部６２は、超音波プローブ１０内に設けられていてもよい。この場合、超音波プローブ１０は、超音波画像Ｕを生成して携帯情報端末１２に出力する。

また、上記形態において、例えば、超音波プローブ１０のプローブ制御部３０及び信号処理部３２と、携帯情報端末１２の端末制御部６０、画像処理部６２、判定部６４、表示制御部６６、及び消費電力制御部６８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記各実施形態では、プローブ制御プログラム２９Ａが記憶部２９に予め記憶（インストール）されており、端末制御プログラム５９Ａが記憶部５９に予め記憶されている態様を説明したが、これに限定されない。プローブ制御プログラム２９Ａ及び端末制御プログラム５９Ａの各々は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プローブ制御プログラム２９Ａ及び端末制御プログラム５９Ａの各々は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

以上の記載から、以下の付記１～９に記載の発明を把握することができる。

［付記１］
少なくとも１つのプロセッサを備え、
前記プロセッサは、
超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、
可視光画像に超音波プローブを表す画像が含まれるか否かを判定し、
前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記表示制御部の前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記表示制御部の駆動の少なくとも一方において前記第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う、
制御装置。

［付記２］
カメラ部は複数の撮像素子を有し、
前記プロセッサは、
第２の制御として、撮像素子を間引いて駆動させる制御を行う
付記１に記載の制御装置。

［付記３］
カメラ部は、可視光画像を動画像として撮影し、
前記プロセッサは、
第２の制御として、カメラ部が動画像を撮影するフレームレートを低下させる制御を行う
付記１に記載の制御装置。

［付記４］
前記プロセッサは、
第２の制御として、表示部に表示させる可視光画像を暗くする制御を行う
付記１に記載の制御装置。

［付記５］
カメラ部は、可視光画像を動画像として撮影し、
前記プロセッサは、
第２の制御として、動画像に代えて可視光画像の静止画像を表示部に表示させる制御を行う
付記１に記載の制御装置。

［付記６］
前記プロセッサは、
第１の制御が行われている場合には、超音波画像及び可視光画像を記憶部に記憶させ、かつ第２の制御が行われている場合には、超音波画像を記憶部に記憶させる制御を行う
付記１から付記５のいずれか１項に記載の制御装置。

［付記７］
前記プロセッサは、
可視光画像を用いて、超音波プローブを表す画像が含まれるか否かを判定する
付記１から付記６のいずれか１項に記載の制御装置。

［付記８］
前記プロセッサは、
可視光画像の中に超音波プローブの本体が含まれるか否かを判定する
付記７に記載の制御装置。

［付記９］
前記プロセッサは、
被写体の超音波画像の撮影に用いられている超音波プローブが有するプローブ識別情報を取得し、取得したプローブ識別情報に基づいて可視光画像に超音波プローブを表す画像が含まれるか否かを判定する
付記７に記載の制御装置。

［付記１０］
超音波プローブは、本体の表面にプローブ識別情報を有し、
前記プロセッサは、
取得したプローブ識別情報が可視光画像に含まれる場合に可視光画像に超音波プローブを表す画像が含まれると判定する
付記９に記載の制御装置。

１ 超音波画像撮影システム
１０ 超音波プローブ、１０Ａ 筐体、１０Ｂ 識別情報、１０ＢＣ 識別情報画像、１０Ｃ プローブ画像
１２ 携帯情報端末
２０ 振動子アレイ
２２ 送受信回路
２４ プロセッサ
２６ プローブ側通信部
２８ 入力装置
２９ 記憶部、２９Ａ プローブ制御プログラム
３０ プローブ制御部
３２ 信号処理部
４０ 増幅部
４２ ＡＤ変換部
４４ ビームフォーマ
４６ パルサ
５０ 端末側通信部
５２ カメラ部
５４ プロセッサ
５６ モニタ
５８ 入力装置
５９ 記憶部、５９Ａ 端末制御プログラム
６０ 端末制御部
６２ 画像処理部
６４ 判定部
６６ 表示制御部
６８ 消費電力制御部
Ｃ 可視光画像
Ｕ 超音波画像、ＵＢ 超音波ビーム
Ｗ 被検体

Claims (14)

1. 超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行う表示制御部と、
   前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定する判定部と、
   前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記表示制御部の前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記表示制御部の駆動の少なくとも一方において前記第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う消費電力制御部と、
   を備えた制御装置。
2. 前記カメラ部は撮像素子を有し、
   前記消費電力制御部は、前記第２の制御として、前記撮像素子を間引いて駆動させる制御を行う
   請求項１に記載の制御装置。
3. 前記カメラ部は、前記可視光画像を動画像として撮影し、
   前記消費電力制御部は、前記第２の制御として、前記カメラ部が前記動画像を撮影するフレームレートを低下させる制御を行う
   請求項１に記載の制御装置。
4. 前記消費電力制御部は、前記第２の制御として、前記表示部に表示させる前記可視光画像を暗くする制御を行う
   請求項１に記載の制御装置。
5. 前記カメラ部は、前記可視光画像を動画像として撮影し、
   前記消費電力制御部は、前記第２の制御として、前記動画像に代えて前記可視光画像の静止画像を前記表示部に表示させる制御を行う
   請求項１に記載の制御装置。
6. 前記消費電力制御部により前記第１の制御が行われている場合には、前記超音波画像及び前記可視光画像を記憶部に記憶させ、かつ前記消費電力制御部により前記第２の制御が行われている場合には、前記超音波画像を記憶部に記憶させる制御を行う記憶制御部をさらに備えた
   請求項１から請求項５のいずれか１項に記載の制御装置。
7. 前記判定部は、前記可視光画像を用いて、前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定する
   請求項１から請求項６のいずれか１項に記載の制御装置。
8. 前記判定部は、前記可視光画像の中に前記超音波プローブの本体が含まれるか否かを判定する
   請求項７に記載の制御装置。
9. 前記判定部は、被写体の超音波画像の撮影に用いられている超音波プローブが有するプローブ識別情報を取得し、取得したプローブ識別情報に基づいて前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定する
   請求項７に記載の制御装置。
10. 前記超音波プローブは、本体の表面にプローブ識別情報を有し、
    前記判定部は、取得したプローブ識別情報が前記可視光画像に含まれる場合に前記可視光画像に前記超音波プローブを表す画像が含まれると判定する
    請求項９に記載の制御装置。
11. 表示部と、
    カメラ部と、
    請求項１から請求項１０のいずれか１項に記載の制御装置と、
    を備えた携帯情報端末。
12. 送信した超音波による超音波エコーを受信して受信した超音波エコーに基づく音線信号を生成する超音波プローブと、
    前記超音波プローブが生成した前記音線信号に基づいて超音波画像を生成する画像生成部と、
    請求項１１に記載の携帯情報端末と、
    を備えた超音波画像撮影システム。
13. 超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、
    前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定し、
    前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記可視光画像を前記表示部へ表示させる駆動の少なくとも一方において前記第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う、
    処理をコンピュータが実行する制御方法。
14. 超音波プローブにより得られた音線信号から生成された超音波画像と、カメラ部により撮影された可視光画像とを表示部に表示させる制御を行い、
    前記可視光画像に前記超音波プローブを表す画像が含まれるか否かを判定し、
    前記超音波画像の表示中に前記カメラ部により撮影された前記可視光画像に前記超音波プローブを表す画像が含まれる場合には、前記カメラ部の所定の駆動及び前記可視光画像を前記表示部へ表示させる所定の駆動を行わせる第１の制御を行い、かつ、前記可視光画像に前記超音波プローブを表す画像が含まれない場合には、前記カメラ部の駆動若しくは前記可視光画像を前記表示部へ表示させる駆動の少なくとも一方において前記第１の制御よりも消費電力の低い駆動を行わせる第２の制御を行う、
    処理をコンピュータに実行させるための制御プログラム。

Images