JP2016225861A - 情報処理装置、情報処理方法、及び生体内撮像システム - Google Patents

Abstract

【課題】情報処理装置、情報処理方法、及び生体内撮像システムを提供する。
【解決手段】生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、を備える情報処理装置。
【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、及び生体内撮像システムに関する。

近年、立体視可能な立体視画像（両眼立体視画像）をユーザに提示するため、撮像により立体視画像を取得する撮像システムが、例えば医療分野等で用いられている。例えば、特許文献１には、立体視可能な立体視画像を取得するための内視鏡が開示されている。ユーザは、立体視画像を見ることで、例えば二次元画像を見る場合に比べ、より正確な状況把握を行うことが可能である。

特開２０１５−０５２７４６号公報

立体視画像を３Ｄディスプレイ等に表示してユーザに提示する場合、例えば、立体視画像を見てユーザが知覚する視差（左右の目で見える像における差異）が大き過ぎると、表示された立体視画像が非常に見難くなり、ユーザに不快感を与えてしまう場合がある。

そこで、本開示では、ユーザに不快感を与え難い立体視画像の取得を支援することが可能な、新規かつ改良された情報処理装置、情報処理方法、及び生体内撮像システムを提案する。

本開示によれば、生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、を備える情報処理装置が提供される。

また、本開示によれば、生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定することと、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御することと、を含む、情報処理方法が提供される。

また、本開示によれば、生体内を撮像する生体内撮像装置と、前記生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部、を備える情報処理装置と、を有する、生体内撮像システムが提供される。

以上説明したように本開示によれば、ユーザに不快感を与え難い立体視画像の取得を支援することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第一の実施形態にかかる内視鏡手術システムの全体構成を示す説明図である。 ユーザが立体視画像を観察する様子を示す説明図である。 第一の実施形態にかかるＣＣＵの構成例を示す説明図である。 被写体距離とイメージセンサ上の視差の関係を説明するための模式的な説明図である。 表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の一例を示す説明図である。 表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。 表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。 第一の実施形態に係る内視鏡手術システムによるガイド表示に係る動作を説明するための説明図である。 第二の実施形態に係るＣＣＵの構成例を示す説明図である。 仮想視点画像生成技術による仮想視点設定例について説明するための模式的な説明図である。 快適立体視条件が満たされていないと判定された場合に、表示制御部が立体表示装置に表示させるガイド情報、及びガイド情報を仮想視点画像に重畳させた画面の一例を示す説明図である。 本実施形態に係る内視鏡手術システム１による仮想視点画像生成、及びガイド表示に係る動作を説明するための説明図である。 第一の実施形態に変形例１を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。 第二の実施形態に変形例１を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。 ＣＣＵのハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜＜１．第一の実施形態＞＞
＜１−１．第一の実施形態の概要＞
＜１−２．第一の実施形態の構成＞
＜１−３．第一の実施形態の動作＞
＜１−４．第一の実施形態の効果＞
＜＜２．第二の実施形態＞＞
＜２−１．第二の実施形態の構成＞
＜２−２．第二の実施形態の動作＞
＜２−３．第二の実施形態の効果＞
＜＜３．変形例＞
＜３−１．変形例１＞
＜３−２．変形例２＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞

＜＜１．第一の実施形態＞＞
＜１−１．第一の実施形態の概要＞
（内視鏡手術システムの全体構成）
まず、図面を参照しながら本開示の第一の実施形態にかかる内視鏡手術システム（生体内撮像システム）の全体構成（概要）を説明する。図１は、本開示の第一の実施形態にかかる内視鏡手術システムの全体構成を示す説明図である。

近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。例えば、腹部の手術が行われる場合、図１で示されるような手術室に配置される内視鏡手術システム１が用いられる。従来のように腹壁を切って開腹する代わりに、トロッカ１２a,１２bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２a,１２bに設けられている孔から内視鏡（生体内撮像装置）２、エネルギ処置具３や鉗子４等が体内に挿入される。そして、生体内を撮像する内視鏡２によってビデオ撮像され、立体表示装置９に表示された患部（腫瘍等の生体）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト（内視鏡の操作者）、またはロボット等が保持している。

このような内視鏡下手術が行われる手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、及び立体表示装置９等の装置類を載置している。

内視鏡２の観察光学系を通じて撮像されて取得された患部１６の画像像信号がカメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、立体表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。

光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。

処置具用装置７は、例えば電気熱を用いて患部１６を切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。

気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する装置である。

フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御するようになっている。

なお、本実施形態にかかる内視鏡２は、撮像により、左目用画像と右目用画像を組み合わせた立体視画像を取得可能な所謂３Ｄ内視鏡である。内視鏡２は、例えば左右に並べられた２つのカメラ（左カメラ、右カメラ）を有し、当該２つのカメラにより左目用画像、右目用画像を取得してもよい。当該２つのカメラの光軸は交差してもよいし（光軸の輻輳角＞０）、平行であってもよい（光軸の輻輳角＝０）。なお、以下では、内視鏡２が有する左カメラ（左目用カメラ）と右カメラ（右目用カメラ）の光軸は平行である場合を例に挙げ、また、各カメラはピンホールカメラモデルで記述できるものとして説明を行う。

また、本実施形態にかかる立体表示装置９は、左目用画像と右目用画像を、それぞれユーザの左目、右目に見せることが可能な所謂３Ｄディスプレイである。例えば、立体表示装置９は、特殊な光学特性を有する眼鏡を用いた眼鏡式の３Ｄディスプレイでもよいし、視差バリア等を用いた裸眼式の３Ｄディスプレイでもよいし、ＨＭＤ（Head Mounted Display）を用いたＨＭＤ式の３Ｄディスプレイでもよい。なお、以下では、立体表示装置９が裸眼式の３Ｄディスプレイである場合を例に挙げて説明を行う。

（背景）
以上、本実施形態にかかる内視鏡手術システム１の全体構成について説明した。続いて、本実施形態にかかる内視鏡手術システム１の創作に至った背景を説明する。

本実施形態に係る内視鏡２のような３Ｄ内視鏡を用いた手術では、２Ｄ内視鏡を用いた場合に比べ、術者等の立体視画像を観察するユーザに眼精疲労や不快感を与えることが多い。例えば、立体視画像を見てユーザが知覚する視差が大き過ぎると、表示された立体視画像が非常に見づらくなり、ユーザに眼精疲労や不快感を与えてしまう場合がある。

以下では、図２を参照して、ユーザが快適に（眼精疲労や不快感を受けずに）立体視可能な立体視画像の条件（以下、快適立体視条件と呼ぶ場合がある）について説明を行う。

図２は、ユーザが立体視画像を観察する様子を示す説明図である。図２に示す参照符号９２は、立体表示装置９のディスプレイ面を示している。また、図２に示す参照符号Ｅ_Ｒ、及びＥ_Ｌは、それぞれユーザの右目、及び左目を示している。ユーザの右目Ｅ_Ｒ、左目Ｅ_Ｌが、それぞれディスプレイ面９２上の点Ｐ２、Ｐ１に表示された右目用画像、左目用画像を見ることで、ディスプレイ面から離れた点Ｓ１に立体像が知覚される。以下では、ユーザの右目Ｅ_Ｒ、及び左目Ｅ_Ｌが点Ｓ１を見るときの輻輳角αと、ディスプレイ面９２上の一点を見た時の輻輳角βの差α-βを視差角θと呼ぶ。また、ディスプレイ面９２上の点Ｐ１と点Ｐ２の間の距離をディスプレイ上の視差Ｄと呼ぶ。また、視差角θとディスプレイ上の視差Ｄのいずれか、または両方をユーザが知覚する視差と呼ぶ場合がある。

ユーザが快適に立体視を行う（立体像を知覚する）ためには、上記の視差角θとディスプレイ上の視差Ｄが所定の範囲内となることが望ましいことが、様々な実験・研究により知られている。例えば、視差角θの絶対値が大きい場合には、ユーザが快適に立体視を行うことが出来ず、例えば、快適な立体視が可能な視差角の絶対値は１度以下、奥行きを感じられる限界（融合限界とも呼ぶ）の視差角の絶対値は２度程度であることが知られている。また、ディスプレイ上の視差Ｄの絶対値がユーザの両目間隔（成人の平均値は約６０〜６５ｍｍ程度といわれる）より大きい場合、両目用の画像が融合せず（一つの像に見えず）、眼精疲労を起こすことが知られている。したがって、例えば、視差角θとディスプレイ上の視差Ｄがそれぞれ所定の範囲内であるという条件下において、ユーザは快適な立体視が可能となる。

実際の医療現場（手術現場）において、ユーザ（術者等）が見る立体視画像は、上記の条件を満たしてない場合があり、その結果、ユーザに眼精疲労や不快感を与えてしまう場合があった。

上記の条件は、例えば、視環境（ユーザからディスプレイまでの視距離等）を変更する、または撮影状況（内視鏡２の位置、拡大率等）を制御することで、満たすことが可能な場合がある。しかし、医療現場では、大量の機材が配置されているため、例えば立体表示装置９や術者の位置等を変更することは困難であり、視環境の変更は困難な場合が多い。

一方、撮影状況の制御は内視鏡２の操作等により可能であるが、スコピスト（内視鏡の操作者）にとって、上記の条件が満たされているか否か、及び、どのように操作すれば上記の条件が満たされるのか、等を把握することは困難であった。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による内視鏡手術システム１は、上述した条件が満たされるように、前記視差の調整のための撮影状況の制御を誘導することで、ユーザに眼精疲労や不快感を与え難い立体視画像の取得を支援することが可能である。以下、このような効果を実現するための、本実施形態に係る内視鏡手術システム１が有するＣＣＵ５−１の構成について、図３を参照して詳細に説明する。

＜１−２．第一の実施形態の構成＞
図３は、本実施形態に係るＣＣＵ（カメラコントロールユニット）５−１の構成例を示す説明図である。図３に示すように、ＣＣＵ５−１は、信号処理部５２と、評価部５４と、表示制御部５８とを備える情報処理装置である。

信号処理部５２は、図１を参照して説明した内視鏡２から、生体内の撮像に基づいて得られる両眼画像（立体視画像）信号を受け取り、現像、色調整、高画質化処理、及びフォーマット変換等の信号処理を行う。また、信号処理部５２は、信号処理の結果得た立体視画像を評価部５４と表示制御部５８に提供する。

評価部５４は、信号処理部５２から、立体視画像を受け取り、当該立体視画像を見てユーザが知覚する視差についての評価値を特定する。評価部５４が特定する評価値は、例えば、上述した視差角や、ディスプレイ上の視差であってもよいし、視差角や、ディスプレイ上の視差に基づいて特定される値でもよい。なお、以下では、評価部５４が特定する評価値は、視差角とディスプレイ上の視差である例を説明する。評価部５４は、図３に示すように、視差算出部５４１、被写体距離算出部５４２、視差角算出部５４４、判定部５４６を有する。

視差算出部５４１は、信号処理部５２から受け取った立体視画像（左目用画像と右目用画像）から、イメージセンサ上（画像上）の視差ｄ［ｐｉｘｅｌ］、及びディスプレイ上の視差Ｄ［ｍｍ］を算出する。例えば、視差算出部５４１は、周知のステレオマッチング技術等を用いて、左目用画像と右目用画像の対応点探索を行うことで、対応点ごとにイメージセンサ上の視差ｄ［ｐｉｘｅｌ］を算出することが可能である。

また、ディスプレイ上の視差Ｄ［ｍｍ］は、イメージセンサ上の視差ｄ［ｐｉｘｅｌ］を用いて次式のように算出できる。

数式（１）において、ｋは予め与えられるディスプレイ（立体表示装置９）の画素幅［ｍｍ］、ｓは画像シフト量［ｐｉｘｅｌ］である。一般的に、撮像された立体視画像は、それぞれ水平方向にシフト量ｓ［ｐｉｘｅｌ］だけシフトされ、飛び出し基準面（Ｄ＝０となる面）を調整した状態でディスプレイに表示される。立体視画像が光軸平行の２台のカメラで撮像されている場合は、常にｄは０以上であるため、一般にシフト量ｓは負の値が用いられる。

被写体距離算出部５４２は、図４に示す幾何学的な関係に基づき、内視鏡２から観察対象の生体（患部１６）までの距離である被写体距離Ｚ［ｍｍ］を算出する。図４は、被写体距離Ｚとイメージセンサ上の視差ｄの関係を説明するための模式的な説明図である。

図４に示す参照符号Ｏは、観察対象の生体（における一点）を示している。また、参照符号Ｃ_Ｌ、Ｃ_Ｒは、それぞれ左カメラと右カメラの光学中心を示している。また、参照符号Ａ_Ｌ、Ａ_Ｒは、それぞれ左カメラと右カメラの光軸を示している。図４に示すように、左カメラと右カメラの光軸Ａ_Ｌ、Ａ_Ｒは互いに平行している。また、参照符号ＩＳ_Ｌ、ＩＳ_Ｒは、左カメラと右カメラのイメージセンサ面（投影面）を示している。

また、参照符号ｘ_Ｌ、ｘ_Ｒは、それぞれ左カメラと右カメラのイメージセンサ面ＩＳ_Ｌ、ＩＳ_Ｒにおける、観察対象の生体Ｏの座標（投影位置）を示している。ここで、視差算出部５４１により算出されるイメージセンサ上の視差ｄ［ｐｉｘｅｌ］と座標ｘ_Ｌ、ｘ_Ｒには、例えば次式の関係がある。

ここで、図４の幾何学的な関係より、イメージセンサ上の視差ｄ［ｐｉｘｅｌ］と、被写体距離Ｚ［ｍｍ］の関係は、次式のようになる。

数式（３）において、ｆは、図４に示すように、左カメラ、及び右カメラの焦点距離（各カメラの光軸中心からイメージセンサ面までの距離）ｆであり、Ｂは、図４に示すように、左カメラと右カメラの光学中心間距離（以下、基線長と呼ぶ場合がある）である。焦点距離ｆ、及び基線長Ｂは、光学系パラメータとして既知の値であるとしてもよい。

したがって、被写体距離算出部５４２は、例えば視差算出部５４１により算出されるイメージセンサ上の視差ｄ［ｐｉｘｅｌ］を数式（３）に適用して、被写体距離Ｚ［ｍｍ］を算出することが可能である。

また、被写体距離算出部５４２は、立体視画像の各位置について、被写体距離Ｚを算出し、算出した被写体距離Ｚの中から、最大被写体距離Ｚ_maxと最小被写体距離Ｚ_minを選択する。また、被写体距離算出部５４２は、視差算出部５４１が算出したＤの中から、最大被写体距離Ｚ_maxと最小被写体距離Ｚ_minにそれぞれ対応するディスプレイ上の視差Ｄ_maxとディスプレイ上の視差Ｄ_minを選択する。ここで、ディスプレイ上の視差Ｄ_maxは、最大被写体距離Ｚ_maxに対応するディスプレイ上の視差であって、ディスプレイ上の視差の最大値とは限らない。また、同様に、ディスプレイ上の視差Ｄ_minは、最小被写体距離Ｚ_minに対応するディスプレイ上の視差であって、ディスプレイ上の視差の最小値とは限らない。

図３に戻って、視差角算出部５４４は、被写体距離算出部５４２により算出される被写体距離Ｚを用いて、図２を参照して説明した視差角θを算出する。

視差角θとディスプレイ上の視差Ｄには次式の関係があることが知られている。

数式（４）におけるＬは、ユーザ（ディスプレイの観察者）からディスプレイまでの距離（視距離）である。視距離Ｌは、例えば典型的な医療現場における値として１〜２ｍの値が用いられてもよいし、ユーザによる入力、または距離センサなどにより取得されてもよい。なお、数式（４）からもわかる通り、視差角θ＜０のとき（立体像がディスプレイより奥に知覚されるとき）、ディスプレイ上の視差Ｄは負の値をとる。

ここで、数式（１）、（３）、（４）より、視差角θは被写体距離Ｚを用いて次式のように近似することができる。

視差角算出部５４４は上記の数式（５）を用いることで、被写体距離Ｚに基づいて評価値である視差角θを算出することが可能である。

なお、本実施形態に係る視差角算出部５４４は、立体視画像の全ての位置に対する視差角θを算出してもよいし、被写体距離算出部５４２が選択した最大被写体距離Ｚ_maxと最小被写体距離Ｚ_minに対応する視差角θ_maxと視差角θ_minだけを算出してもよい。ここで、視差角θ_maxは、最大被写体距離Ｚ_maxに対応する視差角であって、視差角の最大値とは限らない。また、同様に、視差角θ_minは、最小被写体距離Ｚ_minに対応する視差角であって、視差角の最小値とは限らない。

上述のように、立体視画像における被写体距離のうち、最大の被写体距離に対応する評価値と、最小の被写体距離に対応する評価値を特定することで、後述する判定部５４６は、全ての位置に対する評価値に対して判定を行う必要がなく、処理が簡易になる。

判定部５４６は、上述した評価値に基づいて、内視鏡２により取得される立体視画像が、快適立体視条件を満たす否かの判定を行う。例えば、判定部５４６は、最小被写体距離Ｚ_minに対応する視差角θ_minとディスプレイ上の視差Ｄ_min、及び、最大被写体距離Ｚ_maxに対応する視差角θ_maxとディスプレイ上の視差Ｄ_maxが、それぞれ次の数式を満たすか否かの判定により上記判定を行ってもよい。

上記の数式（６）〜（９）において、閾値θ_thは視差角が快適立体視条件を満たすか否かを判定するための閾値であり、閾値Ｄ_thはディスプレイ上の視差が快適立体視条件を満たすか否かを判定するための閾値である。例えば、図２を参照して説明した内容に基づき、θ_thを１度、Ｄ_thを６０ｍｍと設定して、上記判定が行われてもよい。

表示制御部５８は、評価値に基づく上記の判定に応じて、前記視差の調整のための撮影状況の制御を誘導するガイド情報を生成し、当該ガイド情報の表示を制御する。例えば、表示制御部５８は、生成したガイド情報を信号処理部５２から取得した立体視画像に重畳させた画面を、図１を参照して説明した立体表示装置９に表示させる。ここで、ガイド情報は、評価値が数式（６）〜（９）を満たす（すなわち、視差が所定の範囲内に収まる）ように、観察（撮像）の対象である生体と、内視鏡２（生体内撮像装置）の間の被写体距離を変更することを誘導する情報であってもよい。

図５は、表示制御部５８が立体表示装置９に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の一例を示す説明図である。

表示制御部５８は、例えば図５に示すように、ガイド情報Ｇ１０を立体視画像に重畳させる。ガイド情報Ｇ１０は、適正な被写体距離であることを示す領域Ｇ１１、被写体距離が近すぎることを示す領域Ｇ１２、被写体距離が遠すぎることを示す領域Ｇ１３、及び現在の被写体距離を模式的に示すマーカＧ１４を有する。ここで、図５に示すマーカＧ１４は、適正な被写体距離であることを示す領域Ｇ１１に存在する。つまり、図５に示すガイド情報Ｇ１０は、現在の被写体距離が適正であり、現在表示されている立体視画像が、快適立体視条件を満たしていることを示し、現在の撮影状況を維持することを誘導している。

図６は、表示制御部５８が立体表示装置９に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。図６に示すガイド情報Ｇ１０における領域Ｇ１１〜Ｇ１３は図５を参照して説明した領域Ｇ１１〜Ｇ１３と同様である。ここで、図６に示すマーカＧ１４は、被写体距離が近すぎることを示す領域Ｇ１２に存在する。また、図６に示す矢印Ｇ１５は、被写体距離を大きくする（内視鏡２を観察対象である生体から遠ざける）必要があることを示している。つまり、図６に示すガイド情報Ｇ１０は、視差を調整するため、被写体距離を大きくするように撮影状況を制御することを誘導している。

なお、撮影状況の制御による視差の調整を誘導するガイド情報は、図５，６の例に限定されない。例えば、図７に示すように警告メッセージ（文字情報等）による誘導も可能である。図７は、表示制御部５８が立体表示装置９に表示させるガイド情報、及びガイド情報を立体視画像に重畳させた画面の他の一例を示す説明図である。図６に示すガイド情報Ｇ１０における領域Ｇ１１〜Ｇ１３、及びマーカＧ１４は図６における領域Ｇ１１〜Ｇ１３、及びマーカＧ１４と同様である。図７に示す警告メッセージＧ１６は、視差を調整するため、被写体距離を大きくする（内視鏡２を観察対象である生体から遠ざける）必要があることをスコピスト（内視鏡の操作者）に伝える警告メッセージである。

なお、図６，７を参照して説明した矢印Ｇ１５、警告メッセージＧ１６は、図６，７に示すようにマーカＧ１４等と組み合わせて用いられてもよいし、単独で用いられることで視差の調整を誘導してもよい。

上記のようなガイド情報に従ってユーザが撮影状況を制御することで、視差が快適立体視条件を満たし、その結果、ユーザに不快感を与え難い立体視画像を取得可能となる。また、上記のようなガイド情報により、スコピストは、快適立体視条件が満たされているか否か、及び、どのように操作（撮影状況の制御）を行えば快適立体視条件が満たされるのか、を容易に把握することが可能になる。

＜１−３．第一の実施形態の動作＞
以上、本開示の第一の実施形態に係る内視鏡手術システム１が有するＣＣＵ５−１の構成例について説明した。続いて、図８を参照して、本実施形態に係る内視鏡手術システム１の動作例について説明する。図８は、本実施形態に係る内視鏡手術システム１によるガイド表示に係る動作を説明するための説明図である。

まず、評価部５４は、立体視画像の各位置について被写体距離Ｚを算出する（Ｓ１０２）。続いて、評価部５４は、立体視画像の各位置における被写体距離Ｚのうち、最小の被写体距離Ｚ_minと、最大の被写体距離Ｚ_maxを選択する（Ｓ１０４）。さらに、評価部５４は、選択された最小被写体距離Ｚ_min、及び最大被写体距離Ｚ_maxのそれぞれに対応する評価値として、視差角θ_minとディスプレイ上の視差Ｄ_min、及び視差角θ_maxとディスプレイ上の視差Ｄ_maxを算出する（Ｓ１０６）。

続いて、評価部５４は、最小被写体距離Ｚ_minに対応する視差角θ_minとディスプレイ上の視差Ｄ_minが所定範囲内であるか否かを判定する（Ｓ１０８）。当該判定は、例えば数式（６）、（７）を用いて行われてもよい。視差角θ_min、及びディスプレイ上の視差Ｄ_minが所定範囲内であった場合（Ｓ１０８においてＹｅｓ）、評価部５４は、最小被写体距離Ｚ_maxに対応する視差角θ_maxとディスプレイ上の視差Ｄ_maxが所定範囲内であるか否かを判定する（Ｓ１１０）。当該判定は、例えば数式（８）、（９）を用いて行われてもよい。

視差角θ_max、及びディスプレイ上の視差Ｄ_maxが所定範囲内であった場合（Ｓ１１０においてＹｅｓ）、表示制御部５８は、例えば図５に示したような、被写体距離が適正範囲内であることを示すガイド情報を立体表示装置９に表示させる（Ｓ１１２）。また、視差角θ_max、及びディスプレイ上の視差Ｄ_maxが所定範囲外であった場合（Ｓ１１０においてＮｏ）、表示制御部５８は、被写体距離が遠すぎること（内視鏡２を観察対象である生体に近づける必要があること）を示すガイド情報を立体表示装置９に表示させる（Ｓ１１４）。また、視差角θ_min、及びディスプレイ上の視差Ｄ_minが所定範囲外であった場合（Ｓ１０８においてＮｏ）、表示制御部５８は、例えば図６，７に示したような、被写体距離が近すぎること（内視鏡２を観察対象である生体から遠ざける必要があること）を示すガイド情報を立体表示装置９に表示させる（Ｓ１１６）。

＜１−４．第一の実施形態の効果＞
以上、第一の実施形態について説明した。本実施形態によれば、ユーザ（スコピスト）は、表示されたガイド情報に従って撮影状況の制御を行うことで、観察するユーザに眼精疲労や不快感を与え難い立体視画像を取得することが可能になる。本実施形態では、ガイド情報により被写体距離の変更（制御）を誘導する例を説明したが、上述した通り、医療現場においては変更可能なパラメータが限られているため、被写体距離の変更による視差の調整は特に医療現場において合理的かつ有効である。

＜＜２．第二の実施形態＞＞
上述した第一の実施形態では、ユーザ（スコピスト）が撮影状況の制御を行うためのガイド情報を表示することで、観察するユーザに眼精疲労や不快感を与え難い立体視画像の取得を支援する。これに対し、以下では、第二の実施形態として、画像処理により、ユーザに与える眼精疲労や不快感が軽減されるような仮想視点画像を生成する、内視鏡手術システムの例について説明する。第二の実施形態に係る内視鏡手術システムでは、仮想視点画像を生成して表示させることで、例えば、手術等の都合上、被写体距離を適正範囲に変更できない場合であっても、ユーザに与える眼精疲労や不快感を軽減することが可能である。以下では、上記の効果を奏する第二の実施形態の構成と動作を順次詳細に説明する。

＜２−１．第二の実施形態の構成＞
本開示の第二の実施形態に係る内視鏡手術システム（生体内撮像システム）は、図１を参照して説明した第一の実施形態に係る内視鏡手術システム（生体内撮像システム）１と一部において同様の構成を有するが、ＣＣＵの構成が異なる。以下では、図９を参照して、第二の実施形態に係るＣＣＵ５−２の構成について説明する。

図９は、本実施形態に係るＣＣＵ５−２の構成例を示す説明図である。図９に示すように、本実施形態に係るＣＣＵ５−２は、信号処理部５２と、評価部５４と、仮想視点画像生成部５６と、表示制御部５９とを備える情報処理装置である。図９に示す信号処理部５２、及び評価部５４の構成は、それぞれ図３を参照して説明した図９に示す信号処理部５２、及び評価部５４の構成と実質的に同一であるため、ここでの説明は省略する。

仮想視点画像生成部５６は、評価部５４が算出した評価値、及び判定部５４６による判定結果に基づき、仮想視点を設定し、仮想視点画像を生成する。仮想視点画像は、周知の仮想視点画像生成技術（自由視点映像生成技術）により、仮想的に設定された仮想視点の画像を実際の立体視画像から画像処理的に生成（合成）することで得られる画像である。評価値に基づいて仮想視点を適切に設定し、仮想視点画像を立体表示装置９に表示させることで、ユーザに与える眼精疲労や不快感を軽減し得る効果がある。

例えば、仮想視点画像生成部は、仮想視点画像にかかる視差が所定の範囲内に収まるように、仮想視点を設定して、仮想視点画像を生成してもよい。例えば、視差角θとディスプレイ上の視差Ｄについて、数式（６）〜（９）の条件が満たされるように、数式（４）、（５）に存在する各パラメータを設定した仮想視点を設定することで、上記のような仮想視点画像の生成が実現可能である。ここで、数式（４）、（５）に含まれるパラメータのうち、視環境に関するパラメータであるディスプレイサイズの画素幅ｋ、視距離Ｌ、シフト量ｓは不変であるとする。一方、数式（４）、（５）に含まれるパラメータのうち、撮影に関するパラメータである焦点距離ｆ、及び基線長Ｂは仮想視点画像生成技術により、任意に設定することが可能である。以下では、仮想視点画像生成技術による仮想視点設定における焦点距離、及び基線長の設定について、図１０を参照して説明を行う。

図１０は、仮想視点画像生成技術による仮想視点設定例について説明するための模式的な説明図である。図１０は、実際の左カメラと右カメラよりも焦点距離、及び基線長が小さいような左仮想視点と右仮想視点が設定される例を示している。なお、数式（４）、（５）を参照すれば、焦点距離ｆ（＞０）及び基線長Ｂ（＞０）が小さい程、視差角θ、及びディスプレイ上の視差Ｄの絶対値は小さくなり、快適立体視条件を満たしやすくなる。

図１０に示す観察対象の生体Ｏ、各カメラの光学中心Ｃ_Ｌ、Ｃ_Ｒ、各カメラの光軸Ａ_Ｌ、Ａ_Ｒ、各カメラのイメージセンサ面ＩＳ_Ｌ、ＩＳ_Ｒ、座標ｘ_Ｌ、ｘ_Ｒ、各カメラの焦点距離ｆ、及び基線長Ｂは、それぞれ図４を参照して説明した通りである。図１０に示す参照符号Ｃ_Ｌ´、Ｃ_Ｒ´は、それぞれ左仮想視点と右仮想視点の光学中心を示している。また、図１０に示す参照符号ｘ_Ｌ´、ｘ_Ｒ´は、それぞれ左仮想視点と右仮想視点のイメージセンサ面ＩＳ_Ｌ´、ＩＳ_Ｒ´における、観察対象の生体Ｏの座標（投影位置）を示している。また、図１０に示す距離ｆ´は、左仮想視点、及び右仮想視点の焦点距離であり、図１０に示す距離Ｂ´は、左仮想視点、及び右仮想視点の光学中心間距離（基線長）である。図１０に示すように、実際のカメラの焦点距離ｆよりも仮想視点の焦点距離ｆ´の方が小さく、実際のカメラにおける基線長Ｂよりも仮想視点における基線長Ｂ´の方が小さい。その結果、実際のカメラにおけるイメージセンサ上の視差（ｘ_Ｒ-ｘ_Ｌ）の絶対値よりも、仮想視点におけるイメージセンサ上の視差（ｘ_Ｒ´-ｘ_Ｌ´）の絶対値の方が小さくなっていることがわかる。

以上のように、撮影に関するパラメータ（焦点距離、及び基線長）を任意に設定することで、視差を調整可能であり、例えば、仮想視点画像にかかる視差が所定の範囲内に収まるような仮想視点画像を生成することが可能である。

かかる構成によれば、例えば、手術の都合等により内視鏡２を観察対象である生体に非常に近づける必要がある場合であっても、上記のように生成した仮想視点画像を表示させることで、ユーザに与える眼精疲労や不快感を軽減することが可能である。

表示制御部５９は、評価部５４による判定結果、及び仮想視点画像生成部５６が設定した仮想視点に応じて、ガイド情報を生成し、当該ガイド情報の表示を制御する。

例えば、表示制御部５９は、評価部５４により快適立体視条件が満たされていると判定された場合は、被写体距離を維持するように誘導するガイド情報を、信号処理部５２から取得した立体視画像に重畳させた画面（例えば図５）を、立体表示装置９に表示させる。

また、表示制御部５９は、評価部５４により快適立体視条件が満たされていないと判定された場合は、快適立体視条件が満たされないため、仮想視点画像を生成して表示していることを示すガイド情報を生成する。また、この場合、表示制御部５９は、当該ガイド情報を仮想視点画像生成部５６が生成した仮想視点画像に重畳させた画面を、立体表示装置９に表示させる。

図１１は、快適立体視条件が満たされていないと判定された場合に、表示制御部５９が立体表示装置９に表示させるガイド情報、及びガイド情報を仮想視点画像に重畳させた画面の一例を示す説明図である。

図１１に示すガイド情報Ｇ３０は、適正な被写体距離であることを示す領域Ｇ３１、被写体距離が近すぎることを示す領域Ｇ３２、被写体距離が遠すぎることを示す領域Ｇ３３、現在の被写体距離を模式的に示すマーカＧ３４、及びメッセージＧ３５を有する。ここで、図１１に示すマーカＧ３４は、被写体距離が近すぎることを示す領域Ｇ３２に存在する。したがって、図１１に示す例では、被写体距離が近すぎるために実際のカメラによる立体視画像では快適立体視条件が満たされず、快適立体視条件を満たすように生成された仮想視点画像が表示されている。メッセージＧ３５は、被写体距離が快適立体視条件を満たす範囲外であるために、仮想視点画像が表示されていること（仮想視点画像表示状態）を示すメッセージである。

上記のようなメッセージＧ３５が表示されることにより、ユーザは、実際に内視鏡２により取得された立体視画像ではなく、画像処理により生成された仮想視点画像が表示されていること、を把握することが可能である。また、ユーザ（スコピスト）は、マーカＧ３４が存在する領域を確認することで、どのように内視鏡２を操作すれば仮想視点画像ではなく、実際に内視鏡２により取得された立体視画像が表示されるようになるか、を把握することが可能である。

＜２−２．第二の実施形態の動作＞
以上、本開示の第一の実施形態に係る内視鏡手術システム１が有するＣＣＵ５−２の構成例について説明した。続いて、図１２を参照して、本実施形態に係る内視鏡手術システム１の動作例について説明する。図１２は、本実施形態に係る内視鏡手術システム１による仮想視点画像生成、及びガイド表示に係る動作を説明するための説明図である。

まず、評価部５４は、立体視画像の各位置について被写体距離Ｚを算出する（Ｓ２０２）。続いて、評価部５４は、立体視画像の各位置における被写体距離Ｚのうち、最小の被写体距離Ｚ_minと、最大の被写体距離Ｚ_maxを選択する（Ｓ２０４）。さらに、評価部５４は、選択された最小被写体距離Ｚ_min、及び最大被写体距離Ｚ_maxのそれぞれに対応する評価値として、視差角θ_minとディスプレイ上の視差Ｄ_min、及び視差角θ_maxとディスプレイ上の視差Ｄ_maxを算出する（Ｓ２０６）。

続いて、評価部５４は、最小被写体距離Ｚ_minに対応する視差角θ_minとディスプレイ上の視差Ｄ_minが所定範囲内であるか否かを判定する（Ｓ２０８）。当該判定は、例えば数式（６）、（７）を用いて行われてもよい。視差角θ_min、及びディスプレイ上の視差Ｄ_minが所定範囲内であった場合（Ｓ２０８においてＹｅｓ）、評価部５４は、最小被写体距離Ｚ_maxに対応する視差角θ_maxとディスプレイ上の視差Ｄ_maxが所定範囲内であるか否かを判定する（Ｓ２１０）。当該判定は、例えば数式（８）、（９）を用いて行われてもよい。

視差角θ_max、及びディスプレイ上の視差Ｄ_maxが所定範囲内であった場合（Ｓ２１０においてＹｅｓ）、表示制御部５９は、例えば図５に示したような、被写体距離が適正範囲内であることを示すガイド情報を立体表示装置９に表示させる（Ｓ２１２）。

視差角θ_minとディスプレイ上の視差Ｄ_minが所定範囲外であった場合（Ｓ２０８においてＮｏ）、または視差角θ_maxとディスプレイ上の視差Ｄ_maxが所定範囲外であった場合（Ｓ２１０においてＮｏ）、仮想視点画像生成部５６が仮想視点画像を生成する（Ｓ２１４）。この時、仮想視点画像生成部５６は、所定範囲外となった視差角、またはディスプレイ上の視差が所定範囲内となるように、撮影に関するパラメータを設定して、仮想視点画像を生成する。

続いて、表示制御部５９は、例えば図１１に示したような、被写体距離が快適立体視条件を満たす範囲外であるために、仮想視点画像が表示されていること（仮想視点画像表示状態）を示すガイド情報を立体表示装置９に表示させる（Ｓ２１６）。

＜２−３．第二の実施形態の効果＞
以上、第二の実施形態について説明した。本実施形態によれば、仮想視点画像を生成して表示させることで、例えば、手術等の都合上、被写体距離を適正範囲に変更できない場合であっても、ユーザに与える眼精疲労や不快感を軽減することが可能である。なお、第二の実施形態による仮想視点画像生成、及び表示の機能は、ユーザ操作によりオン／オフが切り替えられてもよい。例えば、ユーザ操作により第一の実施形態と第二の実施形態が切り替えられてもよい。

＜＜３．変形例＞
以上、本発明の第一の実施形態、及び第二の実施形態について説明した。以下では、上記各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、各変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。

＜３−１．変形例１＞
上記では、被写体距離に関するガイド情報が表示され、当該ガイド情報が誘導する撮影状況の制御は、被写体距離の維持または変更である例を説明したが、本技術は上記の例に限定されない。例えば、内視鏡２が観察対象である生体内を拡大（例えば電子ズーム）して撮影可能な場合、拡大率に関するガイド情報が表示され、当該ガイド情報は、拡大率を変更することを誘導してもよい。

ここで、拡大率をｍとすると、拡大後のディスプレイ上の視差Ｄ´と、拡大前のディスプレイ上の視差Ｄとの関係は、次式のようになる。

数式（１０）のようにディスプレイ上の視差は拡大率に応じて拡大される。この時、拡大後の視差角θ´は、次式のように近似される。

本変形例にかかる評価部は、数式（１０）、（１１）を用いて、上記各実施形態と同様に評価値の算出、判定等を行う。また、本変形例にかかる表示制御部は、拡大率に関するガイド情報を生成し、当該ガイド情報の表示を制御する。

図１３は、上記第一の実施形態に本変形例を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。図１３に示すガイド情報Ｇ２０は、適正な拡大率であることを示す領域Ｇ２１、拡大率が大きすぎることを示す領域Ｇ２２、及び現在の拡大率を示すマーカＧ２３を有する。ここで、図１３に示すマーカＧ２３は、適正な拡大率であることを示す領域Ｇ２１に存在する。つまり、図１３に示すガイド情報Ｇ２０は、現在の拡大率が適正であり、現在表示されている立体視画像が、快適立体視条件を満たしていることを示し、現在の撮影状況を維持することを誘導している。

なお、第一の実施形態に本変形例を適用した場合に表示制御部が表示させるガイド情報は上記の例に限定されない。例えば、拡大率が大きすぎる場合には、視差を調整するための撮影状況の制御として、図６を参照して説明したような矢印や、図７を参照して説明した警告メッセージにより、拡大率を小さくすることを誘導してもよい。

図１４は、上記第二の実施形態に本変形例を適用した場合に表示制御部が表示させるガイド情報、及び画面の一例を示す説明図である。図１４に示すガイド情報Ｇ４０は、適正な拡大率であることを示す領域Ｇ４１、拡大率が大きすぎることを示す領域Ｇ４２、及び現在の拡大率を示すマーカＧ４３、及びメッセージＧ４４を有する。ここで、図１４に示すマーカＧ４３は、拡大率が大きすぎることを示す領域Ｇ４２に存在する。したがって、図１４に示す例では、拡大率が多きすぎるために実際のカメラによる立体視画像では快適立体視条件が満たされず、快適立体視条件を満たすように生成された仮想視点画像が表示されている。メッセージＧ４４は、拡大率が快適立体視条件を満たす範囲外であるために、仮想視点画像が表示されていること（仮想視点画像表示状態）を示すメッセージである。

本変形例によれば、拡大率を変更している場合であっても、ユーザに眼精疲労や不快感を与え難い立体視画像を取得や表示が可能となる。

＜３−２．変形例２＞
上記第二の実施形態では、実際の内視鏡（生体内撮像装置）よりも基線長、及び焦点距離が小さい仮想視点を設定し、仮想視点画像を生成することで快適立体視条件を満たす例を説明したが、本技術はかかる例に限定されない。例えば、内視鏡（生体内撮像装置）が基線長や焦点距離をモータ等により物理的に制御する機構を有し、基線長や焦点距離を実際に変更する（小さくする）ことで、快適立体視条件を満たしてもよい。また、かかる場合、表示制御部は物理的に基線長や焦点距離が変更されたことを示すガイド情報を生成し、当該ガイド情報の表示を制御してもよい。

かかる構成によれば、手術等の都合上、被写体距離を適正範囲に変更できない場合であっても、仮想視点画像ではなく、実際に内視鏡（生体内撮像装置）により取得された立体視画像により、ユーザに与える眼精疲労や不快感を軽減することが可能である。

＜＜４．ハードウェア構成例＞＞
以上、本開示の各実施形態と各変形例を説明した。上述した評価値算出処理、判定処理、表示制御処理などの情報処理は、ソフトウェアと、以下に説明するＣＣＵ５（ＣＣＵ５−１、５−２）のハードウェアとの協働により実現される。

図１５は、ＣＣＵ５のハードウェア構成の一例を示す説明図である。ＣＣＵ５は、例えば、ＦＰＧＡボード５０１と、ＣＰＵ５０２と、ＧＰＵボード５０３１、５０３２と、メモリ５０４と、ＩＯコントローラ５０５と、記録媒体５０６と、インタフェース５０７とを備える。また、ＦＰＧＡボード５０１、ＣＰＵ５０２、及びＧＰＵボード５０３１、５０３２は、例えば、バス５０８で接続される。ＦＰＧＡボード５０１は、例えば、ＦＰＧＡと図１の内視鏡２から入力画像信号が入力される入力インタフェースと、図１の立体表示装置９に出力画像信号が出力される出力インタフェースを含む。

ＣＰＵ５０２と、ＧＰＵボード５０３１、５０３２とは、例えば、関連するソフトフェアなどの各種ソフトウェアを実行して、様々な処理を行う。ＣＰＵ５０２は、プロセッサを備えている。ＧＰＵボード５０３１、５０３２それぞれは、ＧＰＵ（Graphics Processing Unit）とＤＲＡＭ（Dynamic Random Access Memory）を備えている。

メモリ５０４には、例えば、内視鏡２から入力画像信号に対応するデータや、立体表示装置９への出力画像信号に対応するデータなど、様々なデータが記憶される。ＣＰＵ５０２は、メモリ５０４への各種データの書き込みや読み出しを制御する役目を果たす。
ＣＰＵ５０２は、メモリ５０４に記憶させたデータと、ＧＰＵボード５０３１、５０３２の処理能力と、処理内容に応じて、メモリ５０４に記憶された画像データを分割する。そして、ＧＰＵボード５０３１、５０３２のそれぞれのＧＰＵは、分割されて供給されてくるデータに所定の処理を施し、処理結果をＣＰＵ５０２に出力する。

ＩＯコントローラ５０５は、例えば、ＣＰＵ５０２と、記録媒体５０６、及びインタフェース５０７との間の信号の伝達を制御する役目を果たす。

記録媒体５０６は、記憶部（図示せず）として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体５０６としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体５０６は、ＣＣＵ５から着脱可能であってもよい。

インタフェース５０７としては、例えば、ＵＳＢ（Universal Serial Bus）端子、及び処理回路や、ＬＡＮ（Local Area Network）端子、及び送受信回路などが挙げられる。

なお、ＣＣＵ５のハードウェア構成は、図１５に示す構成に限られない。例えば、図１５では、ＧＰＵボード５０３１、５０３２の２枚である例が示されているが、２枚以上の枚数であってもよい。また、ＣＰＵ５０２がＧＰＵの機能を有している場合には、ＣＣＵ５は、ＧＰＵボード５０３１、５０３２を備えていなくてもよい。

＜＜５．むすび＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、最小被写体距離に対応する評価値に関する判定の後に、最大被写体距離に対応する評価値に関する判定を行って（例えば図８等参照）、判定結果に対応するガイド表示を行う例を説明したが、本技術はかかる例に限定されない。例えば、最小被写体距離に対応する評価値に関する判定と最大被写体距離に対応する評価値に関する判定の順番は逆でもよい。また、判定に用いられる評価値は、最大被写体距離や最小被写体距離に対応する評価値に限定されず、例えば被写体距離の平均値に対応する評価値や、立体視画像の中心領域から算出される評価値であってもよい。また、判定に用いられる評価値は、立体視画像のうち、ユーザが注目する領域、またはユーザが注目すると推定される領域から算出される評価値であってもよい。

また、上記実施形態では、内視鏡が有する左カメラ（左目用カメラ）と右カメラ（右目用カメラ）の光軸が平行である例を説明したが、本技術はかかる例に限定されない。例えば、本技術は２つのカメラの光軸が交差する（光軸の輻輳角＞０）場合であっても適用可能である。なお、２つのカメラの光軸が交差する場合、光軸の輻輳角を考慮して評価値を算出してもよい。また、上記第二の実施形態や、変形例２において基線長、及び焦点距離が変更されたのと同様に、仮想視点設定や物理的な制御により光軸の輻輳角を変更することで、視差を調整し、快適視差範囲を満たしてもよい。

また、上記実施形態では、ステレオマッチング技術により得られる視差に基づいて被写体距離が算出される例を説明したが、本技術はかかる例に限定されない。例えば、生体内撮像システムが距離センシングデバイス等を備え、距離センシングデバイス等により被写体距離が取得されてもよい。

また、上記実施形態では、説明を容易にするため、各カメラがピンホールカメラモデルで記述可能であるとして説明を行ったが、一般的なカメラ（生体内撮像装置）であっても同様のことが成り立つ。また、上記実施形態では、生体内撮像システムが備える生体内撮像装置が３Ｄ内視鏡である例を説明したが、生体内撮像システムが備える生体内撮像装置は、３Ｄ内視鏡に限定されず、例えば２以上のカメラを有するビデオ顕微鏡であってもよい。

また、上記実施形態では、評価値（視差）に関する所定範囲は、観察するユーザが快適に立体視可能な範囲であるように設定される例を説明したが、本技術はかかる例に限定されない。例えば、上記所定範囲は、立体視可能な限界範囲であるように設定されてもよいし、十分な立体感を得られる範囲であるように設定されてもよい。また、立体視に関する不快感等には個人差が有るため、個々人に適合した範囲が上記所定範囲として用いられてもよい。また、時間の経過とともに観察するユーザに疲労がたまることを考慮して、動的に上記所定範囲が設定（更新）されてもよい。また、撮影シーンの画像解析処理により得られるシーンの奥行き分布等に基づいて、上記所定範囲が設定されてもよい。

また、上記実施形態では、ユーザ（スコピスト）が生体内撮像装置（内視鏡）を保持し、操作する例を説明したが、本技術はかかる例に限定されない。例えば、本技術に係る生体内撮像システムは、生体内撮像装置を保持するロボット等の保持機構を備えてもよい。また、ユーザがロボット等の保持機構を制御することで当該生体内撮像装置を操作してもよいし、ＣＣＵ(情報処理装置)が当該保持機構を制御することで、視差を調整し、快適視差範囲を満たしてもよい。

また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、本実施形態によれば、ＦＰＧＡボード５０１、ＣＰＵ５０２、メモリ５０４、などのハードウェアに、上述したＣＣＵ５の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、
を備える情報処理装置。
（２）
前記ガイド情報は、前記視差が所定の範囲内に収まるように前記撮影状況の制御を誘導する、前記（１）に記載の情報処理装置。
（３）
前記ガイド情報は、撮像の対象である生体と生体内撮像装置の間の被写体距離を変更することを誘導する、前記（１）または（２）に記載の情報処理装置。
（４）
前記ガイド情報は、拡大率を変更することを誘導する、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記評価部は、視差角に基づいて前記評価値を特定する、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記評価部は、撮像の対象である生体と生体内撮像装置の間の被写体距離に基づいて前記評価値を特定する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記評価部は、前記立体視画像における前記被写体距離のうち、最大の被写体距離に対応する評価値を特定する、前記（６）に記載の情報処理装置。
（８）
前記評価部は、前記立体視画像における前記被写体距離のうち、最小の被写体距離に対応する評価値を特定する、前記（６）または（７）に記載の情報処理装置。
（９）
前記評価値に基づいて、仮想視点画像を生成する仮想視点画像生成部をさらに備える、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記仮想視点画像生成部は、前記仮想視点画像にかかる視差が所定の範囲内に収まるように、前記仮想視点画像を生成する、前記（９）に記載の情報処理装置。
（１１）
生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定することと、
前記評価値に基づいて、撮影状況の制御による前記評価値の調整を誘導するガイド情報の表示を制御することと、
を含む、情報処理方法。
（１２）
生体内を撮像する生体内撮像装置と、
前記生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
前記評価値に基づいて、撮影状況の制御による前記視差の調整を誘導するガイド情報の表示を制御する表示制御部、
を備える情報処理装置と、
を有する、生体内撮像システム。
（１３）
前記生体内撮像装置は、内視鏡である、
前記（１２）に記載の生体内撮像システム。
（１４）
前記生体内撮像装置は、ビデオ顕微鏡である、
前記（１２）に記載の生体内撮像システム。
（１５）
前記生体内撮像装置を保持する保持機構をさらに備える、
前記（１２）〜（１４）のいずれか一項に記載の生体内撮像システム。

１ 内視鏡手術システム（生体内撮像システム）
２ 内視鏡（生体内撮像装置）
５ ＣＣＵ（カメラコントロールユニット）
９ 立体表示装置
５２ 信号処理部
５４ 評価部
５６ 仮想視点画像生成部
５８、５９ 表示制御部
５４１ 視差算出部
５４２ 被写体距離算出部
５４４ 視差角算出部
５４６ 判定部

Claims (15)

1. 生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
   前記評価値に基づいて、前記視差の調整のための撮影状況の制御を誘導するガイド情報の表示を制御する表示制御部と、
   を備える情報処理装置。
2. 前記ガイド情報は、前記視差が所定の範囲内に収まるように前記撮影状況の制御を誘導する、請求項１に記載の情報処理装置。
3. 前記ガイド情報は、撮像の対象である生体と生体内撮像装置の間の被写体距離を変更することを誘導する、請求項１に記載の情報処理装置。
4. 前記ガイド情報は、拡大率を変更することを誘導する、請求項１に記載の情報処理装置。
5. 前記評価部は、視差角に基づいて前記評価値を特定する、請求項１に記載の情報処理装置。
6. 前記評価部は、撮像の対象である生体と生体内撮像装置の間の被写体距離に基づいて前記評価値を特定する、請求項１に記載の情報処理装置。
7. 前記評価部は、前記立体視画像における前記被写体距離のうち、最大の被写体距離に対応する評価値を特定する、請求項６に記載の情報処理装置。
8. 前記評価部は、前記立体視画像における前記被写体距離のうち、最小の被写体距離に対応する評価値を特定する、請求項６に記載の情報処理装置。
9. 前記評価値に基づいて、仮想視点画像を生成する仮想視点画像生成部をさらに備える、請求項１に記載の情報処理装置。
10. 前記仮想視点画像生成部は、前記仮想視点画像にかかる視差が所定の範囲内に収まるように、前記仮想視点画像を生成する、請求項９に記載の情報処理装置。
11. 生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定することと、
    前記評価値に基づいて、撮影状況の制御による前記評価値の調整を誘導するガイド情報の表示を制御することと、
    を含む、情報処理方法。
12. 生体内を撮像する生体内撮像装置と、
    前記生体内の撮像に基づいて得られる立体視画像を見てユーザが知覚する視差についての評価値を特定する評価部と、
    前記評価値に基づいて、撮影状況の制御による前記視差の調整を誘導するガイド情報の表示を制御する表示制御部、
    を備える情報処理装置と、
    を有する、生体内撮像システム。
13. 前記生体内撮像装置は、内視鏡である、
    請求項１２に記載の生体内撮像システム。
14. 前記生体内撮像装置は、ビデオ顕微鏡である、
    請求項１２に記載の生体内撮像システム。
15. 前記生体内撮像装置を保持する保持機構をさらに備える、
    請求項１２に記載の生体内撮像システム。
    

Images