JP2019092006A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】情報処理装置、情報処理方法、及びプログラム。【解決手段】複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させる、出力制御部を備える、情報処理装置。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

スポーツの上達のためには、自らのプレーを客観的に分析し、改善のための意識をもってプレーすることが重要である。そのために、例えば、プレーを画像（静止画像、または動画像）として録画し、プレーを録画した当該画像（以下、プレー画像とも呼ぶ）をプレー後に視聴して、改善点などを把握することが広く行われている。

また、プロスポーツ選手のフォームと自分のフォームとを比較するために、プロスポーツ選手のプレー画像と自分のプレー画像とを比較することも行われている。このような目的のため、下記特許文献１には、指定された再生ポイントにおいて複数の画像を時間的に一致させて、同時に再生表示する技術が記載されている。

特開平１０−３０４２９９号公報

しかし、複数の画像の各々に含まれる（映る）被写体の見えが異なる場合、複数の画像間での比較を行うことが困難となる恐れがあった。そこで、本開示では、より容易に複数の画像間での比較を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させる、出力制御部を備える、情報処理装置が提供される。

また、本開示によれば、複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させる機能を実現させるための、プログラムが提供される。

以上説明したように本開示によれば、より容易に複数の画像間での比較を行うことが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る情報処理システムの概略構成を示すブロック図である。 サッカーチームの練習において情報処理システム１０００が適用される例を模式的に示す模式図である。 同実施形態に係る情報処理装置１の構成例を示すブロック図である。 同実施形態に係る操作端末２の構成例を示すブロック図である。 同実施形態の動作例を示すフローチャート図である。 同実施形態に係る変形例１を説明するための説明図である。 同実施形態に係る変形例２を説明するための説明図である。 同実施形態に係る変形例３を説明するための説明図である。 同実施形態に係る変形例３を説明するための説明図である。 同実施形態に係る変形例３を説明するための説明図である。 同実施形態に係る変形例４を説明するための説明図である。 同実施形態に係る変形例４を説明するための説明図である。 同実施形態に係る変形例５を説明するための説明図である。 同実施形態に係る変形例５を説明するための説明図である。 同実施形態に係る変形例６を説明するための説明図である。 本開示の第２の実施形態の概要を説明するためのイメージ図である。 同実施形態に係る情報処理装置７の構成例を示すブロック図である。 同実施形態の動作例を示すフローチャート図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図２１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜＜１．第１の実施形態＞＞
＜１−１．概要＞
＜１−２．構成例＞
＜１−３．動作例＞
＜１−４．変形例＞
＜１−５．効果＞
＜＜２．第２の実施形態＞＞
＜２−１．概要例＞
＜２−２．構成例＞
＜２−３．動作例＞
＜２−４．変形例＞
＜２−５．効果と補足＞
＜＜３．応用例＞＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞

＜＜１．第１の実施形態＞＞
＜１−１．概要＞
まず、図１、図２を参照して、本開示の第１の実施形態の概要を説明する。図１は、本開示の第１の実施形態に係る情報処理システム１０００の概略構成を示すブロック図である。図１に示すように、本実施形態に係る情報処理システム１０００は、情報処理装置１、操作端末２、表示装置３Ａ、表示装置３Ｂ、撮像装置４、及び通信網５を含む。

情報処理装置１は、複数の入力画像を比較し易く処理して出力する。なお、以下の本実施形態に関する説明においては、１つの入力画像が複数のフレームを有する動画像である例を主に説明するが、入力画像は静止画像であってもよい。

例えば、情報処理装置１は、複数の入力画像の各々に含まれる被写体の見えの差異を低減させる処理、複数の入力画像間のフォーマットの差異を低減させる処理、あるいは被写体の動作タイミングが動画間で一致するように調整する処理等を行ってもよい。２つの入力画像に対応する２つの出力画像の各々を別々に表示装置３Ａと表示装置３Ｂとに、同時に出力してもよい。また、当該複数の入力画像は、撮像装置４の撮像により取得され、通信網５を介して撮像装置４から受信した画像を含んでもよいし、予め情報処理装置１が記憶している画像を含んでもよい。なお、情報処理装置１の詳細な構成については、図３を参照して後述する。

操作端末２は、通信網５を介して情報処理装置１と接続され、情報処理装置１が行う処理に関する操作を行うための情報処理装置である。操作端末２は、例えばタブレット型端末であってもよいが、それに限定されるものではない。ユーザは、操作端末２を操作することで、比較する入力画像の選択、例えば比較のための再生条件の設定、被写体の動作タイミングに関するキーフレームの指定等を行ってもよい。なお、操作端末２の詳細な構成については、図３を参照して後述する。

表示装置３Ａ、及び表示装置３Ｂは、例えばＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）等により情報処理装置１に接続され、情報処理装置１により出力される出力画像を表示する。表示装置３Ａと表示装置３Ｂとは並べて配置されていてもよい。なお、以下では、表示装置３Ａと表示装置３Ｂとを特に区別する必要がない場合、単に表示装置３と呼ぶ場合がある。また、図１には、情報処理装置１に２つの表示装置３が接続される例を示しているが、情報処理装置１に接続される表示装置３の数は係る例に限定されない。また、図１では情報処理装置１と表示装置３とが直接的に接続されている例を示しているが、情報処理装置１と表示装置３とは、通信網５を介して接続されてもよい。

撮像装置４は、撮像により画像を取得する。また、撮像装置４は、図１に示すように通信網５を介して情報処理装置１と接続され、撮像により取得した画像を情報処理装置１へ送信する。

通信網５は、通信網５に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網５は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本実施形態に係る情報処理システム１０００の概略構成について説明した。上述したように、本実施形態に係る情報処理システム１０００は、撮像装置４の撮像により取得される画像を含む複数の入力画像に対し、操作端末２を用いたユーザによる操作に従って情報処理装置１が処理を施した出力画像を表示装置３に表示させることで、より容易に複数の画像間での比較を行うことを可能とする。

続いて、上述した本実施形態に係る情報処理システム１０００の適用例について説明する。図２は、サッカーチームの練習において情報処理システム１０００が適用される例を模式的に示す模式図である。

図２に示すように、まず練習に参加するユーザは練習のための順番待ちをする（Ｓ１１）。図２に示す例では、ユーザＵ１１〜Ｕ１５が順番待ちをしている。

続いて、順番が来たユーザ（図２の例ではユーザＵ２０）は、所定のプレー（例えばシュート等）の練習を行う（Ｓ１２）。このステップＳ１２において、撮像装置４はユーザの練習シーンを撮像してプレー画像を取得し、当該画像を情報処理装置１へ送信する。

練習後のユーザ（図２の例ではユーザＵ３０）は、表示装置３Ａ、及び表示装置３Ｂで練習内容を確認しながら、例えばコーチ等の他のユーザ（図２の例ではユーザＵ４０）による指導を受ける（Ｓ１３）。このステップＳ１３において、情報処理装置１は、ユーザＵ３０のプレー画像と、他のプレー画像（例えばプロのプレー画像）とを比較し易いように処理して、表示装置３Ａ、及び表示装置３Ｂに出力してもよい。係る構成により、ユーザＵ３０は、自身のプレー画像と他のプレー画像を、より容易に比較しながら練習内容を確認することが可能となる。また、ステップＳ１３においてユーザＵ４０は、操作端末２を用いた操作により、表示装置３に表示されるプレー画像の選択や、比較のための再生条件の設定等を行ってもよい。

その後、ユーザはステップＳ１１の順番待ちに戻る。

以上、本実施形態に係る情報処理システム１０００の適用例を説明した。なお、上記では、本実施形態に係る情報処理システム１０００がサッカーチームの練習において適用される例を説明したが、係る例に限定されず、サッカー以外のスポーツはもちろん、スポーツ以外の様々な場面においても本実施形態を適用することが可能である。

＜１−２．構成例＞
続いて、図１に示した構成のうち、情報処理装置１の構成と、操作端末２の構成について、それぞれ図３、及び図４を参照して順次より詳細に説明を行う。

（情報処理装置）
図３は、本実施形態に係る情報処理装置１の構成例を示すブロック図である。図３に示すように、情報処理装置１は、制御部１１０、通信部１２０、表示出力インタフェース部１３０、及び記憶部１５０を備える。

制御部１１０は、演算処理装置、及び制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、本実施形態に係る制御部１１０は、図２に示すようにフォーマット取得部１１２、画像解析部１１４、及び出力制御部１１６としての機能を有する。

フォーマット取得部１１２は、入力画像の画像フォーマットに関するフォーマットパラメータを取得する。なお、本実施形態において、入力画像は、他の装置（例えば、図１に示した撮像装置４）から受信される画像であってもよいし、後述する記憶部１５０に記憶される画像であってもよい。

フォーマット取得部１１２により取得されるフォーマットパラメータは、例えば、フレームレート、解像度、アスペクト比等を含んでもよい。フォーマット取得部１１２は、入力画像に基づいてフォーマットパラメータを取得してもよいし、入力画像を提供する他の装置からフォーマットパラメータを取得してもよいし、記憶部１５０からフォーマットパラメータを取得してもよい。

フォーマット取得部１１２は、取得したフォーマットパラメータを出力制御部１１６へ提供してもよいし、記憶部１５０に記憶させてもよい。

画像解析部１１４は、入力画像の解析を行う。例えば、本実施形態に係る画像解析部１１４は、入力画像の解析により、当該入力画像に含まれる被写体に関する被写体パラメータを取得してもよい。

本明細書において、被写体パラメータとは、入力画像に含まれる被写体に関して、入力画像から取得可能なパラメータを意味する。例えば、被写体パラメータは、被写体自体に関する情報を示すパラメータ、入力画像における相対的な被写体の情報を示すパラメータ、入力画像の撮像に係る撮像装置と被写体との間の関係の情報を示すパラメータ等を含んでもよい。被写体パラメータは、被写体自体に関する情報を示すパラメータとして、例えば被写体の利き手、被写体の利き足、被写体のサイズ（例えば身長）等のパラメータを含んでもよい。また、被写体パラメータは、入力画像における相対的な被写体の情報を示すパラメータとして、入力画像における被写体の位置等のパラメータを含んでもよい。また、被写体パラメータは、入力画像の撮像に係る撮像装置と被写体との間の関係の情報を示すパラメータとして、入力画像の撮像に係る撮像装置から被写体までの距離、入力画像の撮像に係る撮像装置に対する被写体の姿勢等のパラメータを含んでもよい。

なお、本明細書において、被写体とは画像に含まれるもの全般を指し、例えば本実施形態がスポーツ分野において適用される場合、被写体は人であってもよいし、ボール、テニスラケット等の道具であってもよい。画像解析部１１４は、例えば周知の画像解析技術を用いて入力画像の解析を行うことで、入力画像に含まれる被写体を認識し、認識した被写体の情報に基づいて被写体パラメータを取得してもよい。

例えば、画像解析部１１４は、入力画像の解析により入力画像に被写体として人とテニスラケットが含まれていると認識した場合、人がテニスラケットを持っている側の手が利き手であるとして、被写体の利き手のパラメータを取得してもよい。同様に、画像解析部１１４は、入力画像の解析により入力画像に被写体として人とサッカーボールが含まれていると判定した場合、人がサッカーボールを蹴っている側の足が利き足であるとして、被写体の利き足のパラメータを取得してもよい。

画像解析部１１４は、入力画像の各々に対応して取得した被写体パラメータを、出力制御部１１６へ提供してもよいし、記憶部１５０に記憶させてもよい。

また、本実施形態に係る画像解析部１１４は、複数のフレームを含む入力画像の解析により、キーフレームを特定してもよい。キーフレームは、例えば入力画像に含まれる被写体による所定の動作に対応するフレームであってもよく、被写体が当該所定の動作を行っている瞬間のフレームであってもよい。例えば、被写体である人がテニスのスイングを行っている場合、画像解析部１１４は、入力画像に含まれる被写体の動きを解析して、「テイクバック」、「インパクト」、「フォロースルー」等の動作を検出し、各動作に対応するフレームを、キーフレームとして特定してもよい。

なお、画像解析によるキーフレームの特定方法は特に限定されないが、例えば入力画像から認識される被写体のフォーム（姿勢）や、入力画像から抽出される画像特徴量に基づいてキーフレームが特定されてもよい。

画像解析部１１４は、入力画像の各々において特定したキーフレームを、出力制御部１１６へ提供してもよいし、記憶部１５０に記憶させてもよい。なお、キーフレームは、キーフレームの種類と対応付けられて出力制御部１１６へ提供、あるいは記憶部１５０に記憶されてもよい。キーフレームの種類とは、例えば上述した例における所定の動作の種類であってもよく、例えば「テイクバック」、「インパクト」、「フォロースルー」等であってもよい。

なお、上記では画像解析部１１４が行う画像解析によりキーフレームが特定される例を説明したが、本技術は係る例に限定されない。例えば、画像解析に加えて、または代えて、センサ情報に基づくキーフレームの特定が行われてもよい。例えばマイクにより取得される音声情報（センサ情報の一例）から検出されるホイッスルのタイミングや、動きセンサにより取得される動き情報（センサ情報の一例）に基づいて、キーフレームが特定されてもよい。あるいは、操作端末２を介して取得されるユーザによる操作に基づいてキーフレームが特定されてもよく、係る例については変形例３として後述する。

出力制御部１１６は、比較の対象となる複数の入力画像に基づいて、出力画像を出力させる。出力制御部１１６は、複数の入力画像の各々に対応する出力画像を取得してもよい。なお、ここで、当該比較の対象となる複数の入力画像は、記憶部１５０に記憶された複数の入力画像の中から、例えば図１に示した操作端末２を用いた操作により選択されて決定されてもよい。あるいは、所定の条件に従って自動的に比較の対象となる複数の入力画像が選択されてもよく、例えば、記憶部１５０に予め記憶された１の入力画像と、新たに撮像装置４から受信された入力画像とが、比較の対象となる複数の入力画像として選択されてもよい。また、ここで、出力画像を取得するとは、入力画像そのものを出力画像として取得すること、及び、入力画像に対して所定の処理を施して出力画像を生成することで取得することを含んでもよい。

また、出力制御部１１６は、複数の入力画像の各々に対応して取得された出力画像の各々を、同時に別々の装置へ出力させてもよい。例えば、出力制御部１１６は、後述する表示出力インタフェース部１３０を介して、図１に示した表示装置３Ａ、及び表示装置３Ｂのそれぞれへ、異なる入力画像に対応する出力画像を同時に出力させてもよい。係る構成によれば、例えば図２を参照して説明した例のように、ユーザは表示装置３Ａ、及び表示装置３Ｂを見比べることで、容易にプレー画像を比較することが可能となる。

また、出力制御部１１６は、複数の入力画像の各々に対応して取得された出力画像の各々を、同時に同一の装置へ出力させてもよい。例えば、出力制御部１１６は、後述する通信部１２０を介して、図１に示した操作端末２へ、異なる入力画像に対応する出力画像を同時に出力（送信）させてもよい。係る構成によれば、操作端末２を操作するユーザは、１つの画面で同時に複数の出力画像を比較することが可能となる。

また、出力制御部１１６は、表示装置３Ａ、及び表示装置３Ｂのそれぞれへ、異なる入力画像に対応する出力画像を同時に出力させると共に、当該出力画像の各々を、同時に操作端末２へ出力させてもよい。係る構成によれば、操作端末２を操作するユーザは、操作端末２の画面において表示装置３Ａ、及び表示装置３Ｂに表示される出力画像を確認しながら、各種操作を行うことが可能となる。

出力制御部１１６は、より容易に比較することができるようにするため、複数の入力画像間の差異と比べて、当該複数の入力画像の各々に対応する出力画像の間の差異が低減されるように、出力画像を取得してもよい。

例えば、出力制御部１１６は、フォーマットパラメータの差異が低減されるように、出力画像を取得し、出力画像を出力させてもよい。出力制御部１１６は、フォーマット取得部１１２によって取得された全てのフォーマットパラメータの差異を低減させる必要はなく、フォーマットパラメータのうち少なくとも１つの差異が低減されるように、出力画像を取得してもよい。出力制御部１１６は、フォーマットパラメータをフォーマット取得部１１２から取得してもよいし、記憶部１５０から取得してもよい。

例えば、出力制御部１１６は、差異を低減させるべきフォーマットパラメータに関し、複数の出力画像の間で、当該フォーマットパラメータが同一となるように、処理を施して、出力画像を取得してもよい。フォーマットパラメータが同一となるようにするための処理は、例えば、複数の入力画像のうち、いずれか１つの入力画像を基準として、当該基準となる入力画像が有するフォーマットパラメータに、他の入力画像に対応する出力画像のフォーマットパラメータを揃えるような処理であってもよい。あるいは、所定の基準値に各入力画像に対応する出力画像のフォーマットパラメータを揃えるような処理であってもよい。

例えば、フレームレートが同一となるように処理を施して出力画像を得る場合、フレームレートの高い（フレームの多い）入力画像にあわせて、フレームレートの低い（フレームの少ない）入力画像に含まれるフレームを複数回出力させることでフレームを増やした出力画像を出力させてもよい。あるいは、係る場合、フレームレートの低い入力画像にあわせて、フレームレートの高い入力画像に含まれるフレームを間引いて出力させることでフレームを減らした出力画像を出力させてもよい。また、解像度、あるいはアスペクト比を同一となるように処理を施すことは、周知の画像処理技術を用いて行うことが可能である。

係る構成によれば、出力画像間で画像フォーマットの差異が低減され、ユーザは比較をより容易に行うことが可能となる。

また、出力制御部１１６は、複数の入力画像の各々に含まれる被写体に関する被写体パラメータの差異が低減されるように、当該複数の入力画像の各々に対応して出力画像を取得し、出力画像を出力させてもよい。出力制御部１１６は、画像解析部１１４によって取得された全ての被写体パラメータの差異を低減させる必要はなく、被写体パラメータのうち少なくとも１つの差異が低減されるように、出力画像を取得してもよい。出力制御部１１６は、被写体パラメータを画像解析部１１４から取得してもよいし、記憶部１５０から取得してもよい。

例えば、出力制御部１１６は、差異を低減させるべき被写体パラメータに関し、複数の出力画像の間で、当該被写体パラメータが同一となるように、画像処理を施して、出力画像を生成してもよい。被写体パラメータが同一となるようにするための画像処理は、例えば、複数の入力画像のうち、いずれか１つの入力画像を基準として、当該入力画像が有する被写体パラメータに、他の入力画像に対応する出力画像の被写体パラメータを揃えるような処理であってもよい。あるいは、所定の基準値に各入力画像に対応する出力画像の被写体パラメータを揃えるような処理であってもよい。

例えば、被写体の利き手、あるいは被写体の利き足が同一となるように処理を施して出力画像を得る場合、複数の入力画像のうち、いずれかの入力画像に揃えるように、各入力画像に対して左右反転処理の要否を判断してもよい。そして、必要であると判断された入力画像に対しては左右反転処理を施して出力画像を生成し、不要であると判断された入力画像に対しては入力画像をそのまま出力画像として取得してもよい。

上記では、被写体の利き手、及び、被写体の利き足を同一とする場合の例を説明したが、他の被写体パラメータに関しても、同様に、周知の画像処理技術を用いて、出力画像間で被写体パラメータが同一となるように出力画像を取得することが可能である。

係る構成によれば、出力画像間で被写体の見えの差異が低減され、ユーザは比較をより容易に行うことが可能となる。

また、出力制御部１１６は、タイミングの差異（ずれ）が低減されるように、複数の入力画像の各々に対応して出力画像を取得し、出力画像を出力させてもよい。ここで、タイミングとは、例えば、被写体の動作タイミングであってもよい。出力制御部１１６は、タイミングの差異を低減されるため、例えば、複数の入力画像の各々において特定され、かつ複数の入力画像の間で対応するキーフレームに基づいて、出力画像を出力させてもよい。

複数の入力画像の間で対応するキーフレームとは、例えば、上述したキーフレームの種類が同一となるキーフレームであってもよい。つまり、複数の入力画像の間で、同一種類のキーフレームが特定されていた場合、出力制御部１１６は、当該キーフレームに基づいて、出力画像を出力させてもよい。なお、出力制御部１１６は、キーフレームを画像解析部１１４から取得してもよいし、記憶部１５０から取得してもよい。

また、出力制御部１１６は、複数の入力画像の間で、対応するキーフレームを１つずつ用いて出力画像を出力させてもよいし、２つずつ用いて出力画像を出力させてもよいし、より多いキーフレームを用いて出力画像を出力させてもよい。

例えば出力制御部１１６は、複数の入力画像の間で、対応するキーフレームを１つずつ用いて出力画像を出力させる場合、入力画像の各々において、当該キーフレームを基準フレームとして、出力画像を同期させて出力させてもよい。例えば、出力制御部１１６は、係る基準フレームを開始フレームとして、出力画像を出力させてもよい。スポーツのプレー画像に適用される場合、係る構成によれば、ある動作の開始の時点から出力画像の出力（表示再生）が開始され得るため、ユーザはより容易に動作を比較し易くなる。

なお、複数の入力画像の間で、対応するキーフレームを１つずつ用いて出力画像を出力させる場合、最初に全てのフレームが出力された出力画像を基準として、各出力画像が出力されてもよい。例えば、出力制御部１１６はある出力画像に関して全てのフレームが出力された時点で、出力を終了させてもよいし、ループ再生が行われるように、再度対応するキーフレームを開始フレームとした出力を繰り返させてもよい。係る構成によれば、出力画像の出力時間が同一となり、ユーザの違和感が低減される。

また、出力制御部１１６は、複数の入力画像の間で、対応するキーフレームを２つずつ用いて出力画像を出力させる場合、入力画像の各々において、当該２つのキーフレームを開始フレーム、及び終了フレームとして、出力画像を出力させてもよい。例えば、２つのキーフレームのうち、フレーム番号の小さい方のキーフレームが開始フレームであり、フレーム番号の大きい方のキーフレームが終了フレームであるとみなされてもよい。そして、出力制御部１１６は、開始フレーム、及び出力フレームに基づいて出力（表示再生）の速度調整を行って、出力画像を出力さてもよい。例えば、複数の入力画像のうち、いずれか１の入力画像の速度を基準として、速度調整が行われて、複数の入力画像の各々に対応する出力画像が出力されてもよい。

係る構成によれば、ユーザはより容易にタイミングに関する比較を行うことが可能となる。例えば、スポーツのプレー画像に適用される場合、係る構成によれば、ある動作の開始の終了が揃うため、フォームの違い等をより容易に比較することが可能となる。

また、出力制御部１１６は、入力画像の各々において２つより多いキーフレームを用いて出力画像を出力させる場合にも、上述した例と同様に、キーフレームに基づく速度調整を行って出力画像を出力さてもよい。ただし、係る場合、出力制御部１１６は、出力画像を出力している間に、キーフレームの前後で速度調整に係る倍率を変更してもよい。

以下では、第１のキーフレーム、第２のキーフレーム、第３のキーフレーム、の３つのキーフレームが、複数の入力画像の間で対応している場合を例に説明を行う。この時、出力制御部１１６は、第１のキーフレームと第２のキーフレームの間のフレームに関しては、第１のキーフレームと第２のキーフレームに基づいて速度調整を行って出力画像を出力させてよい。そして、出力制御部１１６は、第２のキーフレームと第３のキーフレームの間のフレームに関しては、第２のキーフレームと第３のキーフレームに基づいて速度調整を行って出力画像を出力させてよい。

係る構成によれば、より詳細にタイミングを揃えて比較を行うことが可能となる。

上述した差異の低減は、操作端末２を用いたユーザによる操作によって設定される再生条件に基づいて行われてもよい。再生条件は、例えばユーザが比較したいポイントに応じたものであってもよい。例えば、出力制御部１１６は、当該再生条件に基づいて、低減させるべき差異を決定し、当該低減させるべき差異が低減されるように、出力画像を出力させてもよい。

例えば、出力制御部１１６は、当該再生条件に基づいて、フォーマットパラメータのうち、差異が低減されるパラメータを決定してもよい。また、出力制御部１１６は、当該再生条件に基づいて、被写体パラメータのうち、差異が低減されるパラメータを決定してもよい。また、出力制御部１１６は、当該再生条件に基づいて、タイミングの差異を低減させるために用いられるキーフレームの種類、及び数を決定してもよい。

以下に、再生条件と、当該再生条件に応じた出力制御部１１６の制御の例をいくつか説明する。ただし、以下に説明する例は一例であって、本技術は係る例に限定されるものではない。

例えば、再生条件として、「テニスのスイングの確認」が設定された場合、出力制御部１１６は、スイングの軌跡を保持するため、フォーマットパラメータのうち、アスペクト比を維持しつつ、アスペクト比以外の差異を低減（同一に）させてもよい。さらに、係る場合、出力制御部１１６は、取得可能な全ての被写体パラメータの差異を低減させて（同一にさせて）もよい。さらに、係る場合、出力制御部１１６は、「テイクバック」、「インパクト」、「フォロースルー」の３つのキーフレームに基づいて速度調整を行って出力画像を出力させてよい。係る構成により、被写体の見えの差異と、タイミングの差異が低減され、被写体のより容易に身体の動きを比較することが可能となる。

また、再生条件として、「テニスのボールの当たる位置の確認」が設定された場合、出力制御部１１６は、被写体パラメータのうち、ラケット（被写体の一例）の位置の差異を低減させてもよい。例えば、出力制御部１１６は、「インパクト」のキーフレームにおいて、ラケットの位置が同一となるように、画像処理を施して出力画像を生成してもよい。また、係る場合、出力制御部１１６は、「インパクト」の１つのキーフレームを基準フレームとして同期させて出力画像を出力させてもよい。係る構成により、ラケットのどこにボールが当たっているかをより容易に比較することが可能となる。

また、再生条件として、「テニスのスイングの緩急の確認」が設定された場合、出力制御部１１６は、スイングの軌跡を保持するため、フォーマットパラメータのうち、アスペクト比を維持しつつ、アスペクト比以外の差異を低減（同一に）させてもよい。さらに、係る場合、出力制御部１１６は、取得可能な全ての被写体パラメータの差異を低減させて（同一にさせて）もよい。さらに、係る場合、出力制御部１１６は、「テイクバック」と「フォロースルー」の２つのキーフレームをそれぞれ開始フレームと終了フレームとした速度調整を行って出力画像を出力させてよい。係る構成により、被写体の見えの差異を低減させつつ、スイングの緩急をより容易に比較することが可能となる。

通信部１２０は、情報処理装置１による他の装置との間の通信を仲介する通信インタフェースである。通信部１２０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明した通信網５を介して、または直接に他の装置との間の通信接続を確立する。例えば、通信部１２０は、上述した出力制御部１１６に制御されて、出力画像を操作端末２へ送信してもよい。また、通信部１２０は、撮像装置４から画像を受信してもよい。また、通信部１２０は、操作端末２から、ユーザによる操作に関する情報を受信してもよい。

表示出力インタフェース部１３０は、他の装置へ画像を出力するインタフェースである。例えば、表示出力インタフェース部１３０は、図１を参照して説明した表示装置３Ａ、及び表示装置３Ｂと接続され、例えば出力制御部１１６の制御に従い、表示装置３Ａ、及び表示装置３Ｂの各々へ異なる出力画像を出力する。

記憶部１５０は、制御部１１０が各機能を実行するためのプログラムやパラメータ等のデータを記憶する。例えば、記憶部１５０は、予め１または複数の入力画像を記憶していてもよい。また、記憶部１５０は、通信部１２０が撮像装置４から受信した画像を入力画像として記憶してもよい。また、記憶部１５０はフォーマット取得部１１２が入力画像ごとに取得したフォーマットパラメータを記憶してもよい。また、記憶部１５０は画像解析部１１４が入力画像ごとに取得した被写体パラメータを記憶してもよい。また、記憶部１５０は画像解析部１１４が入力画像ごとに特定したキーフレームに関する情報、例えばフレーム番号と種類を記憶してもよい。

このようにフォーマットパラメータ、被写体パラメータ、及びキーフレームに関する情報が予め入力画像ごとに取得され、記憶部１５０に記憶される場合、出力制御部１１６は、記憶部１５０からこれらの情報を取得することが可能となる。係る構成により、比較の対象となる複数の入力画像が選択され、再生条件が設定された場合に、情報処理装置１は、より高速に出力画像を出力させることが可能となる。

（操作端末）
以上、情報処理装置１の構成例について説明した。続いて、図４を参照して、操作端末２の構成例について説明する。図４は、本実施形態に係る操作端末２の構成例を示すブロック図である。図４に示すように、操作端末２は、制御部２１０、通信部２２０、操作部２３０、表示部２４０、及び記憶部２５０を備える。

制御部２１０は、演算処理装置、及び制御装置として機能し、各種プログラムに従って操作端末２内の動作全般を制御する。例えば、制御部２１０は、情報処理装置１がユーザの望む出力画像を操作端末２、及び表示装置３へ出力するように、操作を行うための画面を表示部２４０へ表示させる。ユーザは、制御部２１０が表示部２４０に表示させる画面に対する操作を行うことで、複数の入力画像の中から比較の対象となる複数の入力画像を選択してもよい。

また、ユーザは、制御部２１０が表示部２４０に表示させる画面に対する操作を行うことで、比較したいポイントに応じて再生条件を設定してもよい。なお、ユーザは、例えば予め用意された再生条件のプリセットの中から、選択を行ってもよい。予め用意された再生条件のプリセットとは、例えば、上述した「テニスのスイングの確認」、「テニスのボールの当たる位置の確認」、「テニスのスイングの緩急の確認」等であってもよい。あるいは、ユーザは再生条件をより詳細に設定することが可能であってもよく、例えば、制御部２１０が表示部２４０に表示させる画面は、フォーマットパラメータの各々、被写体パラメータの各々を低減させる（例えば同一にする）か、否か、を選択可能であってもよい。また、制御部２１０が表示部２４０に表示させる画面は、複数の出力画像間で同期させるキーフレームの種類や数を選択可能であってもよい。

また、制御部２１０が表示部２４０に表示させる画面は、通信部２２０が情報処理装置１から受信した複数の出力画像を含んでもよい。係る構成により、操作端末２を操作するユーザは、１つの画面を見ることで容易に比較を行うことが可能となる。また、上述したように、情報処理装置１が表示装置３Ａ、及び表示装置３Ｂと、操作端末２と、へ出力画像を同時に出力する場合、ユーザは操作端末２の画面で、表示装置３Ａ、及び表示装置３Ｂに表示される出力画像を確認することが可能となる。

なお、制御部２１０が表示部２４０に表示させる画面は、係る例に限定されず、制御部２１０は、情報処理装置１の機能と連携して多様な画面を表示させてもよく、他の例については、変形例として後述する。

また、制御部２１０は、通信部２２０を制御し、後述する操作部２３０を介したユーザによる操作に関する情報を、情報処理装置１へ送信させてもよい。ユーザによる操作に関する情報とは、例えば上述した比較の対象となる複数の入力画像の選択に関する情報や、再生条件の設定に関する情報であってもよい。

通信部２２０は、操作端末２による他の装置との間の通信を仲介する通信インタフェースである。通信部２２０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明した通信網５を介して、または直接に他の装置との間の通信接続を確立する。例えば、通信部２２０は、上述した制御部２１０に制御されて、ユーザによる操作に関する情報を、情報処理装置１へ送信してもよい。また、通信部２２０は、情報処理装置１から、複数の入力画像の各々に対応する出力画像を受信してもよい。

操作部２３０は、ユーザによる操作を受け付ける。操作部２３０は、上述した制御部２１０が表示部２４０に表示させる各種画面に対する操作を受け付ける。例えば、操作部２３０は、マウス、キーボード、タッチセンサ、ボタン、スイッチ、レバー、あるいはダイヤル等により実現されてもよい。

表示部２４０は、上述した制御部２１０の制御に従って、各種画面を表示する。なお、図４に示す例では、操作部２３０と表示部２４０をそれぞれ別の構成として示しているが、操作端末２は、操作部２３０の機能と表示部２４０の機能の両方を有するタッチパネルディスプレイを備えてもよい。

記憶部２５０は、制御部２１０が各機能を実行するためのプログラムやパラメータ等のデータを記憶する。例えば、記憶部２５０は、制御部２１０が表示部２４０へ各種画面を表示させるためのアイコン等を記憶していてもよい。

＜１−３．動作例＞
以上、本実施形態に係る情報処理装置１、及び操作端末２の構成例について説明した。続いて、本実施形態の動作例について、図５を参照して説明する。図５は、本実施形態の動作例を示すフローチャート図である。

まず、ステップＳ１０２において、操作端末２を用いたユーザによる操作が行われて、情報処理装置１の記憶部１５０に記憶された入力画像の中から、比較の対象となる複数の入力画像が選択される。続くステップＳ１０４〜ステップＳ１１６の処理は、ステップＳ１０２で選択された複数の入力画像の各々において独立に行われてもよい。

ステップＳ１０４において、情報処理装置１のフォーマット取得部１１２が各入力画像の解像度を取得する。ステップＳ１０４において、各入力画像のアスペクト比（フォーマットパラメータの一例）が同時に取得されてもよい。続くステップＳ１０４において、フォーマット取得部１１２は、各入力画像のフレームレート（フォーマットパラメータの一例）を取得する。

続くステップＳ１０８において、情報処理装置１の画像解析部１１４が各入力画像に含まれる被写体を検出する。続くステップＳ１１０において、画像解析部１１４は、ステップＳ１０８で検出された被写体の利き手、または利き足（被写体パラメータの一例）を判定する。続くステップＳ１１２において、画像解析部１１４は、ステップＳ１０８で検出された被写体の位置（被写体パラメータの一例）を取得する。さらに、続くステップＳ１１４において、画像解析部１１４は、ステップＳ１０８で検出された被写体のサイズ（被写体パラメータの一例）を取得する。

続くステップＳ１１６において、画像解析部１１４は、各入力画像においてキーフレームを特定する。

続くステップＳ１１８において、操作端末２を用いたユーザによる操作が行われて、再生条件が設定される。

続くステップＳ１２０において、情報処理装置１の出力制御部１１６が、ステップＳ１１８で設定された再生条件に基づいて、上述したように出力画像を取得し、出力画像を表示装置３に出力（表示再生）させる。

以上、本実施形態の動作例を説明した。なお、図５に示したのは一例であって、本実施形態の動作は係る例に限定されない。例えば、各ステップは、必ずしも図５に記載された順序に沿って時系列に処理される必要はなく、各ステップは図５に記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

また、図５に示す例では、被写体パラメータとして、被写体の利き手、被写体の利き足、被写体の位置、被写体のサイズのみが取得される例を示したが、他の被写体パラメータが取得されてもよい。

また、図５に示す例では、ステップＳ１０２において比較の対象となる複数の入力画像が選択された後に、ステップＳ１０４〜Ｓ１１６の処理が行われる例を示したが、本実施形態は係る例に限定されない。上述したように、情報処理装置１が備える記憶部１５０が記憶する入力画像に対し、ステップＳ１０４〜Ｓ１１６の処理が事前に行われ、フォーマットパラメータ、被写体パラメータ、及びキーフレームが記憶部１５０に記憶されていてもよい。このように、ステップＳ１０２において選択された複数の入力画像に関し、ステップＳ１０４〜Ｓ１１６の処理が事前に行われている場合、ステップＳ１０２の後、ステップＳ１０４〜Ｓ１１６の処理はスキップされ、続くステップＳ１１８に処理が進んでもよい。

＜１−４．変形例＞
以上、本開示の第１の実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

（変形例１）
出力制御部１１６は、出力画像に、画像解析部１１４により行われる画像解析の結果を重畳して、出力画像を出力させてもよい。例えば、出力制御部１１６は、画像解析部１１４により行われる画像解析により得られる被写体の位置を示すマークを出力画像に重畳して出力させてもよい。係る例について、変形例１として、図６を参照して説明を行う。図６は、本実施形態に係る変形例１を説明するための説明図である。

図６に示すように、出力制御部１１６は、表示装置３Ａへ出力画像Ｖ１１０、Ｖ１２０、Ｖ１３０を順番に（経時的に）出力させて、表示させる。また、出力制御部１１６は、それと同時に、表示装置３Ｂに出力画像Ｖ２１０、Ｖ２２０、Ｖ２３０を順番に（経時的に）出力させて、表示させる。なお、図６に示す例において、出力画像Ｖ１１０、Ｖ１２０、Ｖ１３０の各々と出力画像Ｖ２１０、Ｖ２２０、Ｖ２３０の各々とがそれぞれ対応して同時刻に表示される。

図６に示す例において、出力画像Ｖ１１０、Ｖ１２０、Ｖ１３０、Ｖ２１０、Ｖ２２０、Ｖ２３０の各々に、被写体であるテニスボールの位置を示すマークＶ１１１、Ｖ１２１、Ｖ１３１、Ｖ２１１、Ｖ２２１、Ｖ２３１が重畳されている。また、図６に示す例において、出力画像Ｖ１１０、Ｖ１２０、Ｖ１３０、Ｖ２１０、Ｖ２２０、Ｖ２３０の各々に、被写体である人の足元位置を示すマークＶ１１２、Ｖ１２２、Ｖ１３２、Ｖ２１２、Ｖ２２２、Ｖ２３２が重畳されている。

このように、被写体の位置を出力画像に重畳して表示することで、ユーザは被写体の位置より容易に把握することが可能となる。例えば、被写体の位置の差異が低減されるような再生条件が設定された場合には、被写体の位置を出力画像に重畳して表示することで、ユーザは係る差異が正しく低減されていることを確認することが可能となる。

（変形例２）
出力制御部１１６は、複数の出力画像を重ね合わせて出力させてもよい。例えば、出力制御部１１６は、複数の入力画像の各々に対して出力画像を取得し、取得された複数の出力画像を重ね合わせて、操作端末２、あるいは表示装置３へ出力させてもよい。そして、操作端末２、あるいは表示装置３は、複数の出力画像が重ね合わせられた画像を表示してもよい。係る例について、変形例２として、図７を参照して説明を行う。図７は、本実施形態に係る変形例２を説明するための説明図である。

図７には、出力制御部１１６が２つの出力画像を重ね合わせて出力させた画像Ｖ３１０、Ｖ３２０、Ｖ３３０が示されている。出力制御部１１６は、画像Ｖ３１０、Ｖ３２０、Ｖ３３０を順番に（経時的に）出力させる。

出力制御部１１６は、複数の出力画像の表現を各々異ならせて、重ね合わせを行ってもよい。例えば、図７に示す例では、出力画像ごとに線種が異なるように重ね合わせが行われている。なお、本変形例は係る例に限定されず、出力制御部１１６は、出力画像ごとに、色を異ならせて重ね合わせを行ってもよい。

係る構成によれば、例えば入力画像の各々に含まれる被写体の動きやフォームをより詳細に比較することが可能となる。

また、出力制御部１１６は、複数の出力画像の間での差分の大きさに応じて各領域の色を異ならせてもよい。例えば、出力制御部１１６は、複数の出力画像の間での差分が大きい程、当該差分の大きな領域が赤に近い色を有するような画像を出力させてもよい。係る構成によれば、例えばユーザは、被写体の動きやフォームの差異の大きい部分をより容易に把握することが可能となる。

（変形例３）
上記実施形態では、情報処理装置１の制御部１１０が自動的にキーフレームを特定する例を説明したが、キーフレームは、操作端末２を用いたユーザによる操作に基づいて特定されてもよい。係る例について、変形例３として図８〜図１０を参照して説明を行う。図８〜図１０は、本実施形態に係る変形例３を説明するための説明図である。

図８に示される状態では、比較の対象となる入力画像が選択されておらず、表示装置３Ａ、及び表示装置３Ｂには何も表示されていない。ここで、操作端末２の表示部２４０に表示される画面において行われる、比較の対象となる複数の入力画像が選択するためのユーザによる操作の例について、図８を参照して説明する。

表示部２４０に表示される画面のサムネイル画像表示領域Ｒ１５０には、情報処理装置１の記憶部１５０に記憶された入力画像の各々を示すサムネイル画像Ｐ１５１〜Ｐ１５３が表示されている。ユーザは、サムネイル画像Ｐ１５１〜Ｐ１５３を確認して、比較の対象としたい入力画像を示すサムネイル画像を、表示装置３Ａに対応する第１のプレビュー領域Ｒ１１０、または表示装置３Ｂに対応する第２のプレビュー領域Ｒ１２０へ移動させる。係る移動のための操作は、所謂ドラッグ＆ドロップ操作であってもよい。

図８に示す例では、ユーザの指Ｆ１１１がサムネイル画像Ｐ１５１を第１のプレビュー領域Ｒ１１０へ移動させ、ユーザの指Ｆ１１２がサムネイル画像Ｐ１５３を第２のプレビュー領域Ｒ１２０へ移動させている。このような操作により、ユーザは、サムネイル画像Ｐ１５１に対応する入力画像と、サムネイル画像Ｐ１５３に対応する入力画像を比較の対象となる入力画像として選択することが出来る。なお、本変形例における以下の説明では、サムネイル画像Ｐ１５１に対応する入力画像に対応して情報処理装置１から出力される出力画像を第１の入力画像、サムネイル画像Ｐ１５３に対応する入力画像を第２の入力画像と呼ぶ。また、本変形例における以下の説明では、第１の入力画像に対応する出力画像を第１の出力画像と呼び、第２の入力画像に対応する出力画像を第２の出力画像と呼ぶ。

上記の操作の結果、図９に示すように、表示装置３Ａ、及び表示装置３Ｂに、それぞれ第１の入力画像、及び第２の入力画像が表示される。また、表示部２４０にも、入力画像が表示される。図９に示す例では、第１のプレビュー領域Ｒ１１０の第１のプレビュー画像表示領域Ｒ１１１、及び第２のプレビュー領域Ｒ１２０の第２のプレビュー画像表示領域Ｒ１２１に、それぞれ第１の入力画像、及び第２の入力画像が表示されている。

ここで、操作端末２の表示部２４０に表示される画面において行われる、入力画像間で対応するキーフレームを特定するためのユーザによる操作について、図９、及び図１０を参照して説明する。

第１の入力画像におけるキーフレームを特定するため、ユーザは、第２のプレビュー画像表示領域Ｒ１２１に所望のフレーム（キーフレーム）が表示されるように、第１のプレビュー領域Ｒ１１０に含まれる再生バーＰ１１１のスライダーＰ１１２を移動させる。図９に示す例では、係る操作がユーザの指Ｆ１２１を用いて示されている。同様に、第２の入力画像におけるキーフレームを特定するため、ユーザは、第２のプレビュー画像表示領域Ｒ１２１に所望のフレーム（キーフレーム）が表示されるように、第２のプレビュー領域Ｒ１２０に含まれる再生バーＰ１２１のスライダーＰ１２２を移動させる。図９に示す例では、係る操作がユーザの指Ｆ１２２を用いて示されている。この際、各スライダーの移動に関する情報が操作端末２から情報処理装置１へ送信されて、情報処理装置１は、各スライダーの移動に応じて、出力する出力画像のフレームを変化させる。

ユーザは、上記のように各入力画像においてキーフレームを表示させると、図１０に示す指Ｆ１３１のように、第１の入力画像のキーフレームと第２の入力画像のキーフレームを対応させるためのリンクボタンＰ１３１を押下する。リンクボタンＰ１３１が押下されると、図９を参照して説明したように特定されたキーフレームが、第１の入力画像と第３の入力画像との間で対応付けられ、再生等において同期される。例えば、この際、キーフレームの対応に関する情報が操作端末２から情報処理装置１へ送信されてもよい。

例えばリンクボタンＰ１３１が押下された後、図１０に示す指Ｆ１３２のように、第２のプレビュー領域Ｒ１２０に表示された再生制御ボタン群Ｐ１２４に含まれる再生開始ボタンＰ１２５を押下すると、２つの入力画像が同期して再生される。

（変形例４）
操作端末２の制御部１１０は、さらに多様な画面を表示部２４０に表示させてもよい。例えば、操作端末２の制御部１１０は、比較対象となる複数の入力画像を選択するために、類似した画像を検索する機能を提供する画面を表示させてもよい。係る例について、変形例４として、図１１、及び図１２を参照して説明を行う。図１１、及び図１２は、本実施形態に係る変形例４を説明するための説明図である。

図１１に示す例において、操作端末２の表示部２４０には、メニューボタン群Ｐ２１０が表示されている。メニューボタン群Ｐ２１０は、操作端末２の操作部２３０がタッチパネルである場合には、例えば長押し（所定時間以上のタッチ）により表示されてもよい。

メニューボタン群Ｐ２１０に含まれるボタンＰ２１１とボタンＰ２１２のうち、図１１に示す指Ｆ２１１のように、類似画像検索のためのボタンＰ２１２が押下されると、類似画像検索が行われる。係る類似画像検索は、例えば情報処理装置１の制御部１１０により行われ、情報処理装置１の記憶部１５０に記憶された入力画像の中から、第１のプレビュー画像表示領域Ｒ１１１に表示されているフレーム（以下、検索対象フレームと呼ぶ）に類似したフレームを検索する処理であってもよい。

図１１に示す例では、サムネイル画像表示領域Ｒ１５０に、類似画像検索の結果得られた入力画像を示すサムネイル画像Ｐ１５４〜Ｐ１５７が表示されている。なお、類似画像検索の結果、サムネイル画像表示領域Ｒ１５０に表示されるサムネイル画像は、各入力画像において、類似画像検索において、検索対象フレームに類似すると判定されたフレームに対応する画像であってもよい。また、サムネイル画像表示領域Ｒ１５０に表示されるサムネイル画像は、例えば同一の入力画像の異なるフレームを示すサムネイル画像を含んでもよい。

続いて、ユーザは図１２に示すように、比較の対象となる複数の入力画像を選択する。図１２に示す例では、比較の対象となる入力画像として、指Ｆ２２１によりサムネイル画像Ｐ１５４に対応する入力画像が選択され、指Ｆ２２２によりサムネイル画像Ｐ１５６に対応する入力画像が選択されている。なお、選択された入力画像は、各サムネイル画像が示すフレームをキーフレームとして対応付けられてもよい。

上述した変形例４によれば、ユーザはより容易に比較の対象となる複数の入力画像を選択することが可能であり、特に情報処理装置１の記憶部１５０に記憶される入力画像が多い場合に特に有効である。また、類似画像検索により、入力画像間で対応するキーフレームを特定することも可能であるため、キーフレームを特定するための操作を省略することも可能である。

（変形例５）
また、操作端末２の制御部１１０は、情報処理装置１の画像解析部１１４に入力画像の解析を行わせて、係る解析の結果を提示するための画面を表示させてもよい。係る例について、変形例５として、図１３を参照して説明を行う。図１３は、本実施形態に係る変形例５を説明するための説明図である。

図１３に示す指Ｆ２１３のように、被写体の動き解析のためのボタンＰ２１１が押下されると、情報処理装置１の画像解析部１１４により、動き解析が行われる。係る動き解析は、例えば、第１のプレビュー画像表示領域Ｒ１１１に表示されている画像を対象としたものであってもよい。なお、図１３において、第１のプレビュー画像表示領域Ｒ１１１に表示されている画像は、サムネイル画像表示領域Ｒ１５０に表示されるサムネイル画像Ｐ１５８に対応した入力画像である。

動き解析が行われると、図１３に示すように、第２のプレビュー画像表示領域Ｒ１２１に、動き解析結果を示す画像が表示され、当該動き解析結果を示す画像に対応するサムネイル画像がサムネイル画像表示領域Ｒ１５０に表示される。図１３に示すように、動き解析結果を示す画像は、被写体の動きの軌跡を重ねて示すものであってもよく、静止画像であってもよいし、動画像であってもよい。

上述した変形例５によれば、操作端末２のユーザは、情報処理装置１が有する画像解析機能を実行させ、解析結果を操作端末２の表示部２４０に表示される画面で確認することが可能となる。例えば図１３に示した例では、ゴルフのスイングのフォームや緩急等をより容易に把握することが可能となる。

（変形例６）
また、操作端末２の制御部１１０は、情報処理装置１の出力制御部１１６が出力させる出力画像にアノテーションを追加（描画）する操作を行うための画面を表示させてもよい。係る例について、変形例６として、図１４、図１５を参照して説明を行う。図１４、図１５は、本実施形態に係る変形例６を説明するための説明図である。

図１４に示す例では、第２のプレビュー領域Ｒ１２０に、拡大ボタンＰ２２１が表示されている。係る拡大ボタンＰ２２１が押下されると、表示部２４０には、図１５に示すような画面が表示される。

図１５に示す表示部２４０の画面は、図１４に示した第２のプレビュー領域Ｒ１２０よりも大きく、図１４に示した第２のプレビュー領域Ｒ１２０を拡大表示した拡大プレビュー表示領域Ｒ２２１を含む。

また、図１５に示す表示部２４０の画面は、アノテーションメニューバーＲ２３０を含む。アノテーションメニューバーＲ２３０には、プルダウンリストＰ２３１、Ｐ２３２、及びボタンＰ２３３〜Ｐ２３８が表示されている。係るプルダウンリストＰ２３１、Ｐ２３２、及びボタンＰ２３３〜Ｐ２３８を用いて、拡大プレビュー表示領域Ｒ２２１内へアノテーションを描画することが可能である。なお、拡大プレビュー表示領域Ｒ２２１内へ描画されたアノテーションは、表示装置３Ｂに表示される出力画像にも同様に描画されてよい。

プルダウンリストＰ２３１は、描画する線の太さを選択するためのプルダウンリストである。また、プルダウンリストＰ２３２は、描画する線の色を選択するためのプルダウンリストである。また、ボタンＰ２３３は、直線を描画する際に選択されるボタンである。また、ボタンＰ２３４は、自由線（フリーハンドの線）を描画する際に選択されるボタンである。また、ボタンＰ２３５は、描画内容の部分消去を行う消しゴムを用いる際に選択されるボタンである。また、ボタンＰ２３６は、描画内容の一括クリアを行う際に選択されるボタンである。また、ボタンＰ２３７は、拡大プレビュー表示領域Ｒ２２１における描画内容の表示と非表示を切り替えるためのボタンである。また、ボタンＰ２３８は、拡大プレビュー表示領域Ｒ２２１に表示された画像のスナップショットを保存するためのボタンである。

また、図１５に示す例では、表示部２４０に表示された画面は、図１４に示したような画面に戻るための縮小ボタンＰ２２２を含む。例えば、ユーザは、アノテーションの描画が完了した場合に縮小ボタンＰ２２２を押下してもよく、縮小ボタンＰ２２２が押下されると、図１５に示した画面で描画されたアノテーションが図１４に示した第２のプレビュー領域Ｒ１２０にも表示される。

なお、上記では、表示装置３Ｂに表示される出力画像に対するアノテーションの描画について説明したが、表示装置３Ａに表示される出力画像に対しても同様にアノテーションを描画することが可能であってもよい。また、いずれか一方の出力画像に対してアノテーションを描画する操作により、他方の出力画像の対応する位置にも同一のアノテーションが描画されてもよい。

＜１−５．効果＞
以上、本開示の第１の実施形態について説明した。本開示の第１の実施形態によれば、より容易に複数の画像間での比較を行うことが可能となる。

＜＜２．第２の実施形態＞＞
以上、本開示の第１の実施形態について説明した。続いて、本開示の第２の実施形態について説明する。

＜２−１．概要＞
例えば、スポーツ中継のために、スポーツのプレーを撮像した画像を編集することが行われている。編集作業には、例えば、複数台のカメラで撮像された画像の中から、シーンごとに、重要な画像を選択する作業や、画像の中から重要な部分を抽出して拡大する作業が含まれていた。このような画像の編集作業は、人手による作業が多く、人的負担が大きかった。そこで、以下に説明する本開示の第２の実施形態では、このような画像の編集に係る人的負担を軽減させることが可能な情報処理装置、情報処理方法、及びプログラムを提案する。

図１６は、本開示の第２の実施形態の概要を説明するためのイメージ図である。本実施形態では、例えばスポーツのプレー等を撮像して得た入力画像から、ある領域を抽出して、抽出された領域を拡大して表示する。以下、入力画像において抽出される領域を抽出領域と呼ぶ。

図１６には、サッカーフィールドの全体が含まれるようにサッカーのプレーを撮像して得た入力画像Ｖ４１０が示されている。本実施形態において、入力画像は広い範囲を撮像した高解像度な画像であることが望ましく、例えば複数の撮像装置の撮像により得られた画像を合成して得られるパノラマ画像であってもよい。ただし、本実施形態に係る入力画像は係る例に限定されるものではない。

図１６に示す例では、入力画像Ｖ４１０の中から、抽出領域Ｖ４１１が抽出される。抽出領域Ｖ４１１は、入力画像Ｖ４１０の中で重要な領域であってもよく、図１６に示す例では、選手が密集し、またサッカーボールが含まれる領域が抽出領域Ｖ４１１として抽出されている。

このような抽出領域Ｖ４１１を拡大して得られる拡大画像Ｖ４２０が、出力画像として表示されることで、入力画像Ｖ４１０の全体が表示される場合よりも、容易に状況を把握することが可能となる。また、上記の処理が自動的に行われることで、画像の編集作業に係る人的負担が大きく軽減される。

以下、このような効果を奏するための本実施形態の構成例について、図１７を参照して説明を行う。

＜２−２．構成例＞
図１７は、本実施形態に係る情報処理装置７の構成例を示すブロック図である。図１７に示すように、情報処理装置７は、制御部７１０、通信部７２０、操作部７３０、表示部７４０、及び記憶部７５０を備える。

制御部７１０は、演算処理装置、及び制御装置として機能し、各種プログラムに従って情報処理装置７内の動作全般を制御する。また、本実施形態に係る制御部７１０は、図１７に示すようにメタ情報取得部７１２、画像解析部７１４、及び出力制御部７１６としての機能を有する。

メタ情報取得部７１２は、入力画像に関するメタ情報を取得する。メタ情報取得部７１２が取得するメタ情報は、入力画像において発生した事象に関する発生事象情報、及び被写体に関する被写体情報を含んでもよい。

入力画像がサッカーの試合を撮像して得られたものであった場合、発生事象情報は、例えばシュート（入力画像において発生した事象の一例）に関する情報を含んでもよい。シュートに関する情報とは、例えばシュートの回数、シュートが行われた時刻、シュートを行ったチームあるいは選手の背番号、シュートが入ったか否か等の情報を含んでもよい。

また、入力画像がサッカーの試合を撮像して得られたものであった場合、被写体情報は、例えば各時刻における各選手（被写体の一例）やサッカーボール（被写体の一例）の位置等の情報を含んでもよい。

メタ情報取得部７１２は、通信部７２０を介して、他の装置からメタ情報を取得（受信）してもよい。例えば、プロスポーツの試合においては、上述したメタ情報を提供する組織が存在する場合があり、メタ情報取得部７１２は、そのような組織が有する装置から、メタ情報を取得してもよい。

ただし、メタ情報の作成にはコストがかかるため、学校や一般のスポーツクラブでは上述したメタ情報を十分に揃えることが困難な場合がある。係る場合であっても、上述したメタ情報のうち、一部の情報のみ（例えばシュートの回数、あるいはシュートが行われた時刻のみ等）が提供されているのであれば、メタ情報取得部７１２は、係る一部の情報のみを、他の装置から受信してもよい。

また、メタ情報取得部７１２は、表示部７４０に、メタ情報を入力するための画面を表示させ、操作部７３０が受け付けたユーザによる操作に基づいて、メタ情報を取得してもよい。ただし、係る操作は人的負担を増加させるため、ユーザによる操作に基づいて取得するメタ情報は少ないことが望ましい。

そこで、画像解析部７１４は、メタ情報取得部７１２により取得されたメタ情報に含まれていないメタ情報を入力画像の解析により取得して補完する。係る構成により、メタ情報の取得に係る人的負担が軽減される。

例えば、メタ情報に発生事象情報の一例であるシュートの時刻の情報のみが含まれていた場合、画像解析部７１４は、入力画像の解析により、選手とボールの位置の情報（被写体情報の一例）を取得してもよい。

また、画像解析部７１４は、入力画像の解析において、メタ情報取得部７１２により取得されたメタ情報を活用してもよい。例えば、画像解析部７１４は、入力画像と、メタ情報取得部７１２により取得されたメタ情報に基づいて、入力画像の解析を行い、メタ情報取得部７１２により取得されたメタ情報に含まれていないメタ情報を取得してもよい。例えば、メタ情報に発生事象情報の一例であるシュートの時刻の情報のみが含まれている場合、画像解析部７１４は、入力画像の解析により得られた選手とボールの位置の情報（被写体情報の一例）に基づいて、当該シュートを行ったチームの情報を特定してもよい。

係る構成によれば、例えばメタ情報取得部７１２により取得されたメタ情報に基づいて解析を行うべきフレームを限定することが可能であり、入力画像の解析に係る処理負荷を軽減させることが可能となる。

なお、上記では、メタ情報に発生事象情報の一例であるシュートの時刻の情報のみが含まれていた場合を例に説明したが、当然本実施形態は係る例に限定されず、他の例にも適用可能である。

例えば、メタ情報に被写体情報の一例である選手の位置の情報が含まれているものの、各選手の背番号やチームの情報が欠落している（含まれていない）場合、画像解析部７１４は、入力画像の解析により、係る背番号やチームの情報を取得してもよい。例えば、画像解析部７１４は、選手の位置の情報に基づいて、各位置に存在する選手の背番号の数字を認識したり、ユニフォームの色からチームを認識したりすることで、背番号やチームの情報を取得してもよい。

このように、画像解析部７１４は、メタ情報取得部７１２が取得した情報に応じて、欠落している情報を入力画像の解析により取得してもよい。

さらに、画像解析部７１４は、メタ情報取得部７１２により取得されたメタ情報と、入力画像の解析により取得されたメタ情報と、に基づいて抽出領域を特定してもよい。例えば、上述したように、シュートを行ったチームの情報が特定された場合、どちらのチームのゴールエリアを抽出領域として特定すべきであるか判定することが可能となる。

出力制御部７１６は、画像解析部７１４により特定された抽出領域に基づいて、出力画像を表示部７４０に出力（表示）させる。例えば、出力制御部７１６は、入力画像から抽出領域を抽出し、抽出領域の解像度と表示部７４０の解像度に応じた拡大処理を抽出領域に施して出力画像を生成し、出力画像を、表示部７４０に表示させてもよい。

なお、出力制御部７１６は、入力画像から抽出した抽出領域を、拡大せずにそのまま出力画像として表示部７４０に表示させてもよい。あるいは、表示部７４０の解像度が抽出領域の有する解像度よりも小さい場合、出力制御部７１６は、抽出領域の解像度と表示部７４０の解像度に応じた縮小処理を抽出領域に施して出力画像を生成し、出力画像を、表示部７４０に表示させてもよい。

通信部７２０は、情報処理装置７による他の装置との間の通信を仲介する通信インタフェースである。通信部７２０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、不図示の通信網を介して、または直接に不図示の他の装置との間の通信接続を確立する。例えば、通信部７２０は、メタ情報取得部７１２に制御されて、他の装置からメタ情報を受信してもよい。

操作部７３０は、ユーザによる操作を受け付ける。例えば、操作部７３０は、マウス、キーボード、タッチセンサ、ボタン、スイッチ、レバー、あるいはダイヤル等により実現されてもよい。

表示部７４０は、制御部７１０に制御されて表示を行う。例えば、表示部７４０は、上述した出力制御部７１６の制御に従って、抽出領域に基づく出力画像の表示再生を行う。

記憶部７５０は、制御部７１０が各機能を実行するためのプログラムやパラメータ等のデータを記憶する。例えば、記憶部７５０は、入力画像や、通信部７２０が他の装置から受信したメタ情報等を記憶していてもよい。

＜２−３．動作例＞
以上、本実施形態に係る情報処理装置７の構成例について説明した。続いて、本実施形態の動作例について、図５を参照して説明する。図１８は、本実施形態の動作例を示すフローチャート図である。

まず、ステップＳ２０２において、メタ情報取得部７１２がメタ情報を取得する。ステップＳ２０２で取得されるメタ情報は、抽出領域を特定するために十分なメタ情報が含まれていなくてもよく、抽出領域を特定するために必要なメタ情報が欠落していてもよい。

続いて、ステップＳ２０４において、画像解析部７１４が、入力画像の解析により、メタ情報を取得する。ステップＳ２０４で取得されるメタ情報は、例えば抽出領域を特定するために必要なメタ情報のうち、メタ情報取得部７１２により取得されたメタ情報に含まれていない、欠落したメタ情報であってもよい。

続いて、ステップＳ２０６において、画像解析部７１４が、メタ情報取得部７１２により取得されたメタ情報と、入力画像の解析により取得されたメタ情報と、に基づいて抽出領域を特定する。

続いて、ステップＳ２０８において、出力制御部７１６が、抽出領域を拡大して出力画像を生成する。そして、続くステップＳ２１０において、出力制御部７１６が表示部７４０に出力画像を出力（表示再生）させる。

＜２−４．変形例＞
以上、本開示の第２の実施形態を説明した。以下では、本実施形態の変形例を説明する。なお、以下に説明する変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

上述したように、メタ情報取得部７１２は、他の装置からメタ情報を取得してもよい。ただし、他の装置から提供されるメタ情報の時刻情報は、情報処理装置７の記憶部７５０に記憶された入力画像の時刻情報と一致していない場合がある。

そこで、画像解析部７１４は、入力画像の解析により、入力画像の時刻情報とメタ情報取得部７１２により取得されたメタ情報の時刻情報とを調整してもよい。例えば、画像解析部７１４は、入力画像の解析により認識した事象（例えばシュート等）と、メタ情報取得部７１２により取得されたメタ情報に含まれる事象とを照合することで、自動的に係る調整を行うことが可能である。

＜２−５．効果と補足＞
以上、本開示の第２の実施形態について説明した。本開示の第２の実施形態によれば、画像の編集に係る人的負担を軽減させることが可能である。

なお、上述した本開示の第２の実施形態は、本開示の第１の実施形態と組み合わせることも可能である。

＜＜３．応用例＞＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図１９は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１９を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図１９では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図１９では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図２０は、集中操作パネル５１１１における操作画面の表示例を示す図である。図２０では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図２０を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図２１は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１９に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図２１では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１９に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図２１では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２２を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図２２は、図２１に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図２２を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、例えば視聴覚コントローラ５１０７に好適に適用され得る。具体的には、視聴覚コントローラ５１０７が上述したフォーマット取得部１１２、画像解析部１１４、出力制御部１１６等の機能を有し、画像間の比較のため、複数の入力画像の各々に対応する出力画像の間の差異が低減されるように、出力画像を出力させてもよい。

本開示に係る技術が視聴覚コントローラ５１０７に適用される場合、入力画像は、例えばシーリングカメラ５１８７、術場カメラ５１８９、内視鏡５１１５等のカメラの撮像により取得される画像、あるいはレコーダ５１０５に記憶された画像であってもよい。例えば、術場カメラ５１８９の撮像により取得された画像と内視鏡５１１５の撮像により取得された画像とが入力画像であってもよい。あるいは、内視鏡５１１５の撮像により取得された画像と不図示の顕微鏡の撮像により取得された画像とが入力画像であってもよい。あるいは、術場カメラ５１８９の撮像により取得された画像と術者に装着された不図示の視線カメラ（ウェアラブルカメラ）の撮像により取得された画像とが入力画像であってもよい。

手術において、異なる種類のカメラを用いることがある。例えば、顕微鏡カメラと内視鏡カメラとでは、得られる画像の種類が異なる。そこで、同じ手術対象に対して異なる種類のカメラを用いている場合に、上述したように異なる種類のカメラの撮像により取得された画像を比較して再生することにより、手術部位の状況をより把握しやくすることができるという効果がある。

また、手術の記録等のために術場カメラと併用して術者が身に着けているウェアラブルカメラが用いられることがあるが、術場カメラの撮像により取得された画像は術者が術部を覗き込んでいる場合や、他の医療スタッフ等によって視界が遮られた場合等において、適切な画像を記録できない恐れがある。そこで、ウェアラブルカメラの映像を併用することで、術場カメラで見えなかった部分を補うことができる。そこで、上述したように術場カメラ５１８９、及びウェアラブルカメラのそれぞれの撮像により取得された画像を比較して再生することにより、いずれかのカメラが適切に画像を取得できなかった場合においても、もう一方の画像を容易に確認することができる。

なお、比較される画像の例は上述した例に限定されない。手術において取得あるいは表示され得る様々な画像が、入力画像として用いられてよい。また、入力画像は２つに限定されず、３つ以上の画像（例えば、３つ以上の異なるカメラの撮像により取得された画像）が入力画像として用いられてもよい。

また、本開示に係る技術が視聴覚コントローラ５１０７に適用される場合、視聴覚コントローラ５１０７は、例えばフォーマットパラメータのうち少なくとも１つの差異が低減されるように出力画像を出力させてもよい。また、視聴覚コントローラ５１０７は、被写体パラメータの差異が低減されるように出力画像を出力させてもよい。なお、ここで、被写体パラメータは、例えば被写体を写す範囲を示す画角に関するパラメータを含んでもよい。また、視聴覚コントローラ５１０７は、複数の入力画像の間で対応するキーフレームに基づいて出力画像を出力させてもよい。なお、係る際、例えば出血の瞬間がキーフレームとして用いられてもよく、キーフレームの前後がスロー再生表示されてもよい。

視聴覚コントローラ５１０７に本開示に係る技術を適用することにより、例えば手術の際に複数のカメラにより撮像される画像間の比較をより容易に行うことが可能である。

＜＜４．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図２３を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２３は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２３に示す情報処理装置９００は、例えば、上述した情報処理装置１、操作端末２、情報処理装置７を実現し得る。本開示の実施形態に係る情報処理装置１、操作端末２、情報処理装置７による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図２３に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１１０、制御部２１０、制御部７１０を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部２４０、表示部７４０を形成し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１５０、記憶部２５０、記憶部７５０を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１２０、通信部２２０、通信部７２０を形成し得る。

センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、より容易に複数の画像間での比較を行うことが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させる、出力制御部を備える、情報処理装置。
（２）
前記入力画像の解析により前記被写体パラメータを取得する画像解析部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記被写体パラメータは、前記被写体の利き手、前記被写体の利き足、前記被写体のサイズ、前記入力画像における前記被写体の位置、前記入力画像の撮像に係る撮像装置から前記被写体までの距離、前記撮像装置に対する前記被写体の姿勢、のうち少なくともいずれか１つを含む、前記（１）または（２）に記載の情報処理装置。
（４）
前記出力制御部は、前記複数の入力画像の各々において特定され、前記複数の入力画像の間で対応するキーフレームに基づいて、前記出力画像を出力させる、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記出力制御部は、前記キーフレームに基づいて速度調整を行って、前記出力画像を出力させる、前記（４）に記載の情報処理装置。
（６）
前記出力制御部は、画像フォーマットに関するフォーマットパラメータのうち少なくとも１つの差異が低減されるように、前記出力画像を出力させる、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記フォーマットパラメータは、フレームレート、解像度、アスペクト比のうち、少なくともいずれか１つを含む、前記（６）に記載の情報処理装置。
（８）
前記出力制御部は、ユーザにより設定される条件に基づいて、前記出力画像を出力させる、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記被写体パラメータのうち差異が低減されるパラメータは、前記条件に基づいて決定される、前記（８）に記載の情報処理装置。
（１０）
前記被写体パラメータを記憶する記憶部をさらに備える、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記出力制御部は、前記出力画像の各々を、同時に別々の装置へ出力させる、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記出力制御部は、前記出力画像の各々を、同時に同一の装置へ出力させる、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記出力制御部は、複数の前記出力画像を重ね合わせて出力させる、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記情報処理装置は、
前記入力画像に関するメタ情報を取得するメタ情報取得部と、
前記メタ情報取得部により取得された前記メタ情報、及び前記入力画像に基づいて、抽出領域を特定する画像解析部をさらに備え、
前記出力制御部は、前記抽出領域に基づいて前記出力画像を出力させる、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記メタ情報は、前記入力画像において発生した事象に関する発生事象情報、または前記被写体に関する被写体情報を含む、前記（１４）に記載の情報処理装置。
（１６）
前記画像解析部は、前記メタ情報取得部により取得された前記メタ情報に含まれていない前記メタ情報を、前記入力画像の解析により取得する、前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記画像解析部は、前記入力画像の解析により、前記入力画像の時刻情報と前記メタ情報取得部により取得された前記メタ情報の時刻情報とを調整する、前記（１４）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させること、を含む、情報処理方法。
（１９）
コンピュータに、
複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させる機能を実現させるための、プログラム。

１ 情報処理装置
２ 操作端末
３ 表示装置
４ 撮像装置
５ 通信網
７ 情報処理装置
１１０ 制御部
１１２ フォーマット取得部
１１４ 画像解析部
１１６ 出力制御部
１２０ 通信部
１２２ フォーマット取得部
１３０ 表示出力インタフェース部
１５０ 記憶部
７１０ 制御部
７１２ メタ情報取得部
７１４ 画像解析部
７１６ 出力制御部
７２０ 通信部
７３０ 操作部
７４０ 表示部
７５０ 記憶部

Claims (19)

1. 複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させる、出力制御部を備える、情報処理装置。
2. 前記入力画像の解析により前記被写体パラメータを取得する画像解析部をさらに備える、請求項１に記載の情報処理装置。
3. 前記被写体パラメータは、前記被写体の利き手、前記被写体の利き足、前記被写体のサイズ、前記入力画像における前記被写体の位置、前記入力画像の撮像に係る撮像装置から前記被写体までの距離、前記撮像装置に対する前記被写体の姿勢、のうち少なくともいずれか１つを含む、請求項１に記載の情報処理装置。
4. 前記出力制御部は、前記複数の入力画像の各々において特定され、前記複数の入力画像の間で対応するキーフレームに基づいて、前記出力画像を出力させる、請求項１に記載の情報処理装置。
5. 前記出力制御部は、前記キーフレームに基づいて速度調整を行って、前記出力画像を出力させる、請求項４に記載の情報処理装置。
6. 前記出力制御部は、画像フォーマットに関するフォーマットパラメータのうち少なくとも１つの差異が低減されるように、前記出力画像を出力させる、請求項１に記載の情報処理装置。
7. 前記フォーマットパラメータは、フレームレート、解像度、アスペクト比のうち、少なくともいずれか１つを含む、請求項６に記載の情報処理装置。
8. 前記出力制御部は、ユーザにより設定される条件に基づいて、前記出力画像を出力させる、請求項１に記載の情報処理装置。
9. 前記被写体パラメータのうち差異が低減されるパラメータは、前記条件に基づいて決定される、請求項８に記載の情報処理装置。
10. 前記被写体パラメータを記憶する記憶部をさらに備える、請求項１に記載の情報処理装置。
11. 前記出力制御部は、前記出力画像の各々を、同時に別々の装置へ出力させる、請求項１に記載の情報処理装置。
12. 前記出力制御部は、前記出力画像の各々を、同時に同一の装置へ出力させる、請求項１に記載の情報処理装置。
13. 前記出力制御部は、複数の前記出力画像を重ね合わせて出力させる、請求項１に記載の情報処理装置。
14. 前記情報処理装置は、
    前記入力画像に関するメタ情報を取得するメタ情報取得部と、
    前記メタ情報取得部により取得された前記メタ情報、及び前記入力画像に基づいて、抽出領域を特定する画像解析部をさらに備え、
    前記出力制御部は、前記抽出領域に基づいて前記出力画像を出力させる、請求項１に記載の情報処理装置。
15. 前記メタ情報は、前記入力画像において発生した事象に関する発生事象情報、または前記被写体に関する被写体情報を含む、請求項１４に記載の情報処理装置。
16. 前記画像解析部は、前記メタ情報取得部により取得された前記メタ情報に含まれていない前記メタ情報を、前記入力画像の解析により取得する、請求項１４に記載の情報処理装置。
17. 前記画像解析部は、前記入力画像の解析により、前記入力画像の時刻情報と前記メタ情報取得部により取得された前記メタ情報の時刻情報とを調整する、請求項１４に記載の情報処理装置。
18. 複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させること、を含む、情報処理方法。
19. コンピュータに、
    複数の入力画像の各々に含まれる被写体に関する被写体パラメータのうち少なくとも１つの差異が低減されるように、前記複数の入力画像の各々に対応して得られる出力画像を出力させる機能を実現させるための、プログラム。

Images