JP2007289658A - 画像出力装置、画像出力方法、および画像出力プログラム - Google Patents

Abstract

【課題】観察者が被観察者の観察中に着目した部分の画像を抽出して表示する。
【解決手段】本発明に係る画像記録装置は、被観察者を撮像する撮像部と、撮像部が被観察者を撮像しているときに、観察者の視点を測定する観察者視点測定部と、撮像部が撮像した被観察者の画像を出力する出力部と、観察者視点測定部が測定した観察者の視点を示す情報を、撮像部が撮像した被観察者の画像とともに出力部に出力させる視点出力制御部とを備える。
【選択図】図３

Description

本発明は、画像出力装置、画像出力方法、および画像出力プログラムに関する。特に、本発明は、被観察者を観察する観察者を支援する画像出力装置、画像出力方法、および画像出力プログラムに関する。

医用画像を読影したときの観察経過情報に対応づけて医用画像を記録する医用システムについて提案されている（例えば、特許文献１参照。）。特許文献１に記載の発明では、医用画像を表示する機器の情報、当該機器の操作履歴、および医師の視点情報等を観察経過情報として記録する。そして、操作履歴から、医師がどの画像をどの程度の時間で観察したかを再現する。また、視点情報（医師の視線に関する情報と画面の位置とを対応づけた情報、医師の所定の視点における観察時間、および眼球の移動速度等）から、医者が画像上のどの位置に注目したかを再現する。
特開２００４−２６７２７３号公報

ここで、被観察者である患者の診断においては、観察者である医師が被観察者の診断中に着目した被観察者の動き、例えば、被観察者の視線の動き等が被観察者の症状の把握に重要な役割を果たす。しかしながら、特許文献１に記載の発明においては、観察者が医用画像を読影中に着目した点を観察経過情報に基づいて再現するので、観察者が被観察者を診断中に着目した被観察者の動きのある部分が被観察者のどこであるかを再現することができない。また、観察者が被観察者の観察中に被観察者にした質問に応じて、被観察者が示した表情の変化等が被観察者の症状の把握に重要な役割を果たすところ、特許文献１に記載の発明においては、観察者の質問に対して被観察者がどのような表情をしたのかを再現することができない。

そこで本発明は、上記課題を解決することができる画像出力装置、画像出力方法、および画像出力プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、被観察者を観察する観察者を支援する画像出力装置であって、被観察者を撮像する撮像部と、撮像部が被観察者を撮像しているときに、観察者の視点を測定する観察者視点測定部と、撮像部が撮像した被観察者の画像を出力する出力部と、観察者視点測定部が測定した観察者の視点を示す情報を、撮像部が撮像した被観察者の画像とともに出力部に出力させる視点出力制御部とを備える。また、視点出力制御部は、観察者視点測定部が測定した観察者の視点を示すマークを、撮像部が撮像した被観察者の画像に重畳させて出力部に出力させてもよい。更に、撮像部が撮像した被観察者の画像のうちの、観察者視点測定部が測定した観察者の視点を含む一部分の画像を抽出する視点画像抽出部を更に備え、視点出力制御部は、視点画像抽出部が抽出した画像を拡大して、撮像部が撮像した被観察者の画像とともに出力部に出力させてもよい。

また、観察者の視界を特定する視界測定部を更に備え、視点画像抽出部は、撮像部が撮像した被観察者の画像のうちの、視界測定部が測定した観察者の視界の画像を抽出してもよい。そして、撮像部が撮像した被観察者の画像を、被観察者に対応づけて格納する被観察者情報格納部と、撮像部が新たに被観察者を撮像した場合に、被観察者に対応づけて被観察者情報格納部が格納している被観察者の過去の画像を、撮像部が新たに撮像した被観察者の画像とともに出力部に出力させる過去画像出力制御部とを更に備えてもよい。また、被観察者情報格納部は、観察者視点測定部が測定した観察者の視点を示す情報を被観察者に対応づけて更に格納し、過去画像出力制御部は、観察者の視点を示す情報を、被観察者の過去の画像と共に出力部に出力させてもよい。

更に、撮像部が被観察者を撮像しているときに、観察者の音声情報を記録する音声記録部と、音声記録部が記録した観察者の音声情報と、撮像部が撮像した被観察者の画像とを対応づけて格納する画像格納部と、音声記録部が新たに記録した観察者の音声情報を、画像格納部が格納している音声記録部が過去に記録した観察者の音声情報と比較する音声情報比較部と、音声情報比較部の比較結果に基づいて、音声記録部が新たに記録した観察者の音声情報と予め定められた一致度以上の観察者の過去の音声情報に対応づけて画像格納部が格納している被観察者の過去の画像を抽出する過去画像抽出部とを更に備え、過去画像出力制御部は、過去画像抽出部が抽出した被観察者の過去の画像を、撮像部が新たに撮像した被観察者の画像とともに出力部に出力させてもよい。

更に、出力部は表示部であり、撮像部が撮像した被観察者の画像と、観察者視点測定部が測定した観察者の視点とを対応づけて格納する被観察者情報格納部と、被観察者情報格納部が格納した被観察者の画像を読み出して、表示部に表示させる過去画像出力制御部と、表示部が表示している被観察者の画像を閲覧する閲覧者の視点を測定する閲覧者視点測定部とを更に備え、被観察者情報格納部は、閲覧者視点測定部が測定した閲覧者の視点を示す情報を、過去画像出力部が読み出した被観察者の画像に更に対応づけて格納してもよい。

観察者視点測定部が測定した観察者の視点と、閲覧者視点測定部が測定した閲覧者の視点とが一致するかを判定する閲覧者視点判定部と、閲覧者視点判定部が一致しないと判断した場合に、一致しない視点を示す情報に対応する画像を抽出する閲覧画像抽出部とをさらに備え、過去画像出力部は、閲覧画像抽出部が抽出した、一致しない視点を示す情報に対応する画像を出力部に出力させてもよい。

閲覧者視点測定部が測定した閲覧者の視点が、観察者視点測定部が測定した観察者の視点を含む予め定められた領域に存在しない場合に、閲覧者視点判定部は視点が一致しないと判断してもよい。また、観察者視点測定部が測定した観察者の視点が複数の位置へ推移するとき、当該視点が推移したそれぞれの位置の近傍に、閲覧者視点測定部が測定した閲覧者の視点が移動した場合に、閲覧者視点判定部は視点が一致すると判断してもよい。或いは、観察者の視点が推移した順番と同じ順番で、閲覧者視点測定部が測定した閲覧者の視点が推移する場合に、閲覧者視点判定部は視点が一致すると判断してもよい。

閲覧者視点判定部は、撮像部が撮像した被観察者の画像の予め定められた領域に、観察者視点測定部が測定した観察者の視点と、閲覧者視点測定部が測定した閲覧者の視点とが存在する場合に、視点が一致すると判断してもよい。そして、予め定められた領域とは、少なくとも被観察者の目、口、または手をそれぞれ含む領域であってよい。

視点出力制御部は、観察者視点測定部が測定した観察者の視点の位置を示すマーク、および閲覧者視点測定部が測定した閲覧者の視点の位置を示すマークの少なくとも一方を被観察者の画像に重畳させて出力部に出力さてもよい。

また、本発明の第２の形態においては、被観察者を診断する観察者を支援する画像出力方法であって、被観察者を撮像部が撮像する撮像段階と、撮像部が被観察者を撮像しているときに、観察者の視点を測定する観察者視線測定段階と、観察者視線測定段階において測定された観察者の視点を示す情報を、撮像部が撮像した被観察者の画像とともに出力部に出力する視線出力制御段階と視線出力制御段階において出力された観察者の視点を示す情報および被観察者の画像を出力部に出力する出力段階を備える。

また、本発明の第３の形態においては、被観察者を診断する観察者を支援する画像出力用の画像出力プログラムであって、画像出力装置を、被観察者を撮像する撮像部、撮像部が被観察者を撮像しているときに、観察者の視点を測定する観察者視線測定部、撮像部が撮像した被観察者の画像を出力する出力部、観察者視線測定部が測定した観察者の視点を示す情報を、撮像部が撮像した被観察者の画像とともに出力部に出力させる視線出力制御部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、観察者が観察中に着目した被観察者の部分の画像を抽出して観察者の視線の位置を重畳して表示できるので、観察者の観察方法を的確に把握できる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１および図２は、本発明の一実施形態に係る画像記録装置１０の概要を示す。画像記録装置１０は、撮像ユニット２０、格納ユニット３０、音声ユニット４０、出力部５０、入力ユニット６０、および解析ユニット７０を備える。本例の撮像ユニット２０は、複数の撮像部を有する。例えば、観察者９１０の視点検出用の撮像部２０２、観察者９１０が存在する範囲を測定する為の撮像部２０８、被観察者９１５の視点検出用の撮像部２０４、および被観察者９１５が存在する範囲を測定する為の撮像部２０６を有する。撮像部２０２〜２０８は３次元カメラであってもよく、或いは２次元の画像を撮像するカメラであってもよい。なお、ディスプレイは出力部５０の一例である。また、入力ユニット６０は、デジタル入力部６１２および筆記部６１４を有する。キーボードおよびマウスはデジタル入力部６１２の一例であり、ペンは筆記部６１４の一例である。更に、音声ユニット４０は、集音部４０５を有していてよい。尚、本実施形態の画像記録装置は、画像出力装置の一例である。本実施形態に係る画像記録装置１０は、観察者９１０が被観察者９１５を観察しているときに、観察者９１０が被観察者９１５のどの部分に注目して観察したかを検知して、観察者９１０が注目した被観察者９１５の部分の画像と観察者９１０の視点とを重畳して表示することを目的とする。また更には、記録された被観察者９１５の画像を出力部５０で閲覧する閲覧者の視点を検出することにより、閲覧者が観察者９１０の視点を確認できる画像出力装置を提供することを目的とする。

撮像ユニット２０は、観察者９１０および被観察者９１５の視点を、角膜反射法、または眼球部分の画像における光強度分布の変化を検出することにより測定する。そして、撮像ユニット２０は、撮像部２０６が撮像した被観察者９１５の画像、および撮像部２０２が撮像した観察者９１０の視点測定用の画像から、観察者９１０が被観察者９１５のどの部分を観察していたかを特定する。

また、画像記録装置１０は、撮像部２０８が撮像した観察者９１０の撮像範囲内で存在する範囲の特定用の画像、および撮像部２０４が撮像した被観察者９１５の視線方向の測定用の画像から、被観察者９１５が観察者９１０または観察者９１０を除く領域のどの部分を見ていたかを特定する。なお、撮像ユニット２０が有する撮像部２０２〜２０８は全方位カメラであってよい。撮像部２０２等のいずれかが全方位カメラである場合には、一つの全方位カメラで観察者９１０および被観察者９１５の視線方向の測定用の画像、並びに撮像範囲内で観察者９１０および被観察者９１５が存在する位置の測定用の画像を撮像できるので、複数の撮像部２０２等を画像記録装置１０は備えなくてよい。

画像記録装置１０は、被観察者９１５が存在する領域に観察者９１０が視線を移した場合に、当該視点を含む被観察者９１５の予め定められた範囲の画像を取得する。そして、観察者９１０の視点を示すマークと共に取得した被観察者９１５の画像を出力部５０に表示する。係る場合において、画像記録装置１０は、被観察者９１５の画像と取得した被観察者９１５の部分画像を所定の倍率で拡大した拡大画像とを並べて表示してよい。また、画像記録装置１０は、観察者９１０がキーボードおよびマウス等のデジタル入力部６１２から被観察者９１５の症状を電子カルテに書き込むとき、または、観察者９１０がペン等の筆記部６１４を用いてカルテに書き込むときに、撮像部２０６は被観察者９１５の画像を取得する。更に、画像記録装置１０は、観察者９１０が被観察者９１５に質問するときの観察者９１０の音声を集音部４０５から取得して、当該質問と同一の質問を過去に観察者９１０が被観察者９１５にしたときの被観察者９１５の画像と、観察中の被観察者９１５の画像とを並べて出力部５０に表示する。

また、画像記録装置１０は、撮像部２０４および撮像部２０６が撮像した画像を解析ユニット７０で解析して、被観察者９１５の身体状況を判断する。例えば、解析ユニット７０は、撮像部２０４が撮像した被観察者９１５の画像から、被観察者９１５の瞳孔の大きさの変化、視線の動き、視線速度、および瞬きの回数等に基づいて被観察者９１５の疾患を特定する。なお、撮像部２０４、または撮像部２０６に被観察者９１５の顔の温度を測定する温度測定部が含まれている場合には、解析ユニット７０は、測定した被観察者９１５の顔の温度を、被観察者９１５の疾患の特定に利用してもよい。解析ユニット７０は、特定した疾患をディスプレイに表示する。具体的には、解析ユニット７０は、疾患名および当該疾患の症状を示す情報をディスプレイに表示する。また、解析ユニット７０は、被観察者９１５が患っている可能性のある複数の疾患名の候補をディスプレイに表示してもよい。

本実施形態に係る画像記録装置１０によれば、観察者９１０の視点を被観察者９１５の画像に重畳して表示できるので、観察者９１０が被観察者９１５のどの部分に注目して観察したかを容易に確認できる。例えば、被観察者９１５の画像を動画として撮像して、当該動画に観察者９１０の視点の動きを重畳して出力部５０に表示できるので、観察者９１０がどのように被観察者９１５を観察して、観察を下したかを再現できる。また、観察者９１０が観察結果を電子カルテに入力しているときの被観察者９１５の画像を撮像できるので、観察者９１０が被観察者９１５の表情の変化を見逃したとしても、観察後に見逃した被観察者９１５の表情が撮像されている画像を容易に検索して確認できる。更に、被観察者９１５の過去の画像と観察中の被観察者９１５の画像とを並べて表示できるので、被観察者９１５の症状の変化を的確に観察できる。

図３は、本実施形態に係る第一の撮像ユニット２０の機能構成の一例を示す。撮像ユニット２０は、撮像部２０２、２０４、２０６、２０８、観察者視点測定部２１０、被観察者位置測定部２１２、被観察者視点測定部２１４、視線出力制御部２２０、視界測定部２３０、視点画像抽出部２４０、および観察者位置測定部２７０を有する。更に、図４は、本実施形態に係る格納ユニット３０および音声ユニット４０の機能構成の一例を示す。格納ユニット３０は、被観察者情報格納部３００、過去画像出力制御部３１０、および画像格納部３２０を有する。そして、音声ユニット４０は、音声記録部４００、音声情報比較部４１０、および過去画像抽出部４２０を有する。

撮像部２０４は被観察者９１５を撮像する。撮像部２０４は、被観察者９１５の動画を撮像してもよい。撮像部２０４は、撮像した被観察者９１５の画像を被観察者視点測定部２１４および格納ユニット３０が有する画像格納部３２０に供給する。撮像部２０６は、予め定められた撮像範囲内で被観察者９１５が存在する位置を特定する為の画像を撮像する。撮像部２０６は、撮像した画像を被観察者位置測定部２１２に供給する。撮像部２０２は、観察者９１０を撮像する。撮像部２０２は、撮像した画像を観察者視点測定部２１０および視界測定部２３０へ供給する。撮像部２０８は、予め定められた撮像範囲内で観察者９１０が存在する位置を特定する為の画像を撮像する。撮像部２０８は、撮像した画像を観察者位置測定部２７０に供給する。なお、撮像部２０２、撮像部２０４、撮像部２０６、および撮像部２０８はそれぞれ、観察者９１０または被観察者９１５の動画を撮像してもよい。

また、撮像部２０２、撮像部２０４、撮像部２０６、および撮像部２０８が動画を撮像した場合には、各撮像部は、複数の動画構成画像を所定の部材にそれぞれ供給してよい。ここで、動画構成画像とは、フレーム画像、フィールド画像、及びその他の動画を構成する様々な形式の画像のいずれを含んでもよい。また、画像記録装置１０は、被観察者９１５の瞬きの回数を測定する瞬き測定部を有していてよい。瞬き測定部は、予め定められた時間間隔内で被観察者９１５の瞬きの回数を測定する。瞬き測定部は、測定した被観察者９１５の瞬きの回数を被観察者情報格納部３００に供給する。

観察者視点測定部２１０は、撮像部２０４および２０６が被観察者９１５を撮像しているときに、観察者９１０の視点を測定する。具体的には、観察者視点測定部２１０は、観察者９１０の左目の視線を測定する第１観察者視線測定部および観察者９１０の右目の視線を測定する第２観察者視線測定部を含んでよい。そして、第１観察者視線測定部および第２観察者視線測定部は、撮像部２０２が撮像した画像から観察者９１０の左目および右目の視線方向を測定する。ここで、観察者視点測定部２１０は、観察者９１０の視線方向を角膜反射法により測定してよい。或いは、第１観察者視線測定部および第２観察者視線測定部は、観察者９１０の左目および右目の画像から眼球部分の画像を抽出して、抽出した眼球部分の画像の光強度分布の変化を検出し、そして、第１観察者視線測定部および第２観察者視線測定部は検出した光強度分布から、観察者９１０の左目および右目の視線方向を算出してもよい。例えば、第１観察者視線測定部は、左目の眼球の垂直方向および水平方向のそれぞれについて、虹彩または瞳孔の位置に応じて変化する眼球部分の画像の光強度分布を算出する。

具体的には、観察者９１０の視線方向が観察者９１０の正面方向に向いている場合の眼球の画像の光強度分布と、観察者９１０の視線方向が観察者９１０の正面以外の方向に向いている場合の眼球の画像の光強度分布とを比較して、観察者９１０の視線方向を特定する。例えば、第１観察者視線測定部が算出した左目の眼球部分の画像の光強度分布を、観察者９１０の左目の視線が観察者９１０の正面を向いている場合の眼球部分の画像の光強度分布と比較することにより、左目の虹彩または瞳孔が向く方向、すなわち左目の視線方向を算出できる。なお、第１観察者視線測定部は、左目の眼球の垂直方向および水平方向のそれぞれについて算出した眼球部分の画像の光強度分布が、左目の中心点から略均等に分布している場合に左目の視線が観察者９１０の正面に向いていると判断してよい。同様に第２観察者視線測定部は、右目の視線方向を算出する。なお、第１観察者視線測定部および第２観察者視線測定部は、角膜反射法および眼球部分の画像の光強度分布の変化の検出を組み合わせて、観察者９１０の左目および右目の視線方向を特定してもよい。観察者視点測定部２１０は、右目および左目の視線に基づいて、観察者９１０の視点を特定する。例えば、観察者視点測定部２１０は、右目および左目の視線の交点、またはその近傍を観察者９１０の視点と特定してよい。或いは、右目および左目の視線が交わらない場合は、一方の視線から他方の視線へ伸ばした垂線の中点やその近傍を視点と特定してもよい。或いは、後に説明するが、観察者視点測定部２１０が算出した視線、および観察者位置測定部２７０によって算出された、観察者９１０の存在領域を示す３次元座標データから、観察者９１０の視点を算出してもよい。観察者視点測定部２１０は、特定した観察者９１０の視点を示す情報を、視点出力制御部２２０および視点画像抽出部２４０に供給する。また、被観察者視点測定部２１４は、観察者視点測定部２１０と同様にして、被観察者９１５の視点を測定する。被観察者視点測定部２１４は、被観察者９１５の視点を示す情報を、視点出力制御部２２０および視点画像抽出部２４０に供給する。

被観察者位置測定部２１２は、撮像部２０６が撮像した被観察者９１５の画像から、被観察者９１５が予め定められた撮像範囲内で存在する位置を測定する。具体的には、被観察者位置測定部２１２は、被観察者９１５が存在する位置を、予め定められた３次元座標系に対応づけた座標データとして取得する。例えば、撮像部２０２、撮像部２０４、撮像部２０６、および撮像部２０８の設置位置、および撮像方向、並びに観察者９１０および被観察者９１５が存在する位置を、予め定められた３次元座標系に対応づけておく。具体的には、撮像部２０６の撮像範囲内で被観察者９１５が占める領域は、被観察者９１５を予め定められた位置に存在させることにより特定できる。例えば、予め定められた位置に被観察者９１５を座らせることにより、撮像部２０６の撮像範囲内で被観察者９１５が占める領域を座標データで特定できる。同様にして、予め定められた位置に観察者９１０を座らせることにより、撮像部２０８の撮像範囲内で観察者９１０が占める領域を座標データで特定できる。そして、被観察者位置測定部２１２は、被観察者９１５が撮像部２０６の撮像範囲内で移動した場合に、被観察者９１５の動きに応じて、被観察者９１５が撮像部２０６の撮像範囲内で占める領域を測定してよい。

撮像部２０６は３次元カメラであってよく、被観察者位置測定部２１２は、被観察者９１５が３次元座標系で占める位置を撮像部２０６が撮像した画像から算出する。例えば、撮像部２０６は画素毎に撮像部２０６から撮像範囲内の被観察者９１５が存在する領域までの距離を検出する。そして、被観察者位置測定部２１２は、撮像部２０６が検出した被観察者９１５までの距離から、３次元座標系での被観察者９１５の位置を座標データとして算出してよい。被観察者位置測定部２１２は、算出した結果を視点出力制御部２２０および視点画像抽出部２４０に供給する。また、被観察者位置測定部２１２は、算出した結果を観察者視点測定部２１０に供給してもよい。観察者位置測定部２７０は、観察者９１０が撮像部２０８の撮像範囲内で存在する位置を測定する。観察者位置測定部２７０は、被観察者位置測定部２１２と同様にして、観察者９１０の３次元座標系における位置を座標データとして算出してよい。そして、観察者位置測定部２７０は、算出した結果を視点出力制御部２２０および視点画像抽出部２４０に供給する。また、撮像部２０２の撮像方向を予め３次元座標系に対応づけておくことにより、観察者視点測定部２１０は、撮像部２０２が撮像した画像から観察者９１０の視線の方向を座標データとして算出できる。同様にして、被観察者視点測定部２１４は、撮像部２０４が撮像した画像から被観察者９１５の視線の方向を座標データで算出できる。

ここで、観察者視点測定部２１０は、被観察者位置測定部２１２が算出した被観察者９１５が存在する領域を示す座標データおよび観察者視点測定部２１０が測定した観察者９１０の視線方向から、観察者９１０の視点が被観察者９１５のどの部分に存在するかを特定する。具体的には、被観察者位置測定部２１２が算出した被観察者９１５の領域を示す座標データで特定される被観察者９１５の領域と、観察者９１０の目から観察者視点測定部２１０が測定した観察者９１０の視線方向の延長線とが交わる位置を、観察者視点測定部２１０は、観察者９１０の視点と判断してよい。そして、観察者視点測定部２１０は、当該交点の座標データを観察者９１０の視点を示す座標データとして取得する。なお、被観察者視点測定部２１４は、観察者視点測定部２１０と同様にして、被観察者９１５の視点を示す座標データを取得してよい。

また、観察者視点測定部２１０は、観察者９１０の顔の輪郭、目の形状、および目の特徴点（目頭および目尻等）を抽出して、観察者９１０が頭を動かした場合に、抽出した目の特徴点等を追跡することにより、観察者９１０の動きに追従して観察者９１０の視線を測定してもよい。例えば、観察者視点測定部２１０は、観察者９１０の目の特徴点等を抽出する観察者特徴点抽出部、および観察者特徴点抽出部が抽出した観察者９１０の目の特徴点等の動きに応じて撮像部２０２を可動させる可動制御部を含んでいてよい。これにより、観察者視点測定部２１０は、観察者９１０が頭を動かした場合でも、観察者９１０の頭の動きに合わせて撮像部２０２を可動させることにより、適切に観察者９１０の視点を測定できる。観察者視点測定部２１０は、測定した観察者９１０の視点を視点出力制御部２２０および視点画像抽出部２４０に供給する。

なお、観察者９１０は被観察者９１５を遠隔で観察してもよい。例えば、観察者９１０側の画像記録装置１０および被観察者９１５側の画像記録装置１０を備え、複数の画像記録装置１０をインターネット等のネットワークで相互に接続してよい。係る場合には、被観察者９１５を撮像する撮像部２０４、および撮像部２０６は、撮像した被観察者９１５の画像を、ネットワークを介して観察者９１０側の出力部５０に供給する。そして、観察者９１０は出力部５０に表示された被観察者９１５の画像を観察する。この場合において、観察者視点測定部２１０は、観察者９１０が出力部５０に表示されている被観察者９１５のどの領域に視点を合わせているかを測定する。

視界測定部２３０は、観察者９１０の視界を特定する。具体的には、視界測定部２３０は、撮像部２０２が撮像した画像を解析して、観察者９１０の左目および右目の視線方向から輻輳角を特定する。例えば、視界測定部２３０は、撮像部２０２が撮像した観察者９１０の画像から観察者９１０の左目および右目の視線方向がなす輻輳角を算出してよい。なお、視界測定部２３０は、観察者視点測定部２１０が測定した観察者９１０の視線方向を示す情報を受け取って、受け取った視線方向を示す情報から輻輳角を算出してもよい。また、視界測定部２３０は、観察者９１０の左目および右目の焦点距離を測定して、観察者９１０の目の焦点が合っている領域を視界として特定してもよい。更に、視界測定部２３０は、観察者９１０の視線が停滞する時間である停滞時間を測定する。具体的には、視界測定部２３０は、観察者９１０の視線の停滞時間を測定して、視点が停滞する停滞時間が予め定められた時間よりも長い領域を観察者９１０の視界として特定してよい。予め定められた時間とは、例えば１秒間である。視界測定部２３０は、特定した観察者９１０の視界を視点画像抽出部２４０に供給する。

視点画像抽出部２４０は、撮像部２０４から受け取った被観察者９１５の画像のうち、観察者視点測定部２１０が測定した観察者９１０の視点を含む一部分の画像を抽出する。また、視点画像抽出部２４０は、撮像部２０４から受け取った被観察者９１５の画像から、視界測定部２３０が測定した観察者９１０の視界の画像を抽出してもよい。視点画像抽出部２４０は、抽出した画像を視点出力制御部２２０に供給する。視点出力制御部２２０は、観察者視点測定部２１０から受け取った観察者９１０の視点を示す情報を、撮像部２０４が撮像した被観察者９１５の画像と共に出力部５０に出力させる。

具体的には、視点出力制御部２２０は、観察者視点測定部２１０から受け取った観察者９１０の視点を示すマークを、撮像部２０４が撮像した被観察者９１５の画像に重畳させて出力部５０に出力させる。また、視点出力制御部２２０は、視点画像抽出部２４０が抽出した画像を予め定められた拡大率で拡大して、撮像部２０４が撮像した被観察者９１５の画像と共に出力部５０に出力させてもよい。なお、入力ユニット６０は、視点出力制御部２２０が、視点画像抽出部２４０が抽出した画像を拡大する場合の拡大率を観察者９１０に入力させる拡大率入力部を含んでいてよい。観察者９１０は拡大率入力部に所望の拡大率を入力することにより、所望の大きさに拡大された被観察者９１５の画像を出力部５０に出力させることができる。

被観察者情報格納部３００は、撮像部２０４から受け取った被観察者９１５の画像を、被観察者９１５に対応づけて格納する。また、被観察者情報格納部３００は、観察者視点測定部２１０から受け取った観察者９１０の視点を示す情報を被観察者９１５に対応づけて更に格納する。また、被観察者情報格納部３００は、瞬き測定部から受け取った被観察者９１５の瞬きの回数を、被観察者９１５の観察時刻に対応づけて格納してもよい。被観察者情報格納部３００は、過去画像出力制御部３１０の制御に基づいて、被観察者９１５の画像および瞬きの回数を示す情報を過去画像出力制御部３１０に供給する。音声記録部４００は、撮像部２０４が被観察者９１５を撮像しているときに、観察者９１０の音声情報を記録する。音声記録部４００は、例えば、観察者９１０が被観察者９１５に対して質問したときの音声情報を記録する。音声記録部４００は、記録した音声情報を画像格納部３２０および音声情報比較部４１０に供給する。

画像格納部３２０は、撮像部２０４から受け取った被観察者９１５の画像と音声記録部４００から受け取った音声情報とを対応づけて格納する。画像格納部３２０は、画像および音声情報を、音声記録部４００が音声情報を記録した時刻に対応づけて格納してよい。画像格納部３２０は、音声情報を音声情報比較部４１０の制御に基づいて音声情報比較部４１０に供給する。過去画像出力制御部３１０は、撮像部２０４が新たに被観察者９１５を撮像した場合に、被観察者９１５に対応づけて被観察者情報格納部３００が格納している被観察者９１５の過去の画像を、観察者９１０が被観察者９１５を観察している間に撮像部２０４が新たに撮像した被観察者９１５の画像と共に出力部５０に出力させる。

なお、過去画像出力制御部３１０が出力部５０に出力させる被観察者９１５の過去の画像は、例えば、前回、観察者９１０が被観察者９１５を観察したときの被観察者９１５の画像であってよい。また、初診のときの被観察者９１５の画像であってもよい。更に、過去画像出力制御部３１０は、観察者の視点を示す情報を、被観察者９１５の過去の画像と共に出力部５０に出力させてもよい。また、過去画像出力制御部３１０は、被観察者９１５の瞬きの回数を被観察者９１５の画像に重畳表示させてもよい。そして、過去画像出力制御部３１０は、撮像部２０４が新たに被観察者９１５を撮像した場合に、被観察者９１５に対応づけて被観察者情報格納部３００が格納している被観察者９１５の過去の画像、撮像部２０４が新たに撮像した被観察者９１５の画像、および過去の瞬きの回数と観察中の瞬きの回数との差分を、出力部５０に出力させてもよい。

音声情報比較部４１０は、音声記録部４００が新たに記録した観察者９１０の音声情報を、画像格納部３２０が格納している音声記録部４００が過去に記録した観察者９１０の音声情報と比較する。例えば、音声情報比較部４１０は、音声情報に含まれる単語に対応づけて、当該単語を人間が発音した場合の周波数成分を示す情報を格納する単語発音情報格納部を含んでいてよい。そして、音声情報比較部４１０は、音声記録部４００から新たに受け取った音声情報について、予め定められた時間間隔ごとに周波数成分の分析をして、周波数成分情報を取得する。続いて、音声情報比較部４１０は、取得した周波数成分情報と単語発音情報格納部が格納している単語の周波数成分を示す情報とを比較して、音声記録部４００が新たに記録した観察者９１０の音声情報と観察者９１０の過去の音声情報との一致度を算出する。音声情報比較部４１０は、算出した一致度を過去画像抽出部４２０に供給する。

過去画像抽出部４２０は、音声情報比較部４１０から受け取った一致度が予め定められた一致度以上である場合に、当該一致度を示す観察者９１０の過去の音声情報に対応づけて画像格納部３２０が格納している被観察者９１５の過去の画像を抽出する。係る場合において、過去画像出力制御部３１０は、過去画像抽出部４２０が抽出した被観察者９１５の過去の画像を、撮像部２０４が新たに撮像した被観察者９１５の画像と共に出力部５０に出力させてよい。出力部５０は、撮像部２０４から受け取った被観察者９１５の画像を出力する。また、出力部５０は、視点出力制御部２２０および過去画像抽出部４２０から受け取った画像を出力する。更に、出力部５０は、瞬き測定部が測定した被観察者９１５の瞬きの回数を、被観察者９１５の画像に重畳表示してよい。なお、モニタ等は出力部５０の一例である。

なお、被観察者９１５にとって始めの観察ではない場合には、画像記録装置１０は、過去に被観察者９１５を観察者９１０が観察したときの観察結果に基づいて、被観察者９１５に対して観察者９１０の代わりに質問してよい。例えば、画像記録装置１０は、被観察者９１５の様子に対応づけて、予め定められた質問内容を格納する質問内容格納部を有していてよい。そして、画像記録装置１０は、被観察者９１５の症状に応じて、質問内容格納部が格納している質問内容を、例えば出力部５０の一例であるディスプレイに表示して、被観察者９１５に答えさせて記録してもよい。これにより、定型的な問診内容について観察者９１０が質問することがなくなるので、観察者９１０は被観察者９１５の観察に、定型的な問診内容をする場合に比べてより長い時間をかけることができる。

本実施形態に係る画像記録装置１０によれば、観察者９１０が被観察者９１５の全体を観察しているのか、または、被観察者９１５の所定の部分に注目しているのかを判断して、観察者９１０が被観察者９１５の所定の部分に注目しているときの観察者９１０の視点を取得する。そして、観察者９１０の視点に存在する被観察者９１５の部分の画像を抽出して表示できる。これにより、観察者９１０およびユーザは、観察者９１０が被観察者９１５のどの部分に注目して観察したかを容易に確認できる。また、画像記録装置１０は、観察者９１０が被観察者９１５を観察したときの被観察者９１５の画像と共に観察者９１０の視点を表示できるので、観察者９１０が被観察者９１５を観察した方法を確認できる。

また、本実施形態に係る画像記録装置１０によれば、観察者９１０の視点および視界を特定できる。そして、観察者９１０の視点が被観察者９１５の領域にある場合、または、観察者９１０の視界に被観察者９１５が含まれる場合に、被観察者９１５の画像を抽出できるので、観察者９１０が被観察者９１５に注目したときを適切に判断して、観察者９１０が被観察者９１５を観察したときの被観察者９１５の画像を確実に抽出できる。これにより、被観察者９１５の観察に有用な画像を抽出できる。

更に、本実施形態に係る画像記録装置１０によれば、観察者９１０が観察している被観察者９１５の画像と共に、過去に撮像された被観察者９１５の画像を並べて表示できるので、被観察者９１５の状態の推移を容易に把握できる。また、本実施形態に係る画像記録装置１０によれば、観察者９１０が被観察者９１５に対してした質問と同じ質問をしたときの過去の被観察者９１５の画像と観察中の被観察者９１５の画像とを並べて表示できる。これにより、観察者９１０は、被観察者９１５に同一質問をしたときの現在および過去の被観察者９１５の表情を比較しながら被観察者９１５の状態を観察できる。

図５は、本実施形態に係る視点出力制御部２２０の動作の一例を示す。視点出力制御部２２０は、観察者９１０の視点が、被観察者９１５である人物９００の領域内に存在する場合に、人物９００の画像を撮像部２０４に取得させる。ここで、視点出力制御部２２０は、視界測定部２３０が測定した視点の停滞時間が、予め定められた時間以上を示す場合に、当該視点を含む部分を観察者９１０が注目した部分であると判断する。そして、視点出力制御部２２０は、人物９００の画像と当該視点が含まれる人物９００の一部分の画像とを抽出する。

例えば、観察者９１０の視点がマーク８００、マーク８０５、およびマーク８１０であった場合を考える。係る場合において、マーク８００で示した視点における停滞時間が予め定められた時間以上である場合に、視点出力制御部２２０は、マーク８００で示される視点を含む、人物９００の目９５０の領域の画像を抽出する。そして、視点出力制御部２２０は、抽出した画像を拡大して、拡大画像５１４として出力部５０に出力する。なお、視点出力制御部２２０は、人物９００の全体が含まれる画像５１２を拡大画像５１４と並べて出力部５０に出力させてよい。拡大画像５１４には、人物９００の目９５０が含まれる領域が拡大されて表示される。

本実施形態に係る視点出力制御部２２０は、観察者９１０が被観察者９１５の領域内で注目した部分を拡大して、被観察者９１５の画像と拡大した画像とを並べて表示できるので、観察者９１０が被観察者９１５を観察したときに注目した部分を詳細に観察しながら、観察者９１０の観察を再現できる。また、画像記録装置１０が再現する観察者９１０の観察を参考にして、ユーザは、観察者９１０の観察手順を学習できる。

図６は、本実施形態に係る過去画像出力制御部３１０の動作の一例を示す。過去画像出力制御部３１０は、観察者９１０が観察している被観察者９１５である人物９０２に対応づけて被観察者情報格納部３００が格納している人物９０２の過去の画像を抽出する。そして、過去画像出力制御部３１０は、撮像部２０４が撮像した観察中の人物９０２の画像５２０と過去の人物９０２が含まれる画像５２２とを並べて出力部５０に出力させる。過去画像出力制御部３１０が抽出する人物９０２の過去の画像は、例えば、画像５２２は、人物９０２の初診時に撮像した画像、または、人物９０２が前回観察を受けたときに撮像した画像、若しくは観察者９１０が指定した日時において人物９０２を撮像した画像であってよい。

具体的には、画像記録装置１０が備える入力ユニット６０は、撮像時刻入力部を有していてよい。撮像時刻入力部は、観察者９１０に被観察者９１５が撮像された日および時刻を入力させる。そして、撮像時刻入力部は、観察者９１０が入力した撮像日および撮像時刻を、過去画像出力制御部３１０に供給する。過去画像出力制御部３１０は、撮像時刻入力部から受け取った撮像日および撮像時刻で撮像された被観察者９１５の画像を抽出して、出力部５０に出力させる。

本実施形態に係る過去画像出力制御部３１０は、被観察者９１５の観察中の画像と被観察者９１５の過去の画像とを並べて出力部５０に表示させることができるので、観察者９１０は、観察中の人物９０２の表情と過去の人物９０２の表情とを比較して的確な観察ができる。

図７は、本実施形態に係る画像格納部３２０のデータ構造の一例を示す。画像格納部３２０は、観察者９１０の音声情報と被観察者９１５の画像とを対応づけて格納する。具体的には、観察者９１０の音声情報５６０を音声記録部４００が記録した時刻に対応づけて、観察者９１０の音声情報５６０および当該時刻で撮像部２０４が撮像した被観察者９１５の画像５２２を格納する。

例えば、音声記録部４００は、観察者９１０が被観察者９１５に対して質問したときの音声情報５６０を記録する。音声記録部４００は、音声情報５６０を画像格納部３２０および音声情報比較部４１０に供給する。画像格納部３２０は、撮像部２０４から受け取った被観察者９１５の画像５２２と音声記録部４００から受け取った音声情報５６０とを、音声記録部４００が音声情報５６０を記録した時刻に対応づけて格納する。画像格納部３２０は、音声情報５６０を音声情報比較部４１０の制御に基づいて音声情報比較部４１０に供給する。音声情報比較部４１０は、音声記録部４００が新たに記録した観察者９１０の音声情報を、画像格納部３２０が格納している観察者９１０の過去の音声情報５６０と比較して、新たに記録した音声情報と過去の音声情報５６０との一致度を算出する。そして、過去画像出力制御部３１０は、音声情報比較部４１０が算出した一致度が予め定められた一致度以上である場合に、画像格納部３２０から画像５２２を抽出して、観察中の被観察者９１５の画像と共に出力部５０に出力させる。これにより、過去に質問した内容を、後から確認できる。また、質問時における被観察者９１５の様子を確認できる。

尚、本実施形態の画像記録装置１０は、医療の分野に利用することができる。即ち、本実施形態の画像記録装置１０を、患者に対する診断内容を記録する為の診断支援装置として利用する。例えば、画像記録装置１０は、患者に対する診断内容を記録する為の診断支援装置であり、被観察者は、精神疾患を有する患者であり、観察者は患者を観察する医師である。特に被観察者９１７が精神疾患を有する患者である場合、医師は、患者の緊張が表れやすい部位に着目して診察する場合が多い。本実施形態に係る画像記録装置１０では、診断中に医師が患者のどの部分に着目していたかを診断後に容易に確認できるので、精神疾患を有する患者の診断を支援する為に、画像記録装置１０を用いることは極めて有効である。

図８は、第１実施例の撮像ユニット２０の他の例を説明する為の図である。撮像ユニット２０は、撮像部２０５、閲覧者視点測定部２７１および閲覧者視点判定部２７２を更に備え、格納ユニット３０は閲覧画像抽出部３１２を更に備えてよい。先に述べたように被観察者情報格納部３００は撮像部２０４および２０６が撮像した被観察者９１５の画像と、観察者視点測定部２１０が測定した観察者９１０の視点を示す情報とを対応づけて格納している。ここで、過去画像出力制御部３１０は、被観察者情報格納部３００が格納した被観察者９１５の画像を読み出して、出力部５０が有する表示部に表示させる。この様子を図８に示す。この場合、視点出力制御部２２０は、観察者９１０の視点の位置を示すマークを出力部５０に表示させない。撮像部２０５は、出力部５０の表示部に表示された被観察者９１５の画像を閲覧する閲覧者の画像を撮像し、撮像した閲覧者の画像を閲覧者視点測定部２７１へ供給する。

閲覧者視点測定部２７１は、出力部５０が表示している被観察者９１５の画像を閲覧する閲覧者の視点を測定する。ここで、閲覧者とは、観察者９１０であってもよいし、観察者９１０以外の人物であってもよい。例えば、観察者９１０が医師である場合、閲覧者は、他の医師、看護婦、または医学実習生である。閲覧者視点測定部２７１は、出力部５０の表示部に表示された被撮像者９１５のどの領域に、閲覧者の視点が位置しているかを特定し、閲覧者の視点を示す情報を閲覧者視点判定部２７２および被観察者情報格納部３００へ供給する。この場合、閲覧者視点測定部２７１は、観察者視点測定部２１０、被観察者視点測定部２１４、或いは視界測定部２３０と同様にして、閲覧者の視点を測定してよい。本例では、撮像部２０５の一例として、閲覧者から離れた位置に固定されたカメラとして図示されているが、撮像部２０５は、閲覧者の頭に搭載されるヘッドマウント型のカメラであってもよい。この場合、カメラの座標系に対する閲覧者の眼球の位置は予めキャリブレーションされる。また、閲覧者と出力部５０が有する表示画面の位置関係も予め特定される。そして、例えば角膜反射法を用いることで閲覧者の眼球の動きを測定することにより、閲覧者の視点を特定してもよい。観察者情報格納部３００は、閲覧者視点測定部２１７が測定した閲覧者の視点を、過去画像出力部３１０が読み出した被観察者９１５の画像に更に対応づけて格納する。

閲覧者視点判定部２７２は、観察者視点測定部２１０が測定した観察者９１０の視点と、閲覧者視点判定部２７２が測定した閲覧者の視点とが一致するかを判定し、判定結果を閲覧画像抽出部３１２へ与える。この場合、観察者情報格納部３００に格納されていた観察者９１０の視点を示す情報と、閲覧者の視点とが一致するかを、閲覧者視点判定部２７２が判定する。閲覧画像抽出部３１２は、視点判定部２７１が一致しないと判断した場合に、一致しない視点の情報に対応する被観察者９１５の画像を抽出する。過去画像出力部３１０は、閲覧画像抽出部３１２が抽出した、一致しない視点の情報に対応する被観察者９１５の画像を出力部５０に出力させる。これにより、閲覧者は、観察者９１０の視点の動きと、自分の視点の動きを確認できる。また、本例では、視点が一致しなかった場合の画像が出力されるので、閲覧者は、観察者９１０とは異なる観察の仕方をした場合の画像を、容易に検索できる。特に閲覧者が医学実習生であった場合には、正しい視点の配り方を効果的に学ぶことができる。

また、視点出力制御部２２０は、観察者視点測定部２１０が測定した観察者９１０の視点の位置を示すマーク、および閲覧者視点測定部２７１が測定した閲覧者の視点の位置を示すマークの少なくとも一方を被観察者９１５の画像に重畳させて出力部５０に出力させてもよい。観察者９１０の視点を示すマークが表示されるので、閲覧者は、どこに着目すべだったか容易に知ることができる。また、観察者９１０の視点を示すマークに加えて、自分の視点のマークも表示されるので、自分の誤りを客観的に把握できる。

図９は、閲覧者視点判定部２７２の動作を説明する為の図を示す。閲覧者視点判定部２７２は、閲覧者視点測定部２７１が測定した閲覧者の視点が、観察者視点測定部２１０が測定した観察者の視点を含む予め定められた領域に存在しない場合に、観察者９１５および閲覧者９１７の視点が一致しないと判断する。ここで、観察者視点測定部２１０が測定した観察者９１０の視点を含む予め定められた領域とは、観察者９１０の視点の位置に基づいて定められる領域である。例えば、図９（ａ）の例では、観察者視点測定部２１０が測定した観察者の視点８２０に基づいて領域５２０が定められる。この領域５２０の中に、閲覧者視点測定部２７１が測定した閲覧者の視点が存在しない場合に、閲覧者視点判定部２７２は観察者９１５および閲覧者９１７の視点が一致しないと判断する。

また、観察者視点測定部２１０が測定した観察者の視点が複数の位置へ推移するとき、視点が推移したそれぞれの位置の近傍に、閲覧者視点測定部２７１が測定した閲覧者の視点が移動した場合に、閲覧者視点判定部２７２は視点が一致すると判断してもよい。この場合、視点が推移した位置の近傍とは、観察者視点測定部２１０が測定した観察者の視点に基づいて定められる領域であってよい。観察者９１０の視点が推移した順番と同じ順番で、閲覧者視点測定部２７１が測定した閲覧者の視点が推移する場合に、閲覧者視点判定部２７２は視点が一致すると判断してよい。本例では、閲覧者９１７の視点を示す符号８２６、８３０、８３２のいずれもが、観察者９１５の視点に基づいて定まる領域５２０、５２２および５２４の中に存在しないので、視点は一致しないと判断される。

尚、観察者視点測定部２１０が測定した観察者９１０の視点が推移したそれぞれの位置の近傍に、閲覧者９１７の視点が推移した場合、視点が推移した順番には関わらずに、閲覧者視点判定部２７２は、視点が一致すると判断してもよい。ここで、観察者の視点を含む予め定められた領域とは、観察者９１５の視点を中心とする円、正方形、または長方形で定義される領域であってよい。また、観察者の視点を含む予め定められた領域の大きさは、観察者９１５および閲覧者９１７の視点の移動速度の少なくとも一方に応じて定められてもよい。例えば、閲覧者視点判定部２７２は、観察者９１５の視点の速度が、所定の速度よりも速い場合に、観察者の視点を含む予め定められた領域を、より広く定めてよい。或いは、閲覧者９１７の視点の速度が、所定の速度よりも遅い場合に、観察者の視点を含む予め定められた領域をより広く定めてよい。この場合の所定の速度とは、出力部５０が表示している観察者９１５の視点速度の平均速度であってよく、画像格納部３２０に格納された複数の観察者の視点速度の平均速度であってもよい。或いは、閲覧者の視点速度の平均速度や、複数の閲覧者の視点速度の平均速度であってもよい。

或いは、図９（ｂ）に図示するように、閲覧者視点判定部２７２は、撮像部２０６が撮像した被観察者９１５の画像の予め定められた領域に、観察者視点測定部２１０が測定した観察者９１０の視点と、閲覧者視点測定部２７１が測定した閲覧者の視点とが存在する場合に、視点が一致すると判断してもよい。本例では、被観察者９１５の画像の予め定められた領域とは、予め分割された複数の領域であって、少なくとも、被観察者９１５の目、口、または手をそれぞれ含む領域である。ここで、目を含む領域とは、黒目（瞳孔および虹彩）の領域、黒目および白目の領域、または、黒目および白目を含む、円、長方形、楕円等の形状の、予め定められた領域であってよい。或いは、両目を含む、円、長方形、楕円等の形状の、予め定められた領域であってよい。口を含む領域とは、唇の領域、唇で囲まれた領域、或いは唇を含む、円、長方形、楕円等の予め定められた領域であってよい。また、手を含む領域とは、手のひらまたは手の甲の領域、或いは、手のひらまたは手の甲の領域を含む円、長方形、楕円等の形状の、予め定められた領域であってよい。或いは、両手の手のひらまたは手の甲を含む、円、長方形、楕円等の形状の、予め定められた領域であってよい。領域５２６、５２８、５３０は、被観察者９１５の目・口・手を含む領域の一例である。本例の場合、領域５２６に観察者９１０および閲覧者９１７の視点が含まれているので、閲覧者視点判定部２７２は、このような場合に視点が一致すると判断する。これにより、視点が一致したか否かの判断を簡易に行うことができる。

或いは、閲覧者視点判定部２７２は、観察者９１０の視点が推移する順番を更に組み合わせて視点の一致を判断してもよい。また或いは、所定の時間内において、被観察者９１５の画像における予め定められた領域に、観察者視点測定部２１０が測定した観察者９１０の視点が存在する確率と、閲覧者視点測定部２７１が測定した閲覧者の視点とが存在する確率に基づいて、閲覧者視点判定部２７２は視点が一致したか否かを判断してもよい。例えば閲覧者視点判定部２７２は、所定の時間内に視点が複数の位置へ推移する場合、予め定められた複数の領域のそれぞれについて、視点が留まっていた時間の総和を算出することで、確率を算出してよい。そして、領域毎に算出された観察者の確率と、閲覧者の確率との一致度を求め、所定の一致度以上である場合に、視点が一致すると判断する。

図１０に、被観察者情報格納部３００が格納するデータの一例を示す。本例の被観察者情報格納部３００は、被観察者毎に、撮像部２０６が撮像した被観察者９１５の画像を、観察者視点測定部２１０が測定した観察者９１０の視点を示す情報と共に格納する。本例の被観察者情報格納部３００は、撮像部２０６が撮像した被観察者の画像を、時刻を示す情報および観察者９１０の視点の座標データと共に格納している。更に、被観察者情報格納部３００は、閲覧者９１７の視点を示す情報である座標データを、観察者９１０の視点を示す座標データと共に格納する。

図１１は、閲覧画像抽出部３１２が抽出した画像を出力部５０が出力する動作を説明する図である。閲覧画像抽出部３１２は、視点判定部２７１の判断に基づいて、一致しない視点の座標データに対応づけられて格納されている被観察者９１５の画像を抽出し、過去画像出力部３１０は、閲覧画像抽出部３１２が抽出した画像を出力部５０に出力させる。この場合、過去画像出力部３１０は、閲覧画像抽出部３１２が抽出した複数の画像を、連続した１つの動画として再生出力してもよい。或いは過去画像出力部３１０は、一致していない画像についてのみ通常の速度で再生し、一致していた画像については通常の速度よりも早送りで再生してもよい。このように、本例の画像記録装置１０は、観察者と閲覧者の視点が一致していなかった画像を、短くまとめて出力することができるので、閲覧者は、視点が一致しなかった画像を容易に確認できる。

図１２は、本発明の実施形態に係る撮像ユニット２０の第２実施例の機能構成の一例を示す。本例の撮像ユニット２０は、撮像部２００、観察者視点測定部２１０、被観察者位置測定部２１２、被観察者視点定部２１４、視点移動方法学習部２１６、観察者視点判断部２５０、視点移動方法格納部２５５、および画像格納制御部２６０を有する。本例では、対話中における被観察者９１５の表情の変化を的確に記録する画像記録装置を提供する。本例の撮像ユニット２０は、図１から図１１の説明において説明した画像記録装置１０を構成する各ユニットの機能および構成の一部、または全部を更に備えてもよい。また、図１から図１１の説明において説明した部材と同一の符号が付された部材については、略同一の機能を有するので詳細な説明は省略する。

ここで、例えば、撮像部２００が全方位カメラである場合、撮像部２００は、図１〜１１を用いて説明した撮像部２０２、２０４、２０６、および２０８の機能を含んでいてもよい。或いは、撮像ユニット２０は、図１〜１１で説明した実施形態と同様に、撮像部２００の代わりに、観察者９１０の視点検出用の撮像部２０２、観察者９１０が存在する範囲を測定する為の撮像部２０８、被観察者９１５の視点検出用の撮像部２０４、および被観察者９１５が存在する範囲を測定する為の撮像部２０６を有しもよい。

撮像部２００は、撮像した被観察者９１５の画像を画像格納制御部２６０の制御に基づいて、画像格納制御部２６０に供給する。また、撮像部２００は、被観察者９１５の視点測定用の画像を被観察者視点測定部２１４に、被観察者９１５が存在する位置を測定する為の画像を被観察者位置測定部２１２に供給する。更に、撮像部２００は、観察者９１０の視点測定用の画像を観察者視点測定部２１０に供給する。観察者視点測定部２１０は、撮像部２００が被観察者９１５を撮像しているときに、観察者９１０の視点を測定する。また、観察者視点測定部２１０は、撮像部２００が被観察者９１５を撮像しているときに、観察者９１０による被観察者９１５への視線の向け方を更に測定する。具体的には、観察者視点測定部２１０は、観察者９１０の視点を、観察者９１０の視点を測定した時刻に対応づけて測定して、観察者９１０の視点の軌跡を測定する。観察者視点測定部２１０は、撮像部２００が被観察者９１５を撮像しているときに、観察者９１０の視点の移動速度を更に測定する。

具体的には、観察者視点測定部２１０は、予め定められた時間間隔ごとに観察者９１０の視点を測定してよい。例えば、観察者視点測定部２１０は、第１の時刻において観察者９１０の視点を測定する。そして、観察者視点測定部２１０は、第２の時刻において観察者の視点を測定する。続いて、観察者視点測定部２１０は、第１の時刻および第２の時刻から算出される時間と、第１の時刻における視点および第２の時刻における視点から算出される距離とを用いて視点の移動速度を測定する。観察者視点測定部２１０は、観察者９１０の、視点の軌跡、および視点の移動速度を観察者視点判断部２５０および視点移動方法学習部２１６に供給する。

被観察者位置測定部２１２は、観察予め定められた撮像部２００の撮像範囲内において、被観察者９１５が存在する範囲を測定する。この場合、被観察者位置測定部２１２は、被観察者９１５が存在する位置を、撮像範囲において予め定められた３次元座標系における座標データとして取得する。本例の被観察者位置測定部２１２は、被観察者９１５の顔の範囲を測定する。また更に被観察者位置測定部２１２は、被観察者９１５の目の範囲を測定してもよい。例えば、被観察者位置測定部２１２は、撮像部２００が撮像した画像からエッジ検出および肌色抽出により被観察者９１５の顔の領域を抽出する。そして、被観察者位置測定部２１２は、抽出した被観察者９１５の顔の領域内における被観察者９１５の目の範囲を測定する。被観察者位置測定部２１２は、測定した被観察者９１５が存在する範囲の座標データおよび目の範囲の座標データを観察者視点判断部２５０に供給する。

被観察者視点測定部２１４は、被観察者９１５の視点を測定する。具体的には、被観察者視点測定部２１４は、被観察者９１５の左目の視線を測定する第１被観察者視線測定部および被観察者９１５の右目の視線を測定する第２被観察者視線測定部を含んでよい。そして、第１被観察者視線測定部および第２被観察者視線測定部は、被観察者９１５の左目および右目の視線方向を測定する。例えば、第１被観察者視線測定部および第２被観察者視線測定部は、第１観察者視線測定部および第２観察者視線測定部と同様にして、被観察者９１５の左目および右目の視線を算出してよい。なお、予め３次元座標系を設定しておくことにより、被観察者視点測定部２１４が測定した被観察者９１５の視線の方向について、被観察者９１５を基準としてどの方向に向いているのかを座標データとして表すことができる。

また、撮像ユニット２０は、予め定められた撮像部２００の撮像範囲内で観察者９１０が存在する位置を測定する観察者位置測定部２７０を更に有していてよく、観察者位置測定部２７０は、観察者９１０が撮像範囲内で存在する位置を測定する。観察者位置測定部２７０は、観察者９１０が存在する位置を、撮像範囲内に予め定められた３次元座標系における座標データとして取得する。観察者位置測定部２７０は、被観察者９１５の位置と観察者９１０の位置とを同一の座標系に対応づけてよい。そして、観察者位置測定部２７０は、観察者９１０が占める領域を特定することを目的として、観察者９１０が存在する領域に含まれる複数の座標データを取得する。

続いて、被観察者視点測定部２１４は、観察者位置測定部２７０が取得した観察者９１０が存在する領域を示す座標データおよび被観察者視点測定部２１４が測定した被観察者９１５の視線方向から、被観察者９１５の視点が観察者９１０のどの部分に存在するかを測定する。具体的には、観察者位置測定部２７０が取得した観察者９１０の領域を示す複数の座標データで特定される観察者９１０の領域と、被観察者視点測定部２１４が測定した被観察者９１５の視線方向の延長線とが交わる点を、被観察者視点測定部２１４は被観察者９１５の視点と判断する。そして、被観察者視点測定部２１４は、当該位置の座標データを被観察者９１５の視点を示す座標データとして取得する。

なお、被観察者視点測定部２１４は、観察者視点測定部２１０と同様に、被観察者９１５の目の特徴点等を抽出する被観察者特徴点抽出部を含んでいてよい。被観察者特徴点抽出部は被観察者９１５の特徴点を抽出する。被観察者視点測定部２１４は、被観察者９１５が頭を動かした場合に、被観察者特徴点抽出部が抽出した目の特徴点等を追跡して、被観察者９１５の動きに追従して被観察者９１５の視線を測定してもよい。具体的には、被観察者視点測定部２１４は、被観察者特徴点抽出部が抽出した被観察者９１５の特徴点の移動に応じて被観察者９１５を撮像する撮像部２００を可動させる可動制御部を含んでいてよい。被観察者視点測定部２１４は、測定した被観察者９１５の視点を示す情報を観察者視点判断部２５０に供給する。

視点移動方法学習部２１６は、観察者９１０の被観察者９１５への視線の向け方を学習し、学習した観察者９１０の被観察者９１５への視線の向け方に関する情報を視点移動方法格納部２５５に供給する。本例の視点移動方法学習部２１６は、観察者９１０が被観察者９１５に質問をしたときの音声と観察者９１０の視点の移動軌跡とを用いて、観察者９１０の視線の動かし方の癖を学習する。尚、動作の詳細は後述する。

視点移動方法格納部２５５は、予め定められた観察者９１０による被観察者９１５への視線の向け方を格納する。視点移動方法格納部２５５は、観察者が複数いる場合には、観察者ごとに視線の向け方を格納してもよい。また、視点移動方法格納部２５５は、視点移動方法学習部２１６から受け取った視線の向け方に関する情報を観察者に対応づけて格納する。視点移動方法格納部２５５は、観察者９１０の視線の向け方に関する情報を観察者視点判断部２５０に供給する。観察者視点判断部２５０は、観察者視点測定部２１０から受け取った観察者９１０の視点が予め定められた範囲内にあるか否かを判断する。具体的には、観察者視点判断部２５０は、被観察者９１５が存在する範囲内に観察者９１０の視点があるか否かを判断する。

例えば、被観察者位置測定部２１２は被観察者９１５が存在する範囲を、撮像部２００の撮像範囲に予め定められた３次元座標系に対応づけられた複数の座標データとして取得してよい。そして、観察者９１０の視線方向と被観察者９１５が存在する範囲を示す座標データとを比較することにより、観察者９１０の視点が被観察者９１５の存在する範囲内にあるか否かを判断してよい。また、観察者視点判断部２５０は、観察者９１０の視点が被観察者９１５の目の範囲内にあるか否かを判断してもよい。更に、観察者視点判断部２５０は、観察者視点測定部２１０から受け取った観察者９１０の視視点の軌跡と視点移動方法格納部２５５から受け取った視線の向け方の情報が示す視点の軌跡とが一致するか否かを更に判断する。また、観察者視点判断部２５０は、観察者視点測定部２１０が測定した観察者９１０の視点の移動速度が予め定められた範囲内にあるか否かを更に判断してもよい。

そして、観察者視点判断部２５０は、被観察者視点測定部２１４から受け取った被観察者９１５の視点、および観察者視点測定部２１０から受け取った観察者９１０の視点に基づいて、被観察者９１５と観察者９１０との視線が一致しているか否かを判断する。例えば、観察者視点測定部２１０が測定した観察者９１０の視点が被観察者９１５の目の範囲内に存在するとともに、被観察者視点測定部２１４が測定した被観察者９１５の視点が観察者９１０の目の範囲に存在している場合に、観察者視点判断部２５０は、被観察者９１５と観察者９１０の視線が一致していると判断してよい。観察者視点判断部２５０は、判断結果を画像格納制御部２６０に供給する。

画像格納制御部２６０は、観察者視点判断部２５０から、予め定められた範囲内に観察者９１０の視点があることを示す判断結果を受け取った場合に、撮像部２００から被観察者９１５の画像を取得して画像格納部３２０に格納する。ここで、予め定められた範囲内とは、被観察者９１５の存在する範囲内および被観察者９１５の目の範囲内等であってよい。なお、画像格納制御部２６０は、観察者視点判断部２５０が予め定められた範囲内に観察者９１０の視点があると判断した時刻から予め定められた時間遡った時刻から所定の時間に撮像部２００が撮像した被観察者９１５の画像を格納してもよい。また、画像格納制御部２６０は、観察者視点判断部２５０から受け取った観察者９１０による被観察者９１５への視線の向け方が、視点移動方法格納部２５５が格納している視線の向け方と一致すると判断した場合に、撮像部２００から被観察者９１５の画像を取得して画像格納部３２０に格納してもよい。

更に、画像格納制御部２６０は、観察者視点測定部２１０が観察者９１０の視線の移動速度が予め定められた範囲内にあると判断した場合に、撮像部２００から被観察者９１５の画像を取得して画像格納部３２０に格納してもよい。また、画像格納制御部２６０は、観察者９１０と被観察者９１５との視線が一致していると観察者視点判断部２５０が判断した時刻の前後に撮像部２００が撮像した被観察者９１５の複数の画像を画像格納部３２０に格納してもよい。更に、画像格納制御部２６０は、観察者９１０が被観察者９１５に質問をしたときの音声を検出して、当該音声を検出したときの被観察者９１５の画像を撮像部２００から取得して画像格納部３２０に格納してもよい。

本実施形態に係る画像記録装置１０によれば、観察者９１０の視点が予め定められた範囲内にあるとき、すなわち観察者９１０が被観察者９１５を観察しているときに観察者９１０が被観察者９１５に注目したタイミングで、自動的に被観察者９１５の領域内において観察者９１０が注目した部分の画像を記録できる。これにより、観察者９１０が被観察者９１５の観察において被観察者９１５に注目したときの被観察者９１５の一部分の画像を、観察後においても容易に確認できる。

また、本例の画像記録装置１０によれば、観察者９１０の視点の移動速度が予め定められた範囲内にある場合に、被観察者９１５の画像を記録できるので、観察者９１０が被観察者９１５に注目していない場合、例えば、予め定められた視点の移動速度よりも観察者９１０の視点の移動速度が速い場合には、被観察者９１５の画像を記録しないので、観察者９１０が被観察者９１５を観察するときに、観察者９１０が被観察者９１５に注目したときの被観察者９１５の画像だけを適切に記録できる。

更に、本例の画像記録装置１０によれば、観察者９１０の視点と被観察者９１５の視点とが一致した場合に被観察者９１５の画像を記録できる。これにより、例えば、観察者９１０の問診の音声情報と共に観察者９１０と被観察者９１５との視点が一致した被観察者９１５の画像を再現することができるので、被観察者９１５が観察者９１０の質問に対してどのような表情をしていたかを容易に再現できる。

図１３、１４および１５は、視点移動方法学習部２１６の動作を説明する為の図である。図１３には、被観察者９１５を異なる観察者９１０、９１１、および９１２が観察した場合の視点の軌跡８３５、８３６、および８３７を、模式的に示している。図１３に示すように、観察者の視点の向け方は、観察者によって異なる。そこで、視点移動方法学習部２１６は、観察者に特有の視点の動かし方を、観察者毎に特定する。具体的には、本例の視点移動方法学習部２１６は、発話中に観察者が視点を移動させる可能性の高い領域を特定することにより、観察者に特有の視点の動かし方を特定する。

視点移動方法学習部２１６は、観察者視点測定部２１０より観察者９１０の視点を示す情報を予め定められた時間間隔ごとに受け取る。また、視点移動方法学習部２１６は音声の有無を音声ユニット４０から受け取り、音声が検出された時に、観察者の視点がどの領域に存在するかを特定する。この場合、視点移動方法学習部２１６は、被観察者９１５の画像における予め定められた領域に、観察者の視点が存在するか否かを特定してよい。例えば、本例では、図１３に示すように、被観察者９１５の画像は、複数の領域Ａ（目）、領域Ｂ（口）、領域Ｃ（両手）、領域Ｄ（顔以外で首より上の領域）、領域Ｅ（体）、領域Ｆ（それ以外の領域）に予め分割されており、視点移動方法学習部２１６は、観察者の発話の有無に応じて、観察者の視点が存在する領域を特定する。そして、視点移動方法学習部２１６は、領域毎に、視点が存在していた時間を累積することで、発話がなされた場合に、最も長く視点が存在していた領域を特定する。例えば、図１３および１４に示す観察者９１０の例では、発話をしない場合は、領域Ｄに視点が存在するが、発話を行った場合には視点が被観察者の目の領域（領域Ａ）に、視点が移っていることがわかる。一方、観察者９１１の場合には、被観察者の手の領域（領域Ｃ）に移っていることがわかる。

更に視点移動方法学習部２１６は、領域毎に、視点が存在していた時間を累積することで、発話がなされなった場合に、最も長く視点が存在していた領域を特定してもよい。或いは、視点移動方法学習部２１６は、予め定められた領域毎に、視点が存在していた確率を算出してもよい。これにより視点移動方法学習部２１６は、観察者の視点の向け方を学習し、視点移動方法格納部２５５は、学習した視線の向け方に関する情報を格納する。

尚、視点移動方法学習部２１６は、被観察者９１５の画像における予め定められた領域の大きさを、学習した視線の向け方に応じて定めてもよい。例えば視点移動方法学習部２１６は、被観察者９１５の画像における予め定められた領域の大きさを、発話中にその領域に視点が存在していた時間の長さに応じて定める。具体的には、視点移動方法学習部２１６は、発話中に予め定められた領域に視点が存在していた時間がより長い場合には、その領域の大きさを、より小さく定める。或いは、視点移動方法学習部２１６は、発話中に予め定められた領域に視点が存在していた時間がより短い場合には、その領域の大きさを、より大きく定める。発話の最中に、所定の領域を凝視する癖があるのか、視点を頻繁に移す癖があるのかは、その観察者に依存する。本例のように視線の向けに応じて、予め分割すべき被観察者９１５の画像の領域の大きさを定めるので、このような癖には当てはまらない視点の動きをした場合の無駄な画像を省くことができる。

或いは、図１３の観察者９１２の軌跡８３７が示すように、観察者によっては、予め定められた領域（この図では、領域Ｂ）を直視せずに、視点をずらして患者を観察する癖を有している場合がある。このような癖に対応することを目的として、視点移動方法学習部２１６は、観察者の視点が存在する確率の高い領域を特定し、この特定した領域内に観察者９１０の視点が存在する場合に、視線の向け方が一致したと判断してもよい。

尚、視点移動方法学習部２１６は、上記で説明した方法に加えて、更に移動速度に基づいて、観察者の視線の向け方を学習してもよい。例えば視点移動方法学習部２１６は、音声ユニット４０によって音声が検出されている間の、観察者の視点の移動速度の平均値を算出する。これにより、観察者９１０が被観察者９１５に視線を合わせるときに、視線をゆっくり移動させる、視線をすばやく移動させる、および観察時に被観察者９１５を凝視する等の観察者９１０の癖を把握できる。視点移動方法格納部２５５は、算出された視点の平均移動速度を観察者毎に格納する。また、視点移動方法学習部２１６は、音声が検出されない間における、観察者毎の視点の移動速度の平均値を算出してもよい。

観察者視点判断部２５０は、視点移動方法格納部２５５が格納している、発話中にその観察者が視点を移動させる可能性の最も高い領域に、発話中の観察者９１０の視点が存在する場合には、視線の向け方が一致すると判断する。また観察者視点判断部２５０は、発話中にその観察者が視点を移動させる可能性の最も高い領域に発話中の観察者９１０の視点が、存在しており、更に、視点移動方法格納部２５５が格納している、発話中におけるその観察者の平均移動速度と発話中の観察者９１０の視点の移動速度とが略等しい場合に、視線の向け方が一致すると判断してもよい。

尚、本実施形態の画像記録装置においては、観察者９１０が複数の被観察者を観察してもよい。撮像部２００が撮像した画像に複数の被観察者が含まれる場合、画像格納制御部２６０は、観察者視点測定部２１０が測定した観察者９１０の視点が含まれる被観察者を示す領域を抽出して格納する。この場合、観察者視点判断部２５０は、観察者視点測定部２１０が測定した観察者９１５の視点が、被観察者位置測定部２１２が算出した被観察者の顔の範囲内にあるか否かを判断し。画像格納制御部２６０は、観察者視点判断部２５０が被観察者の顔の範囲内に観察者９１０の視点があると判断した場合に、撮像部２００が撮像した被観察者９１５の画像を格納してよい。尚、画像格納制御部２６０は、観察者視点測定部２１０が測定した観察者９１０の視点が含まれる被観察者を示す領域のみを抽出して格納してもよい。

また図１〜図１１を用いて説明した画像記録装置１０と同様に、観察者９１０は被観察者９１５を遠隔で観察してもよい。更には、複数の観察者が、ネットワークを介して複数の被観察者を観察してもよい。図１６（ａ）および図１６（ｂ）は、画像記録装置１０がテレビ会議として用いられた場合を示す図である。この場合には、本実施形態の画像記録装置は、テレビ会議としても利用できる。観察者側および被観察者側のそれぞれに、画像記録装置を備え、複数の画像記録装置がネットワークで相互に接続される。それぞれの画像記録装置が備える音声ユニット４０が、相手の画像記録装置へ音声を送信し、それぞれの画像記録装置が備える出力部５０が、相手の画像を表示部に表示する。

観察者側の撮像ユニット２０が、撮像部２０２、撮像部２０８、観察者視点測定部２１０および観察者位置測定部２７０を備え、被観察者側の撮像ユニット２０が、撮像部２０４、被観察者位置測定部２１２および被観察者視点測定部２１４を備える。この場合、撮像部２０２〜２０８の各座標の関係は予め定められてよい。例えば、ネットワークを介して観察を行う前に、座標間の関係は、予めキャリブレーションされる。先に説明したように、観察者視点測定部２１０は、観察者側の出力部５０が有する表示部に表示された被観察者９１５および９１６の画像を観察しているときの、観察者９１０および９１２の視点を測定し、被観察者視点測定部２１４は、被観察者側の出力部５０が有する表示部に表示された観察者９１０および９１２の画像を観察しているときの被観察者９１５および９１６の視点を測定する。また。観察者位置測定部２７０は、予め定められた撮像範囲内における観察者９１０の位置を測定し、被観察者位置測定部２１２は、予め定められた撮像範囲内における観察者９１５の位置を測定する。その他の動作は、先に説明した通りである。

このように、複数の画像記録装置をネットワークを介して接続した場合であっても、対話中における相手の表情の変化を的確に記録することができる。特に、複数の対話者がいる場合であっても、発言者が発言している最中に、発言者が注目している人物の表情を的確に記録できる。

図１７は、本発明の実施形態に係る撮像ユニット２０の第３実施例および入力ユニット６０の第２実施例の機能構成の一例を示す。撮像ユニット２０は、撮像部２００、観察者視点測定部２１０、被観察者位置測定部２１２、被観察者視点測定部２１４、および観察者視点判断部２５０を有する。また、入力ユニット６０は視線情報入力部６００を有する。本実施形態では、観察者９１０が着目した被観察者９１５の画像を、後から容易に検索することができる画像記録装置を提供することを目的とする。なお、本実施形態に係る撮像ユニット２０および入力ユニット６０は、図１から図１１の説明において説明した画像記録装置１０を構成する各ユニットの機能および構成の一部、または全部を更に備えてもよい。また、図１から図１１の説明において説明した部材と同一の符号が付された部材については、略同一の機能を有するので詳細な説明は省略する。

尚、第１および第２の撮像ユニット２０に関する説明で述べたように、撮像部２００が全方位カメラである場合には、撮像部２００は、各撮像部２０２〜２０８の機能を含んでいてもよい。或いは撮像ユニット２０は、撮像部２００の代わりに、観察者９１０の視線方向検出用の撮像部２０２、観察者９１０が存在する範囲の測定用の撮像部２０８、被観察者９１５の視線方向検出用の撮像部２０４、および被観察者９１５が存在する範囲の測定用の撮像部２０６を有してもよい。

撮像部２００は、被観察者９１５の画像を撮像して、撮像した被観察者９１５の画像を画像格納部３２０に供給する。また、撮像部２００は、被観察者９１５の視点測定用の画像を被観察者視点測定部２１４に、被観察者９１５が存在する位置を測定する為の画像を被観察者位置測定部２１２に供給する。更に、撮像部２００は、観察者の視点測定用の画像を観察者視線測定部２１０に供給する。被観察者位置測定部２１２は、観察予め定められた撮像部２００の撮像範囲内で被観察者９１５が存在する範囲を測定する。また、被観察者位置測定部２１２は、被観察者９１５の目の範囲を測定する。被観察者位置測定部２１２は、測定した被観察者９１５の存在する範囲を示す情報および被観察者９１５の目の範囲を示す情報を観察者視点判断部２５０に供給する。

観察者視点測定部２１０は、撮像部２００が被観察者９１５を撮像しているときに、観察者９１０の視点を測定する。また、観察者視点測定部２１０は、撮像部２００が被観察者９１５を撮像しているときに、観察者９１０による被観察者９１５への視線の向け方を更に測定する。観察者視点測定部２１０は、撮像部２００が被観察者９１５を撮像しているときに、観察者９１０の視点の移動速度を更に測定する。観察者視点測定部２１０は、測定した観察者９１０の視点、視線の向け方、および視点の移動速度を観察者視点判断部２５０および画像格納部３２０に供給する。

被観察者視点測定部２１４は、被観察者９１５の視点を測定する。また、被観察者視点測定部２１４は、被観察者９１５の視点を時刻に対応づけて測定することで、被観察者９１５の視点の軌跡を示す情報を測定してもよい。被観察者視点測定部２１４は、測定した被観察者９１５の視点を示す情報、および視点の軌跡を示す情報を観察者視点判断部２５０に供給する。観察者視点判断部２５０は、観察者視点測定部２１０が測定した観察者９１０の視点が、被観察者位置測定部２１２が測定した被観察者９１５が存在する範囲内にあるか否かを判断する。また観察者視点判断部２５０は、観察者視点測定部２１０が測定した観察者９１０の視点が、被観察者位置測定部２１２が測定した被観察者９１５の顔または手の範囲内にあるか否かを判断する。また、観察者視点判断部２５０は、観察者視点測定部２１０が測定した観察者９１０の視点が、被観察者位置測定部２１２が測定した被観察者９１５の目の範囲内にあるか否かを判断してもよい。更に、観察者視点判断部２５０は、被観察者９１５の視線と観察者９１０の視線とが一致しているか否かを判断する。観察者視点判断部２５０は、判断結果を画像格納部３２０に供給する。

画像格納部３２０は、撮像部２００が撮像した画像を、観察者９１０の視点を示す情報、観察者９１０の被観察者９１５への視線の向け方、観察者９１０の視点の移動速度、および観察者視点判断部２５０の判断結果を示す情報に対応づけて格納する。画像格納部３２０は、視線情報入力部６００の制御に基づいて、格納している画像を出力部５０に供給する。視線情報入力部６００は、観察者９１０の視点を示す情報をユーザ９１７に入力させる。具体的には、視線情報入力部６００は、観察者９１０の視点が、被観察者９１５が存在する範囲内にあることを示す情報、または、観察者９１０の視点が被観察者９１５の顔または手の範囲内にあることを示す情報を入力させる。更には、視線情報入力部６００は、観察者９１０の視点が被観察者９１５の目の範囲内にあることを示す情報をユーザ９１７に入力させてもよい。ここで、顔の範囲、手の範囲、および目の範囲とは、それぞれ、顔、手および目を含む、予め定められた大きさの、顔、手および目の周辺領域を含んでよい。例えば、目の範囲とは、右目または左目の少なくとも一方の黒目を中心とする半径1ｃｍの円で定められる領域である。或いは、目の範囲とは、両目を含み、顔に対して横に長い長方形や楕円で定められる領域であってよい。また、視線情報入力部６００は、観察者９１０による被観察者９１５への視線の向け方を示す情報、視点の移動速度を示す情報、および観察者９１０の視線と被観察者９１５の視線とが一致している旨を示す情報をユーザ９１７に入力させてもよい。例えば、ユーザ９１７は、観察者９１０が被観察者９１５の目に注目したときの被観察者９１５の画像を観察したい場合には、被観察者９１５の目に観察者９１０の視点が一致した旨を示す情報を、視線情報入力部６００に入力する。視線情報入力部６００は、ユーザ９１７が入力した情報を出力部５０に供給する。

出力部５０は、視線情報入力部６００から入力された観察者９１０の視点を示す情報に対応づけて画像格納部３２０が格納している被観察者９１５の画像を出力する。具体的には、出力部５０は、視線情報入力部６００から受け取った観察者９１０の視点を示す情報等を受け取って、視線情報入力部６００から受け取った情報と一致する情報に対応づけて画像格納部３２０が格納している画像を抽出して出力する。

また、出力部５０は、質問変更アドバイス部を含んでいてよい。質問変更アドバイス部は、被観察者９１５の視点の変化に基づいて、観察者９１０に被観察者９１５に対する質問内容の変更すべき旨をアドバイスする。具体的には、質問変更アドバイス部は、被観察者９１５の視点の軌跡に応じて、被観察者９１５が観察者９１０から視線を逸らしたか否かを判断する。そして、質問変更アドバイス部は、被観察者９１５が観察者から視線を逸らしたと判断した場合に、被観察者９１５への質問内容の変更をすべき旨を示す文字列を、出力部５０に表示する。なお、出力部５０は音声により観察者９１０に質問内容の変更を促してもよい。

本実施形態に係る画像記録装置１０によれば、観察者９１０が被観察者９１５を観察したときの、観察者９１０の視点、視線の被観察者９１５への向け方、視点の移動速度、および観察者９１０の視線と被観察者９１５の視線とが一致した旨を示す情報等に対応づけて被観察者９１５の画像を格納できるので、被観察者９１５の観察をした後でも、観察者９１０が観察のときに被観察者９１５をどのように観察したのかを再現することができると共に、観察者９１０が注目した被観察者９１５の画像を容易に検索することができる。

また本例の画像格納部３２０は、撮像部２００が撮像した被観察者９１５の画像を、被観察者視点測定部２１４が測定した被観察者９１５の視点を示す情報に、更に対応づけて格納してもよい。この場合、視線情報入力部６００は、被観察者９１５の視点を示す情報を、更にユーザに入力させる。出力部５０は、視線情報入力部６００から入力された被観察者９１５の視点を示す情報、および観察者９１０の視点を示す情報に基づいて、画像格納部３２０が格納している被観察者の画像、又は観察者の画像を出力する。これにより、観察者および被観察者のそれぞれの視点の組合せに基づいて、後から被観察者の画像を確認できる。

図１８および図１９は、観察者視点判断部２５０の動作を説明する為の図である。図２０は、画像格納部３２０が格納するデータの一例を示す。図１８（ａ）は被観察者９１５の画像において予め定められた複数の領域８５０〜８５８を、図１８（ｂ）は観察者９１０の画像において予め定められた複数の領域８６０〜８６８を、それぞれ示す。領域８５０、８５２、８５４は被観察者９１５の顔の範囲、目の範囲、口の範囲の一例である。また、領域８５６および８５８は、被観察者９１５の手の範囲（右手および左手）をそれぞれ示す。領域８６０および領域８６２は、観察者９１０の目（右目および左目）の範囲を示し、領域８６４は観察者９１０の口の範囲を示す。領域８６６、８６８および８７０は、観察者９１０を含まない観察者９１０の右側、左側または上側の領域をそれぞれ示す。

観察者視点判断部２５０は、観察者９１０が被観察者９１５を観察しているときの観察者９１０の視点が、領域８５０〜８５８のいずれの領域に存在するかを判断し、更には被観察者９１５の視点が観察者９１０のいずれの領域８６０〜８６８に存在するかを判断する。本例の観察者視点判断部２５０は、図１９に示すように、観察者９１０および被観察者９１５の視点を示す情報として、視点の座標データを観察者視点測定部２１０および被観察者視点測定部２１４から受け取り、予め定められた各領域に、受け取った視点が含まれるか否かを判断する。画像格納部３２０は、判断結果を、例えば図２０のようなデータ構造で格納する。図２０の例において、画像格納部３２０は、観察者の視点の座標データおよび、その視点が含まれる被観察者９１５の画像の領域名を、観察者が見ていた被観察者の画像と対応付けて格納する。また、画像格納部３２０は、被観察者の視点の座標データおよび、その視点が含まれる観察者９１０の画像の領域名を、被観察者の画像と対応づけて更に格納する。

一例として視線情報入力部６００は、観察者９１０視点を示す情報として観察者９１０が着目していた領域の名称を、そして被観察者の視点を示す情報として被観察者９１５が着目していた領域の名称を、ユーザに入力させる。例えば、観察者が医師である場合、被観察者である患者の口元に着目していた画像を検索したい場合には、観察者９１０視点を示す情報として、キーワード「口元」を入力すると、出力５０は、医師が患者の口元に着目していた時の動画１を出力する。更に、出力部５０は、視線情報入力部６００から入力された観察者の視点を示す情報に基づいて、画像格納部３２０が格納している被観察者９１５の画像から、視点に対応する所定の領域を抽出して出力してもよい。この場合、出力部５０は、視点に対応する所定の領域として、観察者９１０の視点の示す情報に対応づけて格納された被観察者の画像の予め定められた領域を、抽出して出力する。例えば、観察者の視点を示す情報として「右目」というキーワードが入力されると、このキーワードに対応づけて格納された動画１から、患者の右目に対応する領域８５２の画像が抽出され、そして出力される。

尚、本例の音声ユニット４０が有する音声記録部４００は、観察者９１０および被観察者９１５の音声情報を記録している。この場合、画像格納部３２０は、音声記録部４００が記録した観察者９１０の音声情報を、撮像部２００が撮像した被観察者９１５の画像に更に対応づけて格納し、視点情報入力部６００は、観察者９１０の音声情報を示す情報をユーザに更に入力させる。そして出力部５０は、入力された被観察者９１５の音声情報に基づいて画像格納部３２０に格納された被観察者９１５の画像を出力する。

ここで、音声情報とは、例えば観察者９１０が被観察者９１５を観察したときに取り交わされた会話である。視線情報入力部６００は、音声情報として、音声データと、音声データの内容に関する情報とを被観察者９１５の画像に対応づけて格納する。この場合、視線情報入力部６００は、音声データの内容に関する情報をキーワードやテキスト文として格納してよい。観察者９１０の音声情報を示す情報として、視線情報入力部６００は、観察者９１０が被観察者９１５を観察した内容に関するキーワードをユーザに入力させる。このように、本例の画像記録装置においては、観察者９１０が観察のときに被観察者９１５をどのように観察したのかを再現することができると共に、観察中に被観察者９１５が注目していた視点を示す情報から、被観察者９１５の画像を容易に検索することができる。また更には、観察者が被観察者と交わした会話に関する情報から、所望の画像を検索することができる。

尚、本実施形態における撮像部２００は複数の被観察者を撮像してもよい。この場合、被観察者位置測定部２１２は、予め定められた撮像部２００の撮像範囲内で複数の被観察者９１５が存在する範囲を撮像し、複数の観察者９１５の範囲を示す情報を観察者視点判断部２５０に供給する。観察者視点判断部２５０は、観察者視点測定部２１０が測定した観察者の視点が、複数の被観察者の中の、いずれの被観察者の存在する範囲内にあるかを判断する。この場合、観察者視点判断部２５０は、観察者９１０の視点が、被観察者位置測定部２１２によって測定された被観察者９１５の顔または手、または目の範囲内にあるか否かを判断してもよい。画像格納部３２０は、観察者視点判断部２５０が判断した観察者の視点に対応する被観察者の画像を、観察者の視点を示す情報に対応づけて格納する。視点情報入力部６００は、観察者の視点を示す情報をユーザに入力させ、出力部５０は、入力された観察者の視点を示す情報に対応づけて画像格納部３２０に格納する被観察者の画像を出力する。

また、本例の撮像ユニット２０が用いられた画像記録装置１０は、複数の観察者が、ネットワークを介して複数の被観察者を観察する場合に用いられてもよい。例えば、画像記録装置１０は、テレビ会議として用いらことができる。この場合、画像格納部３２０は、観察者側の発言者の視点と、その観察者を被観察者側の表示部で観察する聴衆の視点に対応づけて、発言中の発言者の画像と、それを聞いている聴衆の画像とを格納してよい。また、画像格納部３２０は、発言者の発言内容に対応づけて、発言中の発言者および聴衆の画像を格納してよい。視線情報入力部６００は、発言者の視点、聴衆の視点、発言内容を示す情報をユーザに入力させ、出力部５０は、入力された発言者の視点、聴衆の視点、発言内容を示す情報に対応づけて格納された発言者および聴衆の画像を出力する。これにより、テレビ会議が終った後に、発言者や聴衆の視点を検索のキーとして、画像を検索することができる。

図２１は、本発明の実施形態に係る画像記録装置１０が有する撮像ユニット２０の第４実施例、および入力ユニット６０の第３実施例の機能構成の一例を示す。撮像ユニット２０は、撮像部２００および画像格納制御部２６０を有する。また、格納ユニット３０は、画像格納部３２０および電子カルテ格納部３３０を有する。更に、入力ユニット６０は、観察結果入力部６１０、入力検知部６２０、観察結果情報入力部６３０、時刻入力部６４０、および観察結果格納制御部６５０を有する。そして、観察結果入力部６１０は、デジタル入力部６１２および筆記部６１４を含む。本実施形態は、電子カルテ等に観察結果を入力しているときに観察者９１０が被観察者９１５の表情を確認できなかった場合であっても、被観察者９１５の表情を適切に確認できる画像記録装置１０を提供することを目的とする。なお、本実施形態に係る画像記録装置１０は、図１から図１１の説明において説明した画像記録装置１０を構成する各ユニットの機能および構成の一部、または全部を更に備えてもよい。また、図１から図１１の説明において説明した部材と同一の符号が付された部材については、略同一の機能を有するので詳細な説明は省略する。

撮像部２００は、被観察者９１５の画像を撮像して、被観察者９１５の画像を画像格納部３２０に供給する。撮像部２００は、画像格納制御部２６０に画像を供給する。電子カルテ格納部３３０は、被観察者９１５の観察結果が入力される電子カルテを格納する。具体的には、まず、観察結果入力部６１０が、観察者９１０による観察結果を入力する。観察結果入力部６１０は、観察結果が入力されている旨を示す情報を入力検知部６２０に供給する。そして、観察結果入力部６１０は、観察者９１０が入力した観察結果を観察結果格納制御部６５０に供給して、観察結果格納制御部６５０は観察結果入力部６１０から受け取った観察結果を、電子カルテとして電子カルテ格納部３３０に格納する。より具体的には、観察結果入力部６１０に含まれるデジタル入力部６１２が、電子カルテに観察者９１０による観察結果を入力する。キーボード、マウス、およびタッチパネル等はデジタル入力部６１２の一例である。デジタル入力部６１２は、観察者９１０が観察結果を電子カルテに入力していることを示す情報を入力検知部６２０に供給する。

また、観察結果入力部６１０が含む筆記部６１４は、観察者９１０により使用されて、カルテに観察結果を書き込む。筆記部６１４は、筐体６１５、押圧検出部６１６、ペン先６１７、および検出結果送信部６１８を含んでいてよい。そして、押圧検出部６１６が観察者９１０による観察結果の書き込むときにペン先６１７に圧力をかけたときの圧力変化を検出する。押圧検出部６１６は、検出した圧力変化を示す情報を検出結果送信部６１８に供給する。検出結果送信部６１８は、圧力変化を示す情報を入力検知部６２０に供給する。検出結果送信部６１８は、圧力変化を示す情報を、有線通信、または無線通信により入力検知部６２０に供給してよい。

入力検知部６２０は、デジタル入力部６１２から電子カルテ格納部３３０が格納している電子カルテに、観察者９１０による観察結果が入力されていることを検知する。また、入力検知部６２０は、筆記部６１４によって観察者９１０による観察結果がカルテに書き込まれていることを検知する。なお、筆記部６１４は、紙媒体のカルテに観察結果を書き込んでよい。また、筆記部６１４は、デジタルホワイトボード用のペン等であってもよい。筆記部６１４がデジタルホワイトボード用のペンである場合には、筆記部６１４によってデジタルホワイトボードを介して電子カルテに、観察結果を書き込むことができる。係る場合には、筆記部６１４によって書き込まれた観察結果は、観察結果格納制御部６５０に供給される。

画像格納制御部２６０は、入力検知部６２０が観察者９１０による観察結果が入力されていることを検知した場合に、撮像部２００が撮像した被観察者９１５の画像を画像格納部３２０に格納する。具体的には、画像格納制御部２６０は、入力検知部６２０から観察結果入力部６１０によって観察者９１０による観察結果が入力されている旨の情報を受け取った場合に、撮像部２００が撮像した被観察者９１５の画像を取得する。そして、画像格納制御部２６０は、画像格納部３２０に取得した被観察者９１５の画像を格納する。また、画像格納制御部２６０は、入力検知部６２０が観察者９１０による観察結果が入力されていることを検知した時刻から予め定められた時間遡った時刻から所定の時間に撮像部２００が撮像した被観察者９１５の画像を画像格納部３２０に格納する。画像格納部３２０は、撮像部２００が撮像した画像を、観察結果入力部６１０が入力した観察者９１０による観察結果を示す情報、観察者９１０が観察結果を入力した時刻に対応づけて格納する。なお、観察結果を示す情報は、病名、症状の名称、症状の進行状況、および症状の改善度合い等であってよい。画像格納部３２０は、観察結果情報入力部６３０および時刻入力部６４０の制御に基づいて、格納している画像を出力部５０に供給する。

観察結果情報入力部６３０は、観察者９１０の観察結果を示す情報をユーザ９１７に入力させる。なお、ユーザ９１７は、観察者９１０、観察者９１０を除く他の観察者、および被観察者９１５等であってよい。例えば、観察者９１０が被観察者９１５のどのような表情から被観察者９１５の症状を判断したかをユーザ９１７が確認する場合に、観察者９１０が観察した症状の名称を、観察結果を示す情報として観察結果情報入力部６３０に入力する。観察結果情報入力部６３０は、ユーザ９１７が入力した症状の名称に対応づけて画像格納部３２０が格納している被観察者９１５の画像を出力部５０に出力させる。時刻入力部６４０は、時刻をユーザ９１７に入力させる。例えば、ユーザ９１７が、被観察者９１５の過去の画像を観察した場合には、観察を所望する時刻を時刻入力部６４０から入力する。時刻入力部６４０は、ユーザ９１７が入力した時刻に対応づけて画像格納部３２０が格納している被観察者９１５の画像を出力部５０に出力させる。

出力部５０は、観察結果情報入力部６３０から入力された観察者９１０の観察結果を示す情報に対応づけて画像格納部３２０が格納している被観察者９１５の画像を出力する。また、出力部５０は、時刻入力部６４０から入力された時刻に対応づけて画像格納部３２０が格納している被観察者９１５の画像を出力する。出力部５０は、ディスプレイ等の表示装置であってよく、被観察者９１５の画像を時系列順に並べて表示してよい。また、出力部５０は、被観察者９１５の画像を予め定められた時間間隔で、時系列の順に順次表示してもよい。

なお、出力部５０はヘッドマウントディスプレイに備えられていてよい。出力部５０がヘッドマウントディスプレイであった場合には、観察者９１０は、電子カルテまたはカルテに観察結果を入力等している間も、被観察者９１５の画像をヘッドマウントディスプレイに備えられた出力部５０で確認できる。係る場合において、観察者９１０が電子カルテ等に観察結果を入力等するときに、出力部５０は、観察結果の入力の妨げにならない位置に被観察者９１５の画像を表示してよい。例えば、ヘッドマウントディスプレイは観察者９１０の視線を検出する観察者視線検出部を備えていてよく、観察者視線検出部が検出した観察者９１０の視線に応じて、出力部５０は表示する画像の位置を変化させてよい。また、観察者９１０が被観察者９１５の方向を向いている場合には、出力部５０はヘッドマウントディスプレイに被観察者９１５の画像を表示させなくてもよい。更に、例えば、診察室の入口および出口に撮像部２００を設置して、被観察者９１５の入室時および退室時の顔の表情を撮像してもよい。

本実施形態に係る画像記録装置１０によれば、観察者９１０が被観察者９１５の観察結果を電子カルテまたはカルテに入力または書き込んでいるときに、観察者９１０の入力または書き込みのタイミングを検知して、そのときの被観察者９１５の画像を自動的に撮像できる。これにより、観察者９１０が電子カルテ等に観察結果を入力しているときに観察者９１０が被観察者９１５の表情を確認できなかった場合でも、被観察者９１５の表情の中で観察者９１０が実際には観察できなかった表情を確認できる。

また、本実施形態に係る画像記録装置１０によれば、観察者９１０が被観察者９１５の観察結果を電子カルテに入力した時刻から予め定められた時間を遡ったときの被観察者９１５の画像を取得して、観察者９１０は、見逃した被観察者９１５の画像を時系列順に観察できる。これにより、観察者９１０は、被観察者９１５の観察に影響を与える被観察者９１５が含まれる画像を確実に観察できる。

図２２は、本実施形態に係る筆記部６１４の一例を示す。筆記部６１４は、筐体６１５、押圧検出部６１６、ペン先６１７、および検出結果送信部６１８を含む。押圧検出部６１６は、ペン先６１７に圧力が加えられたときに、ペン先６１７に加えられた圧力を検出する。例えば、押圧検出部６１６は、観察者９１０が紙３９０に文字等を記載するときにペン先６１７に加えられた圧力を検出する。押圧検出部６１６は、検出した圧力を示す情報を検出結果送信部６１８に供給する。検出結果送信部６１８は、押圧検出部６１６が検出した圧力を示す情報を入力検知部６２０に供給する。検出結果送信部６１８は、入力検知部６２０と有線、または無線により相互に接続されていてよい。

図２３は、本例の画像格納部３２０が格納するデータの一例を示す。本例では、観察結果が入力された時刻から３分間遡った時刻から、観察結果が入力された時刻までの間に、撮像部２００によって撮像された動画を画像格納部３２０は格納している。尚、音声ユニット４０が有する音声記録部４００は、撮像部２００が被観察者９１５を撮像しているときに、観察者の音声情報を記録する。ここで、音声情報とは、例えば観察者９１０が被観察者９１５を観察したときに取り交わされた会話である。視線情報入力部６００は、音声情報として、音声データと、音声データの内容に関する情報とを被観察者９１５の画像に対応づけて格納する。この場合、観察結果入力部６１０は、音声データの内容に関する情報をキーワードまたはテキスト文として格納してよい。画像格納部３２０は、撮像部２００が撮像した被観察者９１５の画像に、音声記録部が記録した観察者９１５の音声情報を更に対応づけて格納する。観察結果入力部６１０は、観察者９１０が被観察者９１５を観察した内容に関するキーワードをユーザに入力させ、出力部５０は、観察者９１０の音声情報に対応づけて画像格納部３２０に格納されている被観察者９１５の画像を出力してもよい。

図２４および図２５は、本例における電子カルテ５００を説明する為の図である。出力部５０は、電子カルテ格納部３３０に格納された電子カルテを、出力部５０が有する表示部に表示する。図２４は、電子カルテ５００のユーザインターフェースの一例を示す。本例の電子カルテ格納部３３０は、観察結果を、患者の体を模式的に示す画像５０４に対応づけて格納する。患者の体を模式的に示す画像５０４は、上半身、下半身、四肢、顔等、人間の体の一部を示す画像であってもよいし、人間の体全体を示す画像であってもよい。

電子カルテ格納部３３０は、体を模式的に示す画像５０４の所定の部位に対応づけて、疾患の有無を示す情報を格納する。電子カルテ５００は、体を模式的に示す画像５０４の所定の部位に対応付けてチェックボックスを有しており、デジタル入力部６１２を用いて疾患の有無がチェックされる。図２４における電子カルテ５００は、複数のチェックボックス５０２を、患者の顔の各部位に対応づけて有する。これにより、観察者９１０は、観察結果を素早く電子カルテに入力できる。

尚、患者を示す画像５０４に代えて、撮像部２００が撮像した被観察者９１５の実画像を用いてもよい。この場合、電子カルテ５００は、撮像部２００が撮像した被観察者９１５の実画像の所定の部位に対応づけてチェックボックスを有する。或いは電子カルテ５００は、撮像部２００が撮像する被観察者９１５の画像の少なくとも一部の領域に対応づけてチェックボックスを有してもよい。ここで、被観察者９１５の画像の少なくとも一部の領域とは、患者の体の所定の部位を示す領域であってよく、具体的には、被観察者９１５の顔、目、口、または鼻の各領域である。図２５に被観察者９１５の実画像が電子カルテに用いられた例を示す。

デジタル入力部６１２からの入力にもとづいてチェックボックスがチェックされると、画像格納部３２０は、チェックボックスに対応づけられた被観察者９１５の画像を、観察結果を示す情報と共に格納する。このように本例の画像格納部３２０は、デジタル入力部６１２からの入力に基づいて、撮像部２００が撮像した被観察者９１５の画像の少なくとも一部の領域を、観察結果を示す情報と対応づけて格納する。尚、チェックボックスがチェックされることにより観察結果が入力されると、入力検知部６２０が観察結果の入力を検知した時刻から、予め遡った時刻から所定の時間に撮像部２００が撮像した被観察者９１５の画像の一部を、画像格納部３２０は格納する。出力部５０は、画像格納部３２０が格納している被観察者９１５の画像の少なくとも一部を、拡大して表示してもよい。或いは、出力部５０は、画像格納部３２０が格納している被観察者９１５の画像の少なくとも一部を、電子カルテ内に時系列に並べて表示してもよい。

このように、本例の電子カルテ５００では、実際の被観察者９１５の画像を使用するので、症状の変化を的確に理解できる。また被観察者の画像の一部を用いるので、被観察者９１５のプライバシーを守ることができる。

図２６は、本実施形態に係る撮像ユニット２０の第５実施例の機能構成の一例を示す。撮像ユニット２０は、撮像部２００、観察者視点測定部２１０、被観察者位置測定部２１２、被観察者視点測定部２１４、観察者視点判断部２５０、画像格納制御部２６０、観察者位置測定部２７０、および視線一致判断部２８０を有する。以下、本例の画像記録装置１０が医療の分野で用いられた場合を例に、説明する。本例の画像記録装置１０は、観察者９１０が被観察者９１５を観察しているときの被観察者９１５の身体状況を定量化して記録することにより、新たに観察する観察対象者が患っている可能性のある疾患を示す情報を出力することを目的とする。また、更には、疾患名に対応する画像を生成することで、観察を補助することを目的とする。

ここで、例えば、撮像部２００が全方位カメラである場合には、撮像部２００は、観察者９１０の視点検出用の撮像部２０２、観察者９１０が存在する範囲を測定する為の撮像部２０８、被観察者９１５の視点検出用の撮像部２０４、および被観察者９１５が存在する範囲を測定する為の撮像部２０６の機能を含んでいてもよい。また、撮像ユニット２０は、撮像部２００の代わりに、観察者９１０の視線方向検出用の撮像部２０２、観察者９１０が存在する範囲の測定用の撮像部２０８、被観察者９１５の視線方向検出用の撮像部２０４、および被観察者９１５が存在する範囲の測定用の撮像部２０６を有していてもよい。

図２７は、本実施形態に係る入力ユニット６０の第４実施例の機能構成の一例を示す。本例の入力ユニット６０は、画像入力部６０２、疾患情報入力部６０４、観察結果入力部６１０、および観察結果格納制御部６５０を有する。更に、図２８は、本実施形態に係る解析ユニット７０の第２実施例の機能構成の一例を示す。解析ユニット７０は、観察者視点位置判断部７０５、画像抽出部７１０、身体状況数値化部７１５、身体状況データ格納部７２０、身体状況算出部７２５、身体状況数値化データ抽出部７３０、身体状況比較部７３５、疾患可能性算出部７４０、疾患画像生成部７４５、予測疾患出力制御部７５０、および画像出力制御部７５５を有する。なお、本例の画像記録装置１０は、図１から図１１を用いて説明した画像記録装置１０を構成する各ユニットの機能および構成の一部、または全部を更に備えてもよい。また、図１から図１１の説明において説明した部材と同一の符号が付された部材については、略同一の機能を有するので詳細な説明は省略する。

撮像部２００は被観察者９１５を撮像する。また、撮像部２００は、被観察者９１５の動画を撮像してもよい。撮像部２００は撮像した画像を画像格納制御部２６０の制御に基づいて、画像格納制御部２６０に画像を供給する。また、撮像部２００は、被観察者９１５の視点測定用の画像を被観察者視点測定部２１４に、被観察者９１５が存在する位置を測定する為の画像を被観察者位置測定部２１２に供給する。更に、撮像部２００は、観察者９１０の視点測定用の画像を観察者視点測定部２１０に、観察者９１０が存在する位置を測定する為の画像を観察者位置測定部２７０に供給する。観察者視点測定部２１０は、撮像部２００が被観察者９１５を撮像しているときに、観察者９１０の視点を測定する。観察者視点測定部２１０は、測定した視点を観察者視点判断部２５０および視線一致判断部２８０に供給する。

被観察者視点測定部２１４は、撮像部２００が被観察者９１５を撮像しているときに、被観察者９１５の視点を測定する。被観察者視点測定部２１４は、測定した視点を、観察者視点判断部２５０および視線一致判断部２８０に供給する。観察者位置測定部２７０は、予め定められる撮像部２００の撮像範囲内に存在する観察者９１０の位置を測定する。観察者位置測定部２７０は、測定した観察者９１０の位置を示す情報を観察者視点判断部２５０および視線一致判断部２８０に供給する。被観察者位置測定部２１２は、被観察者９１５が撮像範囲内で存在する位置を測定する。被観察者位置測定部２１２は、測定した被観察者９１５の位置を示す情報を観察者視点判断部２５０および視線一致判断部２８０に供給する。

観察者視点判断部２５０は、観察者視点測定部２１０から受け取った観察者９１０の視点が予め定められた範囲内にあるか否かを判断する。予め定められた範囲とは、被観察者９１５の領域の範囲、被観察者９１５の目の領域を示す範囲等であってよい。具体的には、観察者視点判断部２５０は、観察者視点測定部２１０、観察者位置測定部２７０、被観察者視点測定部２１４、および被観察者位置測定部２１２から受け取った測定結果に基づいて、観察者９１０の視点が予め定められた範囲内にあるか否かを判断する。観察者視点判断部２５０は、観察者視点測定部２１０が測定した、観察者９１０の視点を示す情報と、観察者９１０の視点が予め定められた範囲内にある旨を示す情報、または観察者９１０の視点が予め定められた範囲内にない旨を示す情報とを、画像格納部３２０に供給する。

視線一致判断部２８０は、被観察者視点測定部２１４が測定した被観察者９１５の視点、および観察者視点測定部２１０が測定した観察者９１０の視点に基づいて、被観察者９１５と観察者９１０との視線が一致しているか否かを判断する。具体的には、視線一致判断部２８０は、被観察者位置測定部２１２および観察者視点測定部２１０から特定される観察者９１０の視点が、被観察者９１５の目の領域にあるか否かを判断する。例えば、視線一致判断部２８０は、観察者９１０の視点を示す座標が、複数の座標で特定される被観察者９１５の目の領域の中にあるか否かを判断する。同様にして、視線一致判断部２８０は、観察者位置測定部２７０および被観察者視点測定部２１４から特定される被観察者９１５の視点が、観察者９１０の目の領域にあるか否かを判断する。続いて、視線一致判断部２８０は、観察者９１０の視点が被観察者９１５の目の領域にあり、かつ、被観察者９１５の視点が観察者９１０の目の領域にある場合に、観察者９１０と被観察者９１５との視線が一致していると判断する。視線一致判断部２８０は、判断結果を画像格納制御部２６０に供給する。この場合、視線一致判断部２８０は、被観察者視点位置情報として、判断結果を画像格納制御部２６０へ供給してよい。

画像格納制御部２６０は、撮像部２００から被観察者９１５の画像を取得して画像格納部３２０に供給する。また、画像格納制御部２６０は、視線一致判断部２８０から受け取った判断結果を画像格納部３２０に供給する。観察結果入力部６１０は、観察者９１０による被観察者９１５の観察結果を入力する。尚、観察結果とは、疾患であってよい。観察結果入力部６１０が入力する疾患は、例えば疾患の名称である。また、観察結果入力部６１０は、観察者９１０が観察した疾患の症状を示す情報を入力してもよい。更に、観察結果入力部６１０は、観察者９１０が被観察者９１５に疾患がないと判断した場合に、観察者９１０による被観察者９１５の観察結果として疾患がない旨を入力する。観察結果入力部６１０は、入力された疾患を観察結果格納制御部６５０に供給する。観察結果格納制御部６５０は、観察結果入力部６１０が入力した疾患を画像格納部３２０に供給する。

画像入力部６０２は、観察対象者の画像を入力する。画像入力部６０２は、撮像部２００が撮像した被観察者９１５の画像を入力してもよい。ここで、観察対象者とは、観察者９１０が新たに観察をする人物である被観察者９１５のことであってよい。一方、被観察者９１５は既に観察者９１０によって観察された人物であり、画像格納部３２０が格納している画像に既に含まれている人物を指してよい。また、画像入力部６０２は、疾患がないときの観察対象者の画像、および新たに観察者９１０が被観察者９１５を観察中に撮像部２００が取得した観察対象者の画像を入力してもよい。画像入力部６０２は入力した観察対象者の画像を、身体状況算出部７２５に供給する。疾患情報入力部６０４は、疾患を示す情報を入力する。具体的には、疾患情報入力部６０４は、観察者９１０に被観察者９１５の疾患を示す情報を入力させる。疾患情報入力部６０４は、入力した被観察者９１５の疾患を示す情報を身体状況数値化データ抽出部７３０に供給する。

画像格納部３２０は、撮像部２００が撮像した被観察者９１５の画像に対応づけて、観察結果入力部６１０から受け取った疾患、および観察者視点測定部２１０が測定した観察者９１０の視点を示す情報である観察者視点位置情報を格納する。なお、観察者視点位置情報は、被観察者視点位置情報である視線一致判断部２８０の判断結果、および観察者９１０が被観察者９１５を見ているか否かを示す情報であってもよい。また、画像格納部３２０は、撮像部２００が撮像した被観察者９１５の画像に対応づけて、観察結果入力部６１０が入力した疾患がない旨を示す情報を更に格納する。画像格納部３２０は、観察者視点位置情報を、観察者視点位置判断部７０５に供給する。また、画像格納部３２０は、被観察者９１５の画像を画像抽出部７１０および身体状況数値化部７１５に供給する。

観察者視点位置判断部７０５は、画像格納部３２０が格納している観察者視点位置情報に基づいて、観察者視点位置情報に対応づけて画像格納部３２０が格納している被観察者９１５の画像が撮像されたときに観察者９１０被観察者９１５を見ていたか否かを判断する。具体的には、観察者視点位置判断部７０５は、観察者視点位置情報が示す観察者９１０の視点が被観察者９１５の範囲内にある場合に、観察者９１０が被観察者９１５を見ていたと判断してよい。観察者視点位置判断部７０５は、観察者９１０が被観察者９１５を見ていたと判断したときの観察者視点位置情報を画像抽出部７１０に供給する。また、観察者視点位置判断部７０５は、視線一致判断部２８０が被観察者９１５と観察者９１０との視線が一致していると判断した結果を示す観察者視点位置情報を画像格納部３２０から受け取った場合には、当該観察者視点位置情報を画像抽出部７１０に供給する。

画像抽出部７１０は、観察者視点位置判断部７０５から受け取った観察者視点位置情報に対応づけて画像格納部３２０が格納している被観察者９１５の画像を抽出する。画像抽出部７１０は、観察者視点位置情報に対応づけて画像格納部３２０が格納している被観察者９１５の画像を、複数抽出してよい。具体的には、画像抽出部７１０は、観察者視点位置情報に対応づけて画像格納部３２０が格納している被観察者９１５の画像が撮像された時刻から予め定められた時間遡ったときの被観察者９１５の画像、および予め定められた時間後の被観察者９１５の画像を抽出する。例えば、画像抽出部７１０は、観察者視点位置情報に対応づけられている被観察者９１５の画像が撮像された時刻を中心として、予め定められた時間内に撮像された複数の被観察者９１５の画像を抽出してよい。画像抽出部７１０は、抽出した画像を身体状況数値化部７１５に供給する。

身体状況数値化部７１５は画像抽出部７１０から受け取った被観察者９１５の画像に対応づけて画像格納部３２０が格納している疾患ごとに、画像抽出部７１０が抽出した複数の被観察者９１５の画像を解析する。そして、身体状況数値化部７１５は、被観察者９１５の身体状況を数値化する。ここで、被観察者９１５の身体状況とは、例えば、被観察者９１５の瞳孔の大きさ、視点、予め定められた時間内における瞬きの回数、瞼または顔の痙攣、顔の色、顔の温度、頬のたるみ、顔の腫れ、および皮膚の状態（発疹の有無等）等であってよい。具体的には、身体状況数値化部７１５は、観察者９１０が被観察者９１５を観察しているときの身体状況の変化量を、予め定められた時間内で撮像された複数の被観察者９１５の画像を比較することにより数値化する。そして、身体状況数値化部７１５は、観察者９１０が複数の被観察者を見ているときの被観察者の身体状況の変化量を被観察者ごとに数値化して、数値化した身体状況の変化量の平均値を算出する。

例えば、画像抽出部７１０は、観察者９１０が被観察者９１５の目の領域を見ていると観察者視点位置判断部７０５が判断したときに撮像された被観察者９１５の画像と、当該画像が撮像された時刻から予め定められた時間経過後に撮像された被観察者９１５の画像とを抽出する。そして、身体状況数値化部７１５は、画像抽出部７１０が抽出した画像に含まれる被観察者９１５の瞳孔の大きさをそれぞれ比較して、瞳孔の大きさの変化量を算出する。続いて、身体状況数値化部７１５は、算出した瞳孔の大きさの変化量を数値化する。例えば、身体状況数値化部７１５は、観察者９１０が被観察者９１５の目の領域を見た時刻における被観察者９１５の瞳孔の大きさを基準として、予め定められた時間経過後の被観察者９１５の瞳孔の大きさへの変化率を算出して、算出した変化率を瞳孔の大きさの変化量としてよい。そして、身体状況数値化部７１５は、複数の被観察者について算出した変化量の平均値を算出する。また、身体状況数値化部７１５は、被観察者９１５の視点の位置の変化量、および瞬きの回数の変化量等を数値化してもよい。

更に、身体状況数値化部７１５は、画像抽出部７１０が抽出した被観察者９１５の画像に対応づけて画像格納部３２０が格納している疾患ごとに、当該疾患に対応づけて画像格納部３２０が格納している被観察者９１５の画像を、当該疾患がない旨を示す情報に対応づけて画像格納部３２０が格納している被観察者９１５の画像と比較する。そして、身体状況数値化部７１５は、比較した結果から被観察者９１５の身体状況の変化量を数値化して、身体状況変化数値化データを算出してもよい。身体状況数値化部７１５は、被観察者９１５に疾患があるときと疾患がないときとの身体状況の瞳孔の大きさの変化量を数値化して、身体状況変化数値化データとしてもよい。

また、身体状況数値化部７１５は、疾患があるときと疾患がないときとの被観察者９１５の瞳孔の大きさをそれぞれ比較して、瞳孔の大きさの変化量を数値化してもよい。更に、身体状況数値化部７１５は、疾患があるときと疾患がないときとの被観察者９１５の視点の位置の変化量の差分を数値化してもよい。また、身体状況数値化部７１５は、疾患があるときと疾患がないときとの被観察者９１５の瞬きの回数の差分を数値化してもよい。そして、身体状況数値化部７１５は、複数の被観察者の身体状況を数値化して、数値化したデータの合計値から平均値を算出する。身体状況数値化部７１５は、算出した平均値を身体状況数値化データとしてよい。身体状況数値化部７１５は、数値化した身体状況数値化データ、および身体状況変化数値化データを身体状況データ格納部７２０に供給する。

身体状況データ格納部７２０は、身体状況数値化部７１５から受け取った身体状況数値化データを疾患ごとに格納する。身体状況データ格納部７２０は、身体状況数値化データ抽出部７３０、身体状況数値化データを身体状況比較部７３５、および予測疾患出力制御部７５０に供給する。身体状況算出部７２５は、画像入力部６０２から受け取った観察対象者の画像を解析して、観察対象者の身体状況を算出して数値化する。具体的には、身体状況算出部７２５は、観察対象者の身体状況を数値化する。また、身体状況算出部７２５は、画像入力部６０２から受け取った観察対象者の疾患がないときの画像、および新たに取得された画像を解析して観察対象者の身体状況に変化を算出する、身体状況変化算出部の機能も有していてよい。

具体的には、身体状況算出部７２５は、観察対象者の画像に含まれる観察対象者の身体状況を画像入力部６０２から受け取った複数の観察対象者の画像を解析して身体状況を数値化する。より具体的には、身体状況算出部７２５は、予め定められた時間内で撮像された観察対象者の画像を時系列順にそれぞれ比較して、身体状況を数値化してよい。例えば、身体状況算出部７２５は、身体状況として所定の時間内における観察対象者の瞬きの回数を算出して、算出した回数を身体状況として数値化した値としてよい。身体状況算出部７２５は、数値化した観察対象者の身体状況を示す情報を身体状況比較部７３５に供給する。

身体状況比較部７３５は、身体状況算出部７２５から受け取った観察対象者の身体状況を示す情報を、身体状況データ格納部７２０が格納している身体状況数値化データと比較する。身体状況比較部７３５は、比較結果を一致度として算出してよい。具体的には、身体状況比較部７３５は、身体状況算出部７２５から受け取った数値化された身体状況を示す情報と、身体状況データ格納部７２０が格納している身体状況数値化データとを比較する。例えば、身体状況比較部７３５は、身体状況算出部７２５から受け取った数値化された身体状況を示す情報と、身体状況データ格納部７２０が格納している身体状況数値化データとが一致する場合を一致度が最大であるとして一致度を算出してよい。また、身体状況比較部７３５は、身体状況算出部７２５が算出した観察対象者の身体状況の変化を、身体状況データ格納部７２０が格納している身体状況変化数値化データと比較する身体状況変化比較部の機能も有していてもよい。身体状況比較部７３５は、比較結果を疾患可能性算出部７４０および予測疾患出力制御部７５０に供給する。

疾患可能性算出部７４０は、身体状況比較部７３５の比較結果が示す一致度に応じて、疾患ごとの可能性を算出する。具体的には、疾患可能性算出部７４０は、身体状況比較部７３５の比較結果が最大の一致度を示す疾患を、観察対象者が患っている疾患として最も可能性が高いと判断する。例えば、疾患可能性算出部７４０は、最も可能性が高い疾患を確率１００％等と算出する。また、疾患可能性算出部７４０は、身体状況比較部７３５の比較結果が、予め定められた一致度以上を示す複数の疾患を、観察対象者が患っている疾患として可能性があるとして算出してもよい。疾患可能性算出部７４０は、算出した疾患の可能性を予測疾患出力制御部７５０に供給する。予測疾患出力制御部７５０は、身体状況比較部７３５の比較結果が予め定められた一致度以上の身体状況数値化データに対応づけて身体状況データ格納部７２０が格納している疾患を示す情報を、出力部５０に出力させる。

身体状況数値化データ抽出部７３０は、疾患情報入力部６０４が入力した疾患を示す情報に対応づけて身体状況データ格納部７２０が格納している身体状況数値化データを抽出する。身体状況数値化データ抽出部７３０は、抽出した身体状況数値化データを疾患画像生成部７４５に供給する。疾患画像生成部７４５は、身体状況数値化データ抽出部７３０から受け取った身体状況数値化データに基づいて、疾患情報入力部６０４が入力した情報が示す疾患患者の画像を生成する。具体的には、疾患画像生成部７４５は、複数の疾患ごとに、疾患を有する患者に特有のテンプレート画像を格納している疾患テンプレート画像格納部を有していてよい。疾患テンプレート格納部は、複数の疾患のそれぞれに対応づけて、疾患患者のテンプレート画像を格納する。疾患テンプレート画像格納部が格納するテンプレート画像は、疾患患者の静止画および疾患患者の動画構成画像であってよい。

まず、疾患画像生成部７４５は、疾患情報入力部６０４が入力した情報が示す疾患に対応づけて疾患テンプレート画像格納部が有しているテンプレート画像を抽出する。続いて、疾患画像生成部７４５は、身体状況数値化データ抽出部７３０から受け取った身体状況数値化データから示される身体状況および抽出したテンプレート画像から疾患患者の画像を生成する。なお、疾患画像生成部７４５は、疾患患者の動画を生成してもよい。例えば、所定の疾患において、疾患患者が示す身体状況が予め定められた時間内における視点の位置の変化量である場合には、疾患画像生成部７４５は、テンプレート画像および身体状況数値化データから示される視点の位置の変化量から、視線を移動させる疾患患者の動画を生成する。画像出力制御部７５５は、疾患画像生成部７４５が生成した画像を出力部５０に出力させる。

プライバシー上の問題から、疾患を有する被撮像者９１７の画像をデータとして記録できない場合があるが、本例では、疾患そのもの画像を記録に残さなくても、身体状況算出部７２５が算出した身体状況数値化データと、予め準備されたテンプレート画像とに基づいて、疾患の画像を生成することができる。

出力部５０は、予測疾患出力制御部７５０の制御に基づいて、身体状況比較部７３５の比較結果が予め定められた一致度以上の身体状況数値化データに対応づけて身体状況データ格納部７２０が格納している疾患を示す情報を出力する。例えば、身体状況比較部７３５が身体状況として視点の位置の変化量を、視点の位置の変化量を示す身体状況数値化データと比較した結果、観察対象者が患っている疾患として最も可能性が高い疾患名を、出力部５０は出力する。また、出力部５０は、疾患可能性算出部７４０が算出した複数の疾患のそれぞれの可能性を、複数の疾患を示す情報と共に出力してもよい。具体的には、出力部５０は、複数の疾患の可能性が高い順に、疾患の名称、および疾患の症状等を出力する。更に出力部５０は、画像出力制御部７５５から受け取った、疾患画像生成部７４５が生成した画像を出力する。また、出力部５０は、身体状況変化比較部の比較結果が予め定められた一致度以上の身体状況変化数値化データに対応づけて身体状況データ格納部７２０が格納している疾患を示す情報を出力してもよい。

本実施形態に係る画像記録装置１０によれば、観察者９１０が被観察者９１５を観察しているときの被観察者９１５の身体状況を定量化して記録する。そして、定量化して記録した身体状況と、新たに観察した観察対象者の身体状況とを比較して、観察対象者が患っている可能性のある疾患を示す情報を出力できる。これにより、観察者９１０が被観察者９１５を観察する場合において、適切な疾患の特定を補助できる。

また、本実施形態に係る画像記録装置１０によれば、疾患名を入力すると、被観察者９１５の画像または観察対象者の画像から被観察者９１５または観察対象者の身体状況を数値化した身体状況数値化データに基づいて、当該疾患名に対応する疾患を有する疾患患者の画像を生成できるので、ユーザは、生成された画像と被観察者９１５または観察対象者とを見比べることにより、被観察者９１５の疾患について観察する学習をすることができる。

尚、本例の画像記録装置１０は観察者視点位置判断部７０５を備えているが、他の例では、観察者視点位置判断部７０５を備えず、観察者視点判断部２５０が観察者視点位置判断部７０５の機能を備えても良い。この場合には、観察者視点判断部２５０が、被観察者の画像が撮像されたときに観察者が被観察者を見ていたか否かを判断し、観察者視点判断部２５０によって観察者が被観察者を見ていたと判断された被観察者の画像を画像抽出部が抽出する。

図２９は、本実施形態に係る身体状況算出部７２５の機能の一例を示す。なお、身体状況算出部７２５は、身体状況算出部７２５は、画像入力部６０２から受け取った観察対象者の疾患がないときの画像と新たに取得された観察対象者の画像とを比較して、観察対象者の身体状況の変化を算出する、身体状況変化算出部の機能も有していてよい。

まず、身体状況算出部７２５は、画像入力部６０２から受け取った観察対象者の画像を解析する。例えば、グラフ１０００に示すように、身体状況算出部７２５は、予め定められた時間内、すなわち、時刻ｔ０から時刻ｔ３０で規定される時間内において撮像された画像に含まれる観察対象者の瞳孔の大きさをそれぞれ解析する。例えば、身体状況算出部７２５は、時刻ｔ０のときの観察対象者の瞳孔１０１０の瞳孔径、時刻ｔ１０のときの瞳孔１０２０の瞳孔径、時刻ｔ２０のときの瞳孔１０３０の瞳孔径、および時刻ｔ３０のときの瞳孔１０４０の瞳孔径をそれぞれ解析して特定する。そして、身体状況算出部７２５は、時刻ｔ０のときの瞳孔径を基準として、時刻ｔ１０、時刻ｔ２０、および時刻ｔ３０のときの瞳孔径の変化量をそれぞれ算出して、算出した変化量をそれぞれ合計する。続いて、身体状況算出部７２５は、算出した合計値を観察対象者の身体状況としてよい。

図３０は、本実施形態に係る身体状況データ格納部７２０のデータ構造の一例を示す。身体状況データ格納部７２０は、複数の疾患のそれぞれに対応づけて身体状況数値化データを格納する。身体状況数値化データは、被観察者９１５の瞳孔の大きさの変化量、視点の位置の変化量、予め定められた時間内における瞬きの回数の変化量、および瞼または顔の痙攣の変化量等をそれぞれ数値化したデータであってよい。例えば、身体状況データ格納部７２０は、複数の疾患のそれぞれに対応づけて、被観察者９１５の目の動きのうち、視点の位置の変化量を示す視線データ、瞳孔の大きさの変化量を示す瞳孔データ、および瞬きの回数の変化量を示す瞬きデータ等を格納する。身体状況データ格納部７２０は、身体状況数値化部７１５が数値化した身体状況数値化データを疾患ごとに格納してよい。例えば、身体状況データ格納部７２０は、疾患７８０に対応づけて視線データ、動向データ、および瞬きデータにそれぞれ身体状況数値化データを格納する。

ここで、疾患７８０においては、視線データ、瞬きデータ、瞳孔データの順に身体状況数値化データが小さくなっている。したがって、疾患７８０においては視線データに着目して被観察者９１５を観察することができることとなる。また、身体状況データ格納部７２０の視線データだけに着目すると、疾患７８０、疾患７８２、疾患７８４の順に身体状況数値化データが小さくなっている。したがって、身体状況比較部７３５は、視点の位置の変化量を数値化した身体状況数値化データと、身体状況データ格納部７２０が格納している視線データの身体状況数値化データとを比較して、いずれの疾患に最も一致しているか否かを判断できる。例えば、身体状況比較部７３５は、身体状況データ格納部７２０が格納している複数の視線データの身体状況数値化データのそれぞれを、身体状況比較部７３５から受け取った視線データの身体状況数値化データで除して、疾患可能性を算出する。そして、身体状況比較部７３５は、算出した疾患可能性が最も大きな値となる疾患に対応する疾患名を、予測疾患出力制御部７５０に供給する。そして、予測疾患出力制御部７５０は、出力部５０に、受け取った疾患名を出力する。

尚、本発明に係る画像記録装置１０は、医療分野における観察だけではなく、例えば美容やスポーツにおいても利用することができる。この場合、疾患とは、病気を意味する言葉よりも広い意味で用いられる。例えば、本発明の画像記録装置１０を美容関係に利用した場合、疾患とは、しわや肌荒れ等のユーザにとって好ましくない観察結果を含む。また、スポーツ関係に利用した場合、疾患とは、各種スポーツにおける正しいフォームからのみだれや悪い癖を含む。

本発明に係る画像記録装置１０が、美容の分野で用いられる場合、画像格納部３２０は、加齢に応じて変化した身体各部の部分画像を格納する。身体状況数値化部７１５は、例えば「しわ」「しみ」「肌荒れ」などの疾患が有する特徴量を画像処理を用いて算出することで、疾患の種類を特定する。また身体状況数値化部７１５は、「しわ」「しみ」「肌荒れ」などの疾患が示す加齢の程度を数値化する。観察結果入力部６１０は「しわがある」や「肌が荒れている」等の、被観察者に対する美容についての観察結果を疾患として入力する。身体状況算出部７２５は、入力された観察対象の画像を、身体状況数値化部７１５と同様の手法で数値化し、身体状況比較部７３５は、数値化された観察対象者のデータを、身体状況データ格納部７２０が格納しているデータと比較することで、被観察者のしわや肌荒れの程度を判断する。

また疾患画像生成部７４５は、加齢に応じて変化した身体各部の部分画像を、テンプレート画像として予め格納してよい。例えば、疾患画像生成部７４５は、「１０代の女性の目じりの画像」「２０代の女性の目じりの画像」や、「１０代の女性の肌の画像」「４０代の女性の肌の画像」等を予め格納している。身体状況算出部７２５は、入力された観察対象の画像から、疾患に関する特徴量を算出し、疾患画像生成部７４５が有するテンプレート画像を変化させることで、出力部５０は、将来、予測される被観察者の疾患を表示してもよい。これにより、出力部５０は、治療を行わなかった場合の、５年後のしわの画像を表示する。このように、画像記録装置１０を美容の分野に用いることで、患者の症状の特定に利用できる。

本発明に係る画像記録装置１０が、スポーツの分野で用いられる場合、画像格納部３２０は、スポーツの上達に応じたフォームの動画像を格納する。例えば、野球のバッティングフォームを例に説明すると、身体状況数値化部７１５は、「手打ち」「あごがあがっている」「ボールを見ていない」等の、悪いフォームが有する特徴量を、画像処理を用いて算出することで、フォームの癖を特定する。また身体状況数値化部７１５は、フォームの癖が示す程度を数値化してもよい。観察結果入力部６１０は「手打ち」「あごがあがっている」「ボールを見ていない」等の、被観察者に対する観察結果を疾患として入力する。身体状況算出部７２５は、入力された観察対象の動画像を、身体状況数値化部７１５と同様の手法で数値化し、身体状況比較部７３５は、数値化された観察対象者のデータを、身体状況データ格納部７２０が格納しているデータと比較することで、被観察者におけるフォームの癖の程度を判断する。このように、本例の画像記録装置１０をスポーツの分野に用いることにより、選手の癖の特定に利用できる。

図３１は、本実施形態に係る画像記録装置１０のハードウェア構成の一例を示す。本実施形態に係る画像記録装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像記録装置１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像記録装置１０が起動時に実行するブート・プログラム、画像記録装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像記録プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。画像記録プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像記録装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像記録装置１０にインストールされて実行される画像記録プログラムは、ＣＰＵ１５０５等に働きかけて、画像記録装置１０を、図１から図３０にかけて説明した撮像ユニット２０、格納ユニット３０、音声ユニット４０、出力部５０、入力ユニット６０、解析ユニット７０、およびこれらのユニットが有する各部材として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

画像記録装置１０の概念図である。 画像記録装置１０の機能構成を示すブロック図である。 撮像ユニット２０の機能構成を示すブロック図である。 格納ユニット３０および音声ユニット４０の機能構成を示すブロック図である。 視点出力制御部２２０の動作を示す図である。 過去画像出力制御部３１０の動作を示す図である。 画像格納部３２０のデータ構造を示す図である。 第１実施例の撮像ユニット２０の他の例を説明する為の図である。 閲覧者視点判定部２７２の動作を説明する為の図である。 被観察者情報格納部３００が格納するデータの一例を示す図である。 閲覧画像抽出部３１２が抽出した画像を出力部５０が出力する動作を示す図である。 撮像ユニット２０の第２実施例の機能構成の一例を示す図である。 視点移動方法学習部２１６の動作を示す図である。 視点移動方法学習部２１６の動作を示す図である。 視点移動方法学習部２１６の動作を示す図である。 画像記録装置１０がテレビ会議として用いられた場合を示す図である。 撮像ユニット２０の第３実施例および入力ユニット６０の第２実施例の機能構成の一例を示す図である。 観察者視点判断部２５０の動作を説明する為の図である。 観察者視点判断部２５０の動作を説明する為の図である。 画像格納部３２０が格納するデータの一例を示す図である。 画像記録装置１０が有する撮像ユニット２０の第４実施例、および入力ユニット６０の第３実施例の機能構成の一例を示す図である。 筆記部６１４を示す図である。 画像格納部３２０が格納するデータの一例を示す図である。 電子カルテ５００を説明する為の図である。 電子カルテ５００を説明する為の図である。 撮像ユニット２０の第５実施例の機能構成の一例を示す図である。 入力ユニット６０の第４実施例の機能構成の一例を示す図である。 解析ユニット７０の第２実施例の機能構成の一例を示す図である。 身体状況算出部７２５の機能を示す図である。 身体状況データ格納部７２０を示す図である。 画像記録装置１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 画像記録装置
２０ 撮像ユニット
３０ 格納ユニット
４０ 音声ユニット
５０ 出力部
６０ 入力ユニット
７０ 解析ユニット
２００、２０２、２０４、２０５、２０６、２０８ 撮像部
２１０ 観察者視点測定部
２１２ 被観察者位置測定部
２１４ 被観察者視点測定部
２１６ 視点移動方法学習部
２２０ 視点出力制御部
２３０ 視界測定部
２４０ 視点画像抽出部
２５０ 観察者視点判断部
２５５ 視点移動方法格納部
２６０ 画像格納制御部
２７０ 観察者位置測定部
２７１ 閲覧者視点測定部
２７２ 閲覧者視点判定部
２８０ 視線一致判断部
３００ 被観察者情報格納部
３１０ 過去画像出力制御部
３２０ 画像格納部
３３０ 電子カルテ格納部
３９０ 紙
４００ 音声記録部
４０５ 集音部
４１０ 音声情報比較部
４２０ 過去画像抽出部
５１２、５２０、５２２ 画像
５１４ 拡大画像
５２１、５２３、５２４、５２６、５２８、５３０ 領域
５６０ 音声情報
６００ 視線情報入力部
６０２ 画像入力部
６０４ 疾患情報入力部
６１０ 観察結果入力部
６１２ デジタル入力部
６１４ 筆記部
６１５ 筐体
６１６ 押圧検出部
６１７ ペン先
６１８ 検出結果送信部
６２０ 入力検知部
６３０ 観察結果情報入力部
６４０ 時刻入力部
６５０ 観察結果格納制御部
７０５ 観察者視点位置判断部
７１０ 画像抽出部
７１５ 身体状況数値化部
７２０ 身体状況データ格納部
７２５ 身体状況算出部
７３０ 身体状況数値化データ抽出部
７３５ 身体状況比較部
７４０ 疾患可能性算出部
７４５ 疾患画像生成部
７５０ 予測疾患出力制御部
７５５ 画像出力制御部
７８０、７８２、７８４ 疾患
８００、８０５、８１０ マーク
８２０、８２２、８２４、８２６、８３０、８３２ 視点
８３５、８３６、８３７ 軌跡
８５２、８５４、８５６、８６０、８６２、８６４、８６６、８６８ 領域
９００、９０２ 人物
９１０、９１１、９１２ 観察者
９１５、９１６ 被観察者
９１７ 閲覧者
９５０ 目
１０００ グラフ
１０１０、１０２０、１０３０、１０４０ 瞳孔
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (17)

1. 被観察者を観察する観察者を支援する画像出力装置であって、
   前記被観察者を撮像する撮像部と、
   前記撮像部が前記被観察者を撮像しているときに、前記観察者の視点を測定する観察者視点測定部と、
   前記撮像部が撮像した前記被観察者の画像を出力する出力部と、
   前記観察者視点測定部が測定した前記観察者の視点を示す情報を、前記撮像部が撮像した前記被観察者の画像とともに前記出力部に出力させる視点出力制御部と
   を備える画像出力装置。
2. 前記視点出力制御部は、前記観察者視点測定部が測定した前記観察者の視点を示すマークを、前記撮像部が撮像した前記被観察者の画像に重畳させて前記出力部に出力させる
   請求項１に記載の画像出力装置。
3. 前記撮像部が撮像した前記被観察者の画像のうちの、前記観察者視点測定部が測定した前記観察者の視点を含む一部分の画像を抽出する視点画像抽出部
   をさらに備え、
   前記視点出力制御部は、前記視点画像抽出部が抽出した画像を拡大して、前記撮像部が撮像した前記被観察者の画像とともに前記出力部に出力させる
   請求項１に記載の画像出力装置。
4. 前記観察者の視界を特定する視界測定部
   をさらに備え、
   前記視点画像抽出部は、前記撮像部が撮像した前記被観察者の画像のうちの、前記視界測定部が測定した前記観察者の視界の画像を抽出する
   請求項３に記載の画像出力装置。
5. 前記撮像部が撮像した前記被観察者の画像を、前記被観察者に対応づけて格納する被観察者情報格納部と、
   前記撮像部が新たに前記被観察者を撮像した場合に、前記被観察者に対応づけて前記被観察者情報格納部が格納している前記被観察者の過去の画像を、前記撮像部が新たに撮像した前記被観察者の画像とともに前記出力部に出力させる過去画像出力制御部と
   をさらに備える請求項１に記載の画像出力装置。
6. 前記被観察者情報格納部は、前記観察者視点測定部が測定した前記観察者の視点を前記被観察者に対応づけて更に格納し、
   前記過去画像出力制御部は、前記観察者の視点を示す情報を、前記被観察者の過去の画像と共に前記出力部に出力させる
   請求項５に記載の画像出力装置。
7. 前記撮像部が前記被観察者を撮像しているときに、前記観察者の音声情報を記録する音声記録部と、
   前記音声記録部が記録した前記観察者の音声情報と、前記撮像部が撮像した前記被観察者の画像とを対応づけて格納する画像格納部と、
   前記音声記録部が新たに記録した前記観察者の音声情報を、前記画像格納部が格納している前記音声記録部が過去に記録した前記観察者の音声情報と比較する音声情報比較部と、
   前記音声情報比較部の比較結果に基づいて、前記音声記録部が新たに記録した前記観察者の音声情報と予め定められた一致度以上の前記観察者の過去の音声情報に対応づけて前記画像格納部が格納している前記被観察者の過去の画像を抽出する過去画像抽出部と
   をさらに備え、
   前記過去画像出力制御部は、前記過去画像抽出部が抽出した前記被観察者の過去の画像を、前記撮像部が新たに撮像した前記被観察者の画像とともに前記出力部に出力させる
   請求項５に記載の画像出力装置。
8. 前記出力部は表示部であり、
   前記撮像部が撮像した前記被観察者の画像と、前記観察者視点測定部が測定した前記観察者の視点とを対応づけて格納する被観察者情報格納部と、
   前記被観察者情報格納部が格納した前記被観察者の画像を読み出して、前記表示部に表示させる過去画像出力制御部と、
   前記表示部が表示している前記被観察者の画像を閲覧する閲覧者の視点を測定する閲覧者視点測定部と
   を更に備え、
   前記被観察者情報格納部は、前記閲覧者視点測定部が測定した前記閲覧者の視点を示す情報を、前記過去画像出力部が読み出した前記被観察者の画像に更に対応づけて格納する請求項１に記載の画像出力装置。
9. 前記観察者視点測定部が測定した前記観察者の視点と、前記閲覧者視点測定部が測定した前記閲覧者の視点とが一致するかを判定する閲覧者視点判定部と、
   前記閲覧者視点判定部が一致しないと判断した場合に、一致しない視点を示す情報に対応する画像を抽出する閲覧画像抽出部と
   をさらに備え、
   前記過去画像出力部は、前記閲覧画像抽出部が抽出した、前記一致しない視点を示す情報に対応する画像を前記出力部に出力させる
   請求項８に記載の画像出力装置。
10. 前記閲覧者視点測定部が測定した前記閲覧者の視点が、前記観察者視点測定部が測定した前記観察者の視点を含む予め定められた領域に存在しない場合に、前記閲覧者視点判定部は視点が一致しないと判断する
    請求項９に記載の画像出力装置。
11. 前記観察者視点測定部が測定した前記観察者の視点が複数の位置へ推移するとき、当該視点が推移したそれぞれの位置の近傍に、前記閲覧者視点測定部が測定した前記閲覧者の視点が移動した場合に、前記閲覧者視点判定部は視点が一致すると判断する
    請求項９に記載の画像出力装置。
12. 前記観察者の視点が推移した順番と同じ順番で、前記閲覧者視点測定部が測定した前記閲覧者の視点が推移する場合に、前記閲覧者視点判定部は視点が一致すると判断する
    請求項１１に記載の画像出力装置。
13. 前記閲覧者視点判定部は、前記撮像部が撮像した前記被観察者の画像の予め定められた領域に、前記観察者視点測定部が測定した前記観察者の視点と、前記閲覧者視点測定部が測定した前記閲覧者の視点とが存在する場合に、視点が一致すると判断する
    請求項１０に記載の画像出力装置。
14. 前記予め定められた領域とは、少なくとも前記被観察者の目、口、または手をそれぞれ含む領域である
    請求項１３に記載の画像出力装置。
15. 前記視点出力制御部は、前記観察者視点測定部が測定した前記観察者の視点の位置を示すマーク、および前記閲覧者視点測定部が測定した前記閲覧者の視点の位置を示すマークの少なくとも一方を前記被観察者の画像に重畳させて前記出力部に出力させる
    請求項８に記載の画像出力装置。
16. 被観察者を観察する観察者を支援する画像出力方法であって、
    前記被観察者を撮像部が撮像する撮像段階と、
    前記撮像部が前記被観察者を撮像しているときに、前記観察者の視点を測定する観察者視点測定段階と、
    前記観察者視点測定段階において測定された前記観察者の視点を示す情報を、前記撮像部が撮像した前記被観察者の画像とともに出力部に出力する視点出力制御段階と、
    前記視点出力制御段階において出力された前記観察者の視点を示す情報および前記被観察者の画像を前記出力部に出力する出力段階
    を備える画像出力方法。
17. 被観察者を観察する観察者を支援する画像出力装置用の画像出力プログラムであって、前記画像出力装置を、
    前記被観察者を撮像する撮像部、
    前記撮像部が前記被観察者を撮像しているときに、前記観察者の視点を測定する観察者視点測定部、
    前記撮像部が撮像した前記被観察者の画像を出力する出力部、
    前記観察者視点測定部が測定した前記観察者の視点を示す情報を、前記撮像部が撮像した前記被観察者の画像とともに前記出力部に出力させる視点出力制御部
    として機能させる画像出力プログラム。

Images