JP2021184116A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2021184116A
JP2021184116A JP2018167822A JP2018167822A JP2021184116A JP 2021184116 A JP2021184116 A JP 2021184116A JP 2018167822 A JP2018167822 A JP 2018167822A JP 2018167822 A JP2018167822 A JP 2018167822A JP 2021184116 A JP2021184116 A JP 2021184116A
Authority
JP
Japan
Prior art keywords
display
area
gaze
information processing
movement history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018167822A
Other languages
English (en)
Inventor
卓郎 野田
Takuro Noda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018167822A priority Critical patent/JP2021184116A/ja
Priority to US17/250,738 priority patent/US11481179B2/en
Priority to PCT/JP2019/025279 priority patent/WO2020049838A1/ja
Publication of JP2021184116A publication Critical patent/JP2021184116A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】対象物を隠すことなく第１ユーザの注視点を第２ユーザと共有する。【解決手段】表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得する移動履歴取得部と、第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御する表示制御部と、を備える情報処理装置を提供する。これにより、対象物を隠すことなく第１ユーザの注視点を第２ユーザと共有することができる。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、複数のユーザがいる場合に、第１ユーザの体験を、視覚を介して第２ユーザとの間で共有する技術が開発されている。
特許文献１には、第１ユーザの頭部に装着された撮像装置が撮像する撮像画像に基づいて、第１ユーザの視界を表現した画像を生成して、第２ユーザに呈示する技術が開示されている。この手法により、ユーザ間で、視覚を介して体験を共有するに当たり、適切な画像を第２ユーザに提供することが可能となっている。
また、近年では、視線を可視化および解析する目的でユーザの視線の動きを丸または線、ヒートマップ等で表示する技術が使用されることがある。
特開２０１５−９５８０２号公報
しかし、特許文献１に開示される技術では、第２ユーザに対して、第１ユーザの視界が表現されているが、第１ユーザがその視界の中で着目している事象等を第２ユーザは把握できず、第２ユーザは第１ユーザの意図を十分に把握することができなかった。
また、第１ユーザの視界の内、着目事象を表現すべく丸または線、ヒートマップ等を用いると、第１ユーザまたは第２ユーザが見ている場所を隠してしまうことがあった。
例えば、医療分野では、執刀医の意図を汲み取りながら、助手が各種装置を動作して手術を行うことがある。この時、助手が執刀医の意図を汲み取ることは、助手の力量に任せられており、助手の熟練度に応じて手術の円滑さ等に影響することがあった。医療分野では、執刀医の着目事象を丸または線、ヒートマップ等で示すと、患部領域がかくれることがあり、手術時の執刀に影響する可能性があった。
本開示によれば、表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得する移動履歴取得部と、第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御する表示制御部と、を備える情報処理装置が提供される。
また、本開示によれば、プロセッサが、表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得することと、第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得する移動履歴取得部と、第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御する表示制御部と、として機能させるためのプログラムが提供される。
このように、第１ユーザの視界を第２ユーザに対して表現する際に、第１ユーザが注視する対象物を隠してしまう場合には、医療分野に限らず、第１ユーザと視界を共有した第２ユーザに対して影響を与えることがあった。よって、対象物を隠すことなく第１ユーザの注視点を第２ユーザと共有する技術が求められていた。
本開示によれば、第１ユーザの注視点の移動履歴を第２ユーザに対して可視化するように表示装置を制御する。
以上説明したように本開示によれば、第１ユーザが対象物を注視する際に、対象物を隠すことなく第１ユーザの注視点を第２ユーザと共有できる。それにより、第２ユーザが第１ユーザの対象物に対する意図を把握することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの概要を示す概念図である。 同実施形態に係る情報処理システムの構成を示すブロック図である。 同実施形態に係る情報処理システムの移動履歴算出部が移動履歴を算出する方法を示した模式図である。 執刀医の注視点の移動履歴の一例を示した図である。 執刀医の注視点の移動履歴の表示態様の一例を示した図である。 注視点の移動履歴の表示態様に関するパラメータの一例を示した図である。 注視点の移動履歴の表示態様に関するパラメータの一例を示した図である。 注視点の移動履歴の表示態様に関するパラメータの一例を示した図である。 注視点の移動履歴の表示態様に関するパラメータの一例を示した図である。 注視点の移動履歴の表示態様に関するパラメータの一例を示した図である。 助手用モニターの表示領域に対して、時間経過に応じた注視点の移動履歴が表示された様子を示した図である。 同実施形態に係る情報処理システムの動作フローを示した図である。 同実施形態に係る情報処理システムの変形例の一例を示した図である。 同実施形態に係る情報処理システムの変形例の一例を示した図である。 同実施形態に係る情報処理システムの変形例の一例を示した図である。 同実施形態に係る情報処理システムの変形例の一例を示した図である。 同実施形態に係る情報処理システムのハードウェアの構成例の一例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．技術概要
２．技術詳細
２．１．各構成および機能
２．２．移動履歴の算出
２．３．移動履歴の保存
２．４．移動履歴の表示
３．動作フロー
４．変形例
４．１．執刀医がルーペ型表示装置を装着
４．２．執刀医がルーペ型表示装置、助手はＨＭＤ型表示装置を装着
４．３．執刀医がＨＭＤ型表示装置を装着
４．４．執刀医および助手は顕微鏡を操作
５．ハードウェア構成例
（１．技術概要）
本開示の技術は、第１ユーザが対象物を注視する際に、対象物を隠さずに注視点の移動履歴を第２ユーザに対して可視化する技術に関する。本実施形態では、医療分野を例に挙げ、第１ユーザが執刀医であり、第２ユーザが助手である場合に内視鏡を用いて手術を行う場面を説明する。ただし、本開示の技術は、医療分野に限定されない。
図１は、内視鏡手術の場面の様子を示した図である。手術台に患者８が乗せられており、患者８の周囲には、執刀医２と助手１が立ち、手術を行っている。助手１は、内視鏡３をコントロールする役割を担っている。助手１は、助手用モニター１０（表示装置１０）を通して、内視鏡３が撮像する患部（術野）の撮像画像を見ながら、助手用モニター１０に表示される患部領域をコントロールする。一方、執刀医２は、執刀医用モニター２０を通して、内視鏡３が撮像する撮像画像を見ながら、処置を行っている。
このように手術では、患部が執刀医２と助手１等とに対して、モニター等を通して患部領域として呈示される。特に、内視鏡手術においては、内視鏡３が撮像する術野をスコピストと呼ばれる助手１が適切にコントロールすることで、執刀医２がスムーズに手術を行える環境が作られている。そのため、助手１は、執刀医２が術野にて注視している箇所（注視点）を把握、または推測して、適切な患部領域を執刀医２に呈示することが求められていた。
しかしながら、注視点の把握または推測は、助手１の技量によるため、熟練していない助手１などは、適切な患部領域を執刀医２に呈示することが困難であった。そこで、本開示の技術では、執刀医２に挙げられるような第１ユーザの注視点の移動履歴を可視化して呈示することで、助手１に挙げられるような第２ユーザが第１ユーザの意図を適切に捉えることを可能にする。これにより、医療分野においては、患部を隠すことなく、助手１に対して執刀医２の注視点の移動履歴を可視化して呈示することで、助手１が執刀医２の意図を適切に捉えることを容易にする。助手１は、執刀医２が行う次の行動を予測でき、適切な手術環境を執刀医２に提供できる。
（２．技術詳細）
（２．１．各構成および機能）
次に、図２を参照して、本開示の技術が適用される情報処理システム１０００に関して説明する。図２は、図１にて説明した、手術を行う際の装置構成の一例をブロック図で示した図である。
情報処理システム１０００は、視線検出デバイス３１０、ローカル座標カメラ３２０および位置検出デバイス３３０と、移動履歴算出部２１０と、情報処理装置１００と、表示装置１０と、を備える。
視線検出デバイス３１０は、執刀医２の視線情報を検出するデバイスである。視線検出デバイス３１０は、執刀医２に装着されてもよく、装着されずに外環境に設置されてもよい。視線検出デバイス３１０が執刀医２に装着される場合には、視線検出デバイス３１０は、執刀医２の頭部または顔部に装着され、執刀医２の視線を検出してもよい。視線情報は、執刀医２の顔の向きまたは注視方向の情報を含む。注視とは、表示領域を視認している最中に、表示領域における任意の場所を固視する状態を示す。
また、視線情報は、眼球運動の検出、瞳孔検出等により取得された情報であってよい。視線情報は、例えば、カメラ等によりユーザの眼を撮像し、画像処理を行うことで取得され得る。視線情報の検出技術は、公知の技術が用いられてよく、例えば、光源の光が角膜において反射された角膜反射像を用いる瞳孔角膜反射法等が用いられてもよい。
視線検出デバイス３１０が外環境に設置される場合には、手術室内の例えば、天井または壁部などに設置され、執刀医２の視線情報を検出してもよい。視線検出デバイス３１０は、赤外線カメラ、撮像装置等であってよい。
ローカル座標カメラ３２０は、対象物を撮像する機能を有する。例えば、ローカル座標カメラ３２０は、内視鏡３の先端に備えられる。ローカル座標カメラ３２０は、対象物として手術時の患者８の臓器等を撮像する。ローカル座標カメラ３２０は、臓器を撮像して、ローカル座標カメラ３２０に対する臓器の位置情報を取得する機能を有する。臓器の位置情報とは、ローカル座標カメラ３２０を基準とする臓器の空間座標、つまりローカル座標であってよい。また、臓器の位置情報とは、ローカル座標カメラ３２０から臓器への方向および距離に関する情報であってよい。ローカル座標カメラ３２０は、複数の角度から臓器を撮像するステレオ形式カメラであってよく、これらの複数の角度から撮像した撮像画像を画像処理することで、臓器の位置情報を取得する。
上述では、本実施形態の例として、ローカル座標カメラ３２０が撮像装置である説明を行ったが、ローカル座標カメラ３２０は、対象物の位置情報を把握できれば形態は限られない。例えば、ローカル座標カメラ３２０に代わって、位置情報を取得する公知のセンサ等が用いられてもよい。該センサは、内視鏡３に備えられる撮像装置とは別に備えられてもよい。センサは、デプスセンサであってよく、デプスセンサから臓器までの位置情報を取得してもよい。デプスセンサは、具体的には、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサのように、投射したレーザーが対象物まで往復するのにかかる時間から、対象物とセンサとの距離を計測するセンサであってもよい。また、位置情報は、プロジェクタと撮像装置とを備えたプロジェクション方式の装置により取得されてもよい。この技術では、プロジェクタ等で対象物に対して投影したパターンをプロジェクタ視点のカメラで撮像した画像として扱い、プロジェクタ視点の画像と、カメラで撮像した画像と、の間で三角測量を行い、対象物の位置情報を取得する。内視鏡３に備えられる撮像装置は、本開示における医療用撮像装置の一例である。
位置検出デバイス３３０は、ローカル座標カメラ３２０の位置姿勢を検出する機能を有する。位置検出デバイス３３０は、三次元空間における位置検出デバイス３３０の位置が明らかであり、ローカル座標カメラ３２０を検出できれば、設けられる場所は限られない。例えば、手術室内に設置され、ローカル座標カメラ３２０を有する内視鏡３を撮像し、撮像画像を画像処理することにより、ローカル座標カメラ３２０の三次元空間における絶対座標を検出する。位置検出デバイス３３０は、赤外線カメラ、撮像装置等であってよい。
上述では、本実施形態の例として、位置検出デバイス３３０が撮像装置である説明を行ったが、位置検出デバイス３３０は、ローカル座標カメラ３２０の位置姿勢を把握できれば形態は限られない。例えば、位置検出デバイス３３０は、励磁コイルから発せられる磁界を測定しローカル座標カメラ３２０の絶対座標を検出する磁気センサであってもよい。
移動履歴算出部２１０は、視線検出デバイス３１０、ローカル座標カメラ３２０、および位置検出デバイス３３０により取得された情報に基づいて、執刀医２が注視する注視点の移動履歴を算出する機能を有する。移動履歴算出部２１０による移動履歴の算出方法は後述する。
注視点は、表示領域に対する表示領域上の点を示し、表示領域に対する三次元空間に対応する点も示す。
情報処理装置１００は、移動履歴取得部１１０と表示制御部１２０と、を備える。情報処理装置１００は、移動履歴算出部２１０により算出された注視点の移動履歴を取得し、表示装置１０を制御して移動履歴を可視化する機能を有する。移動履歴は、表示装置１０において可視化されるものの、表示領域に表示される対象物を隠すことがないように表示される。
移動履歴取得部１１０は、移動履歴算出部２１０にて算出された注視点の移動履歴を取得し、表示制御部１２０に出力する。移動履歴取得部１１０は、移動履歴算出部２１０と常時連続的に通信を行い、移動履歴を取得してもよく、不連続に通信を行い、移動履歴を取得してもよい。また、移動履歴取得部１１０は、移動履歴算出部２１０で算出された移動履歴を全て取得してもよく、一部を取得してもよい。
表示制御部１２０は、移動履歴取得部１１０から注視点の移動履歴を取得して、該移動履歴を可視化するように表示装置１０を制御する機能を有する。表示制御部１２０は、移動履歴の表示態様を変化させて注視領域を可視化する。さらに、表示制御部１２０は、使用される表示装置１０に応じて、表示態様を変化させてもよい。移動履歴の表示態様は後述する。
表示装置１０は、表示制御部１２０により制御され、表示領域に移動履歴を表示する機能を有する。表示装置１０は、ユーザに対して、内視鏡３にて撮像した撮像画像を呈示し、移動履歴を可視化できればよく、表示装置１０の形態は限られない。例えば、表示装置１０は、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等のユーザへ装着して使用する表示装置であってもよく、据え置き型のモニターのような表示装置であってもよい。ＨＭＤは、本開示におけるウェアラブル表示装置の一例である。
上述したような各構成により、執刀医２の注視点１１３の移動履歴は、情報処理装置１００の移動履歴取得部１１０により取得され、表示制御部１２０により、助手用モニター１０が制御されて、助手に対して表示され得る。
（２．２．移動履歴の算出）
ここで、図３を参照して、移動履歴算出部２１０が移動履歴を算出する方法を説明する。図３は、移動履歴算出部２１０が移動履歴を算出する様子を描いた模式図である。図３を参照すると、執刀医２は、内視鏡３が患者８の体内を撮像した撮像画像を表示する執刀医用モニター２０を見ながら、患者８の手術を行っている。手術室内には、執刀医２の視線を検出する視線検出デバイス３１０が設置され、視線検出デバイス３１０は執刀医２の視線情報を検出している。このように視線検出デバイス３１０は、外環境に設置されてもよく、執刀医用モニター２０に付属されていてもよい。
内視鏡３の先端には、患者８の体内を撮像し、体内の臓器の位置を検出するローカル座標カメラ３２０が設けられる。ローカル座標カメラ３２０は、ステレオ形式のカメラであってよい。ローカル座標カメラ３２０にて撮像される撮像画像は、執刀医用モニター２０に表示される。執刀医２は、執刀医用モニター２０の表示領域２１を注視している。図３では、執刀医２の視線は、表示領域２１のうち、視野範囲１１１で動き、執刀医２の注視方向１１２の延長線と表示領域２１とが交わる点が、注視点１１３として示されている。
ローカル座標カメラ３２０により、ローカル座標カメラ３２０を基準とした患者８の臓器の位置が、ローカル座標系Ｘの空間座標（以下、ローカル座標と称する。）として検出される。これにより、執刀医用モニター２０の表示領域２１に対応する、臓器の位置のローカル座標が既知となる。ここで、視線検出デバイス３１０が、表示領域２１に対する執刀医２の視線情報を取得し、移動履歴算出部２１０では、執刀医２が注視する注視方向１１２が取得される。
ローカル座標カメラ３２０は、ローカル座標カメラ３２０からの臓器の位置情報を奥行情報として取得する。奥行情報は、ローカル座標カメラ３２０から臓器までの距離および方向の情報を含む。移動履歴算出部２１０は、この表示領域２１に対する注視方向１１２と、臓器の位置情報から、執刀医２が注視する注視点のローカル座標を推定する。なお、ローカル座標カメラ３２０を基準としたローカル座標が注視方向と奥行情報とから推定できない場合には、臓器がローカル座標カメラ３２０から所定の距離離れているとして、注視点のローカル座標を推定してもよい。また、両目の輻輳から表示領域２１に対する注視方向を推定し、ローカル座標を推定してもよい。
さらに、手術室内には、ローカル座標カメラ３２０の位置姿勢を検出する位置検出デバイス３３０が備えられている。位置検出デバイス３３０は、ローカル座標カメラ３２０の三次元空間における位置姿勢を三次元空間における絶対座標系Ｙの絶対座標として取得する。ローカル座標カメラ３２０では、臓器の位置がローカル座標として表されているために、ローカル座標カメラ３２０の絶対座標がわかれば、臓器の位置を絶対座標に換算できる。
移動履歴算出部２１０は、このようにローカル座標カメラ３２０の撮像画像の奥行情報と、執刀医２の視線情報とに基づいて、臓器の奥行と注視方向との交点が注視点であると推定する。具体的には、執刀医２は、執刀医用モニター２０の表示領域２１に表示された撮像画像を視野範囲１１１の中で見ながら執刀している。視線検出デバイス３１０は、執刀医２が視野範囲１１１のうち、手術箇所として注視する注視方向１１２を検出する。移動履歴算出部２１０は、執刀医用モニター２０に表示される撮像画像の中で、臓器の位置が空間座標として示される奥行情報を既に取得しているため、注視方向１１２と執刀医用モニター２０に表示される撮像画像との交点を注視点１１３とすることができる。注視点１１３は、移動履歴算出部２１０によって、執刀医用モニター２０の表示領域上の点から、ローカル座標の空間座標として把握され、ローカル座標の空間座標がさらに絶対座標として変換される。移動履歴算出部２１０は、絶対座標として注視点１１３を把握することにより、ローカル座標カメラ３２０の位置姿勢が変化しても、注視点１１３は移動せずに、助手１に対して表示することができる。
（２．３．移動履歴の保存）
図４および図５を参照して、助手用モニター１０に表示される注視点の様子を説明する。図４は注視点の移動履歴を示した図であり、図５は注視点の移動履歴を可視化した表示態様の一例を示した図である。図４を参照すると、執刀医２の注視点は、臓器４に沿って、注視点Ａ、注視点Ｂ、注視点Ｃ、注視点Ｄ、注視点Ｅ、注視点Ｆの順に移動している。これらの注視点は、所定数の注視点にて構成される。例えば、最新の注視点から過去に遡って所定数の注視点が、表示に使用され得る。図４および図５に挙げる一例では、注視点の内、最古の注視点Ａが表示に使用されず、注視点Ｂから注視点Ｆまでが表示に使用される。また、新たに注視点が取得されると、次に古い注視点であった注視点Ｂが表示に使用されなくなる。このように、表示に使用される注視点は更新される。
図５は、助手用モニター１０に表示された撮像画像および注視点の移動履歴を示している。助手１は、助手用モニター１０に表示された注視点の移動履歴を把握することで、執刀医２の意図を把握することができる。
図５に示した助手用モニター１０では、表示領域内で注視点Ｂを含む所定の範囲が注視領域として表示され、注視領域以外の領域と区別される。所定の範囲とは、注視点を含み、注視点から任意の距離を有する領域であってよい。注視点を中心とする円形形状であってよい。例えば、図５では、表示領域内で注視点Ｂを含む注視領域１２２ａと、注視点Ｃを含む注視領域１２２ｂと、注視点Ｄ、注視点Ｅ、および注視点Ｆを含む注視領域１２２ｃとが表示されている。表示領域内の注視領域１２２以外は、注視領域１２２よりも低い明度にて表示されている。このように、注視領域１２２は注視領域以外の領域とは異なる表示態様で表示される。注視領域と注視領域以外が異なる表示態様で表示されることにより、助手１は、注視領域と注視領域以外を認識し、内視鏡３を適切な位置姿勢に動かすことができる。この際に、注視領域以外を非表示とする等の処理を行わず、注視領域以外も助手用モニター１０に表示されることにより、手術等の医療分野では、患部領域が隠されずに助手１に呈示され、注視領域以外における異常等に迅速に気づくことができる。
注視領域１２２ｃには、注視点Ｄの注視領域と、注視点Ｅの注視領域と、注視点Ｆの注視領域と、が重なっている。注視領域は各注視点に対応する表示領域が重なって表示されてもよい。また、注視領域は、複数の注視点からの距離が等しい等点を一つの注視点として、該注視点を含む注視領域であってもよい。例えば、ユーザの注視点から２°の範囲が、高解像度領域とされ、高解像度領域に対応する領域が注視領域とされてもよい。
図５では、注視点Ａを含む注視領域は、注視点Ａが最古の注視点であるために、移動履歴として表示されず、最新の注視点である注視点Ｂから注視点Ｆが移動履歴として表示される。
このように最新の注視点のみを表示するのではなく、過去の注視点を表示して移動履歴を表示することで、助手１が執刀医２の注視意図を推定することが可能となる。しかし、過去の注視点を多く表示するとどこが直近の注視点かわかりにくくなるため、所定数を越える注視点の移動履歴は表示しない。
（２．４．移動履歴の表示）
注視点の移動履歴は、表示制御部１２０により、表示装置１０にて多様の表示態様で表示され得る。表示制御部１２０は、表示領域内の注視点を含む注視領域と、注視領域以外の領域を異なる表示態様で表示するように表示装置１０を制御する。表示態様によって、注視領域の視認性は、注視領域以外の領域の視認性よりも高くすることができる。視認性とは、助手１が表示領域に表示される撮像画像を視認した時のみやすさの度合いを示し、注視領域の視認性を高くすることにより、注視領域に対して助手１の注意を誘引することができる。例えば、表示領域における各画素において注視領域と注視領域以外の彩度、明度、解像度等によって、視認性を異ならせることができる。
彩度は、高いほどカラー表示が鮮明となり、低いほどモノクロ表示となる。よって、注視領域の彩度を注視領域以外の彩度よりも高くすることで、注視領域の視認性を上昇させてもよい。
明度は、高いほど白表示となり、低いほど黒表示となる。よって、注視領域の明度を高くすることにより、注視領域の視認性を上昇させてもよい。
解像度は、高いほど精細性が高くなり、低いほど精細性が低くなる。よって、注視領域の解像度を注視領域以外の解像度よりも高くすることで、注視領域の視認性を上昇させてもよい。
例えば、図６を参照して、注視領域と注視領域以外の表示態様の度合を説明する。図６に示すように、例えば、カラー表示およびモノクロ表示による注視領域の表示は、注視点から各画素までの距離ｄに応じて、カラー度合を変更すればよい。なお、図６に示す表示態様は、上述した彩度による視認性の上昇を例としている。
図６は、注視点からの距離ｄとカラー度合ｒとの関係を示し、距離ｄが大きい程、カラー度合ｒが低下する傾向を示している。つまり、カラー度合ｒは注視点までの距離が０であるとき最大カラー度合ｒＭＡＸになり、最大半径ｄｍａｘで０となるように表示制御されてもよい。この手法により、各画素毎に各注視点から求められるカラー度合ｒを算出して加算し、注視領域と注視領域以外の表示態様を異ならせてもよい。
これより、各注視点からの距離が重なる画素ほどカラー度合ｒが上昇し、カラー性が上昇し、視認性が高くなる。なお、ここで、最大カラー度合ｒＭＡＸに上限を設け、上限を超える値がカラー度合ｒとして算出された場合には、最大カラー度合ｒＭＡＸを表示してもよい。
また、一般的に各画素のカラー色相が、赤Ｒ、緑Ｇ、青Ｂで構成された場合、それをモノクロ化するモノクロ色相は、（（０．２９９×Ｒ）＋（０．５８７×Ｇ）＋（０．１１４×Ｂ））で算出される。この時、注視領域の表示態様として各画素に描画する色相は、下記式（１）で表現されてよい。
（（カラー色相）×（カラー度合ｒ））＋（（モノクロ色相）×（１−（カラー度合ｒ）））・・・（１）
上記式（１）にて、さらに、（（モノクロ色相）×（１−カラー度合ｒ））の項に０より大きく１より小さい係数を乗じて、カラー度合を相対的に高めてもよい。具体的には、係数として０．５を乗じて、モノクロの度合を半分にして、表示領域中の注視領域以外の領域のモノクロ色相の影響を弱めて、カラー色相を表示する注視領域の画素の視認性を上昇させてもよい。
図６では、距離ｄに応じてカラー度合ｒが直線的に低下する表示態様を示したが、図７に示すように、距離ｄとカラー度合ｒとの関係は、なだらかな曲線で描かれる関係を示してもよい。図７では、図６よりも注視点からの距離ｄが近い条件におけるカラー度合が高い。この手法により、図６よりも注視点からの距離ｄが近い領域をより優先的にカラー表示することができ注視点に近い箇所の視認性が上昇する。
上述した注視領域は、注視点を中心とした円状で表されるが、他の図形であってもよい。また、図形の大きさは適宜決定されてよい。図形を大きくするほど、助手１の注意をより広範囲の患部領域を誘引することができ、助手１は患部の異変等に気づきやすくなる。図形を小さくするほど、助手１の注意を注視点の中心に近い箇所に誘引するため、助手１は細やかな内視鏡３の位置変化の対応ができる。
注視領域の表示態様は、上述したような注視点からの距離ｄに限らず、注視点が発現してからの経過時間により決定してもよい。例えば、図８に示すように、時間経過に従ってカラー度合ｒを変化させてもよい。図８によれば、現在から３００ｍｓｅｃ前の注視点は、カラー度合ｒが０であり、時間が現在に近づくにしたがって、比例してカラー度合ｒが１となる。なお、カラー度合ｒが１となると、カラー度合が最大であってよい。つまり、３００ｍｓｅｃ前の注視点は、モノクロ表示として、注視領域以外の表示となり、３００ｍｓｅｃより後の注視点が、カラー表示され注視領域として表示される。注視点の発現が現在に近づくにつれて、注視領域がカラー表示となるため視認性が上昇し、各注視点の移動履歴の順番も把握することができる。図８では、一例として、３００ｍｓｅｃを基準として、カラー表示またはモノクロ表示が切り替わる例を示した。これは、視線検出において、１５０ｍｓｅｃから２００ｍｓｅｃ程度視線が同じ箇所に集中していると、その点を注視（固視）していると判定されるためである。注視判定の基準よりも時間が経過した３００ｍｓｅｃを注視領域表示の経過時間の基準とすることで、正確な注視判定を表示できる。このような注視領域表示の基準は本開示の技術が適用される環境、またはユーザ等に応じて適宜設定されてよい。
また、図９および図１０に示すように、現在から３００ｍｓｅｃ前の注視点は、カラー度合ｒが０であり、時間が現在に近づくにしたがって、なだらかなカーブを描いてカラー度合ｒが１となってもよい。図９に示す移動履歴の表示態様は、図１０に示す表示態様よりも現在に近い注視点の視認性を高くしている。一方、図１０に示す移動履歴の表示態様は、図９に示す表示態様よりも広い時間経過をとって視認性を高くしている。
次に、図１１を参照して、助手１による内視鏡３のコントロールに応じた移動履歴の表示に関して、時間経過とともに説明する。図１１は、助手用モニター１０の表示領域に時間経過に応じた注視点の移動履歴が表示された様子を示した図である。
図１１では、現在時点ｔから順に過去にさかのぼる時点を、過去時点ｔ−１、過去時点ｔ−１よりも過去の時点を過去時点ｔ−２として、各時点における移動履歴の表示態様を示している。助手用モニター１０の表示領域には、患者８の患部領域が表示されており、執刀医２の注視点の移動履歴が可視化されている。執刀医２の注視点は臓器４に沿って表示領域の下側から上側に上昇している。表示領域では、注視領域１２２ａと、注視領域１２２ｂと、注視領域１２２ｃと、が一部重なりながら移動履歴として表示されている。
図１１を参照すると、過去時点ｔ−２から、過去時点ｔ−１、現在時点ｔにかけて、撮像画像内に表示されている対象物の位置が変化している。これは、内視鏡３の位置姿勢が変化して、内視鏡３の画角が変化したためである。内視鏡３の位置姿勢は、過去時点ｔ−２から、過去時点ｔ−１、現在時点ｔにかけて、臓器４の下部から、上部を撮像するように変化している。一方、注視点の移動履歴は、過去時点ｔ−２から、過去時点ｔ−１、現在時点ｔにかけて、臓器４の下部から、上部にかけて内視鏡３の動きと連動せずに示されている。これは、注視点の移動履歴が絶対座標にて示されていることによる。注視点の移動履歴がローカル座標のままであると、内視鏡３の位置姿勢が変化することで、注視点も移動してしまう。よって、注視点をローカル座標から絶対座標に換算しておくことで、内視鏡３の位置姿勢の動きと連動せずに、注視点を表示することができる。
（３．動作フロー）
以上までで、情報処理システム１０００における各構成に関して説明を行った。次に、図１２を参照して、情報処理システム１０００の動作フローの説明を行う。図１２は、本実施形態における表示制御の処理を示すフローチャートである。
まず、ローカル座標カメラ３２０が備えられた内視鏡３により、患者８の術野を撮像する（Ｓ１０２）。ローカル座標カメラ３２０は、内視鏡３に複数備えられた撮像装置であってよく、ステレオ形式であってよい。なお、以下では、注視点共有を行う場合の動作フローを説明し、注視点共有を行わない場合では、撮像装置により撮像された撮像画像がそのまま表示装置に表示される。このような情報処理システム１０００に対する注視点の共有および共有解除の指示は、執刀医２により行われてもよく、助手１により行われてもよい。この際の表示態様の変化は、注視点の共有および共有解除の指示に応じて、なだらかに表示態様が変化してもよい。
注視点の共有が指示されると、ローカル座標カメラ３２０は、撮像画像から、患者８の術野における臓器等の位置情報を取得する（Ｓ１０４）。この際には、臓器等の位置情報は、ローカル座標カメラ３２０の位置を基準とした空間座標として示されてよい。臓器の位置は、任意の点における各点の奥行等の情報を含む。
次に、視線検出デバイス３１０は、執刀医２の視線情報を検出する（Ｓ１０６）。
次に、移動履歴算出部２１０は、撮像画像から得られる臓器の位置情報と、執刀医用モニター２０の表示領域に対する執刀医２の視線情報とにより、注視点のローカル座標を推定する（Ｓ１０８）。
次に、位置検出デバイス３３０は、内視鏡３の位置姿勢を検出する。内視鏡３の位置姿勢を検出することにより、内視鏡３の位置姿勢が絶対座標にて取得される（Ｓ１１０）。
次に、内視鏡３の位置姿勢が絶対座標にて取得されたため、移動履歴算出部２１０では、注視点のローカル座標を絶対座標に変換する（Ｓ１１２）。
次に、移動履歴算出部２１０は、絶対座標に変換された注視点を保存する（Ｓ１１４）。
次に、移動履歴算出部２１０は、保存した注視点の数が所定数を越えたか否かを判断する（Ｓ１１６）。移動履歴算出部２１０は、保存した注視点の数が所定数を越えていれば（Ｓ１１６／Ｙｅｓ）、次の処理に進行する。
次に、移動履歴算出部２１０は、保存した注視点のうち、最古の注視点を削除する（Ｓ１１８）。なお、移動履歴算出部２１０は、保存した注視点の数が所定数未満（Ｓ１１６／Ｎｏ）であれば、注視点を削除する工程（Ｓ１１８）を行わずに、次処理に進行する。
次に、情報処理装置１００の移動履歴取得部１１０にて、注視点の移動履歴が取得され、表示制御部１２０は、表示装置１０の表示領域に表示される撮像画像に移動履歴をマッピングする。
次に、表示制御部１２０は、移動履歴中の各注視点を含む注視領域をカラー表示とし、注視領域以外をモノクロ表示とする（Ｓ１２２）。
次に、情報処理システム１０００は、注視点の共有を終了するか否かを判断する（Ｓ１２４）。情報処理システム１０００が、注視点の共有を終了すると判断すれば（Ｓ１２４／Ｙｅｓ）、注視点共有の動作を終了する。また、情報処理システム１０００が、注視点の共有を終了しないと判断すれば（Ｓ１２４／Ｎｏ）、再度、内視鏡３から撮像画像を取得（Ｓ１０２）して以上までの動作を継続して繰り返し行う。注視点の共有を終了するか否かの判断は、例えば、情報処理システム１０００が助手１または執刀医２から、注視点共有の解除指示を取得したか否かにより判断され得る。
以上までで、本実施形態における情報処理システム１０００の構成および動作フローを説明した。なお、本実施形態においては、執刀医の注視点の移動履歴がリアルタイムで表示される例を一例としたが、注視点の移動履歴は、撮像装置が撮影した撮像画像とともに記録されて、表示装置等で再生されることにより表示されてもよい。このとき、執刀医が注視した撮像画像と、内視鏡の位置姿勢、注視点の絶対座標は、情報処理システム１０００内に記録されている。
（４．変形例）
本項では、手術中の表示装置１０の具体例の一例をそれぞれの場面に分けて説明する。表示装置１０は、上述の実施形態にて説明した表示装置１０がモニター表示装置である場合だけではなく、ユーザに装着されて使用される各種ウェアラブル端末であってよい。
（４．１．執刀医がルーペ型表示装置を装着）
図１３を参照して、執刀医２がルーペ型の第１表示装置２０Ａを装着する場合の情報処理システム１０００を説明する。図１３は、執刀医２がルーペ型の第１表示装置２０Ａを装着した場合の情報処理システム１０００の概要を示した図である。
図１３では、助手１と執刀医２とが患者８を囲んで手術をしている。手術は、例えば脳外科の手術であってよい。第１ユーザである執刀医２はルーペ型の第１表示装置２０Ａを装着している。第２ユーザである助手１は助手用モニター１０を見ながら手術を行う。ルーペ型の第１表示装置２０Ａには、ローカル座標カメラとしてルーペ内蔵カメラ（図示せず。）が設けられている。ルーペ内蔵カメラにより撮像された撮像画像は、ルーペ型の第１表示装置２０Ａおよび助手用モニター１０に表示され得る。ルーペ型の第１表示装置２０Ａは、透過型の表示領域を有していてよい。
ルーペ型の第１表示装置２０Ａには、さらに視線検出デバイス３１０として、ルーペ内蔵視線検出器（図示せず。）が設けられる。ルーペ型の第１表示装置２０Ａを撮像する位置検出デバイス３３０は、手術室等に設置され得る。
これらの視線検出デバイス３１０、ローカル座標カメラ３２０、および位置検出デバイス３３０から得られた情報に基づいて、助手用モニター１０には、撮像画像が表示され、執刀医２の注視点の移動履歴が可視化されて表示される。
（４．２．執刀医がルーペ型表示装置、助手はＨＭＤ型表示装置を装着）
図１４を参照して、第１ユーザである執刀医２がルーペ型の第１表示装置２０Ａ、第２ユーザである助手１がＨＭＤ型の第２表示装置１０Ａを装着する場合の情報処理システム１０００を説明する。図１４は、執刀医２がルーペ型の第１表示装置２０Ａ、助手１がＨＭＤ型の第２表示装置１０Ａを装着した場合の情報処理システム１０００の概要を示した図である。
図１４では、助手１と執刀医２とが患者８を囲んで手術をしている。手術は、例えば脳外科の手術であってよい。執刀医２はルーペ型の第１表示装置２０Ａを装着している。助手１は、ＨＭＤ型の第２表示装置１０Ａを見ながら手術を行う。ルーペ型の第１表示装置２０Ａには、ローカル座標カメラ３２０としてルーペ内蔵カメラ（図示せず。）が設けられている。助手１が装着するＨＭＤ型の第２表示装置１０Ａは、透過型またはビデオシースルー型の表示装置であってよい。情報処理システム１０００には、ＨＭＤ型の第２表示装置１０Ａの位置姿勢を検出する位置検出デバイス３３０がさらに手術室等の外環境に設置されており、ＨＭＤ型の第２表示装置１０Ａの位置姿勢を検出可能である。
ルーペ型の第１表示装置２０Ａには、さらに視線検出デバイス３１０として、ルーペ内蔵視線検出器（図示せず。）が設けられる。ルーペ型の表示装置２０Ａを撮像する位置検出デバイス３３０は、手術室等の外環境に設置され得る。
ルーペ内蔵カメラにより撮像された撮像画像は、ルーペ型の第１表示装置２０Ａに表示され得る。また、該撮像画像は、ＨＭＤ型の第２表示装置１０Ａの表示領域において、ルーペ内蔵カメラの位置姿勢およびＨＭＤ型の第２表示装置１０Ａの位置姿勢の関係から、助手１が装着するＨＭＤ型の表示装置１０Ａからみた患部領域として表示される。
これらの視線検出デバイス３１０、ローカル座標カメラ３２０、および位置検出デバイス３３０から得られた情報に基づいて、ＨＭＤ型の表示装置１０Ａには、撮像画像が表示され、執刀医２の注視点の移動履歴が可視化されて表示される。
（４．３．執刀医がＨＭＤ型表示装置を装着）
図１５を参照して、第１ユーザである執刀医２がＨＭＤ型の第１表示装置を装着し、第２ユーザである助手１が助手用モニター１０を視認する場合の情報処理システム１０００を説明する。図１５は、執刀医２がＨＭＤ型の第１表示装置２０Ａを装着し、助手１が助手用モニター１０を視認する場合の情報処理システム１０００の概要を示した図である。
図１５では、助手１と執刀医２とが患者８を囲んで内視鏡手術をしている。助手１は、内視鏡３をコントロールして、内視鏡３にて撮像された撮像画像は、助手用モニター１０に表示されている。このとき、該撮像画像は、執刀医２が装着するＨＭＤ型の第１表示装置２０Ａが有する表示領域に表示される。執刀医２の注視点は、執刀医２が装着するＨＭＤ型の第１表示装置２０Ａに内蔵される視線検出デバイス３１０により、執刀医２の視線情報が検出されることで把握される。助手用モニター１０には、撮像画像が表示される上、執刀医２の注視点の移動履歴が表示される。なお、助手１は、助手用モニター１０を視認する代わりに、執刀医２と同様に、ＨＭＤ型表示装置を装着して、撮像画像を視認してもよい。
（４．４．執刀医および助手は顕微鏡を操作）
図１６を参照して、第１ユーザである執刀医２および第２ユーザである助手１が医療用顕微鏡を介して患者を手術する場合を説明する。例えば、脳外科手術等では、顕微鏡を使用して手術が行われることがある。
顕微鏡の場合、上述した内視鏡３に代わり、撮像装置は、顕微鏡に内蔵される顕微鏡内蔵カメラである。顕微鏡内蔵カメラの位置姿勢を検出する位置検出デバイスは、同じく顕微鏡に内蔵されていてもよく、外環境に設置されることで、検出されてもよい。
執刀医２は、顕微鏡に備えられる顕微鏡アイピース２０Ｂの表示領域を通して、撮像画像を視認する。顕微鏡には、顕微鏡アイピース２０Ｂのほかに、視線検出デバイスとして、顕微鏡内蔵視線検出器が設けられており、執刀医２の視線検出することが可能である。
顕微鏡に備えられる顕微鏡アイピース１０Ｂの表示領域には、執刀医２の注視点の移動履歴が可視化されて表示される。本実施例は、助手用に顕微鏡アイピース１０Ｂの表示領域で移動履歴が可視化されているが、顕微鏡に備えられないようなモニター等の表示領域で移動履歴が表示されてもよい。
（５．ハードウェア構成例）
図１７を参照して、本実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成の一例について説明する。図１７は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１７に示す情報処理装置９００は、例えば、図２に示した情報処理システム１０００に含まれ得る。本実施形態に係る情報処理システム１０００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図１７に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、表示装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す移動履歴算出部２１０または表示制御部１２０を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
表示装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置等がある。表示装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置を用いる場合は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。表示装置９０７は、図２に示す移動履歴取得部１１０により取得された注視点の移動履歴を可視化して表示する。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す移動履歴算出部２１０により注視点の移動履歴を算出する際に使用する各種パラメータ等を記憶する。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３により、例えば、図２に示す各種構成に備えられ、視線検出デバイス３１０、ローカル座標カメラ３２０、および位置検出デバイス３３０と移動履歴算出部２１０とが通信し得る。また、移動履歴算出部２１０と情報処理装置１００との通信も可能とする。さらにまた、通信装置９１３により、情報処理装置１００と表示装置１０との間で通信が可能となる。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
また、情報処理装置９００では、情報処理システム１０００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを上述した本実施形態に係る情報処理システム１０００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も本開示に係る技術の範疇に含まれ得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、医療分野の手術の場面における執刀医と助手１とを一例としたが、本技術はかかる例に限定されない。例えば、本技術は、第１ユーザの注視点の移動履歴を第２ユーザに対して呈示する際であれば使用され得る。具体的には、本技術は教育分野にて使用されてよい。学生が手術などの学習を行う場合に、執刀医の注視点の移動履歴が表示された映像を見て学習することで、手術時に注視すべき点が直観的に理解でき、効果的な学習が可能となる。一方、指導員が学生の注視点の移動履歴を把握することにより、どのタイミングでどこを注視するべきか等の指導を行うことができる。
また、例えば、本技術は、モニター室にて監視カメラをモニタリングする際の見逃し防止などにも使用され得る。監視カメラのモニタリングの場合、監視カメラが撮像する撮像画像の表示領域において、監視員の注視領域は監視が既に行われたことを示し、注視領域以外は、まだ監視が行われていないことを示す。これより、注視領域以外に対して、監視を促すことにより、さらにきめ細やかな監視が可能となる。よって、本開示の技術を適用して、注視領域以外の視認性が高く、注視領域の視認性を低くなるように表示態様が変化することにより、注視領域以外に監視員の注意を引くことで監視カメラの見逃し防止効果がある。特に、複数人の監視員がいる場合には、各監視員が注視した注視点の移動履歴が表示されることにより、注視点の重なりを防ぐことができ、効率よく監視作業を行うことができる。表示態様の種類として、監視カメラの場合には、注視点の移動履歴をモノクロ表示として、注視領域以外の表示領域をカラー表示として視認性を高めてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得する移動履歴取得部と、
第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御する表示制御部と、を備える情報処理装置。
（２）
前記移動履歴は、前記表示領域を表示する表示装置に対する前記第１ユーザの視線情報と、前記表示領域の画像を撮像する撮像装置の位置姿勢とに基づいて算出される、前記（１）に記載の情報処理装置。
（３）
前記第１ユーザが注視する前記表示領域は、前記表示制御部が制御する表示装置とは異なる表示装置に表示される、前記（１）または（２）に記載の情報処理装置。
（４）
前記移動履歴は、前記第１ユーザの前記視線情報と前記表示領域の奥行情報とを用いて推定された前記撮像装置を基準とするローカル座標を前記絶対座標に変換することで導出される、前記（２）に記載の情報処理装置。
（５）
前記移動履歴は、所定数の前記注視点にて構成される、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記表示制御部は、前記表示領域内の前記注視点を含む注視領域と、前記注視領域以外の領域を異なる表示態様で表示する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記注視領域の視認性は、前記注視領域以外の領域の視認性よりも高い、前記（６）に記載の情報処理装置。
（８）
前記注視領域は、カラー表示であり、前記注視領域以外の領域は、モノクロ表示である、前記（７）に記載の情報処理装置。
（９）
前記注視領域の明度は、前記注視領域以外の領域の明度よりも高い、前記（７）に記載の情報処理装置。
（１０）
前記注視領域の解像度は、前記注視領域以外の領域の解像度よりも高い、前記（７）に記載の情報処理装置。
（１１）
前記表示領域は、患者の患部領域であり、前記第１ユーザは執刀医であり、前記第２ユーザは前記表示領域の画像を撮像する前記撮像装置を操作する助手であり、前記撮像装置は医療用撮像装置である、前記（２）に記載の情報処理装置。
（１２）
前記撮像装置は、内視鏡である、前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部が制御する第１表示装置は、前記第１ユーザに装着されるウェアラブル表示装置である、前記（３）に記載の情報処理装置。
（１４）
前記表示制御部が制御する第１表示装置とは異なる第２表示装置は、前記第２ユーザに装着されるウェアラブル表示装置である、前記（３）に記載の情報処理装置。
（１５）
前記表示制御部が制御する第１表示装置と、
前記第１表示装置と異なる第２表示装置とは、医療用顕微鏡に備えられる、前記（３）に記載の情報処理装置。
（１６）
プロセッサが、
表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得することと、
第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御することと、を含む情報処理方法。
（１７）
コンピュータを、
表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得する移動履歴取得部と、
第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御する表示制御部と、として機能させるためのプログラム。
２ 執刀医
３ 内視鏡
４ 臓器
８ 患者
１０ 助手用モニター（表示装置）
１０Ａ 表示装置
１０Ｂ 顕微鏡アイピース
２０ 執刀医用モニター
２０Ａ 表示装置
２０Ｂ 顕微鏡アイピース
２１ 表示領域
１００ 情報処理装置
１１０ 移動履歴取得部
１１１ 視野範囲
１１２ 注視方向
１１３ 注視点
１２０ 表示制御部
１２２、１２２ａ、１２２ｂ、１２２ｃ 注視領域
２１０ 移動履歴算出部
３１０ 視線検出デバイス
３２０ ローカル座標カメラ
３３０ 位置検出デバイス

Claims (17)

  1. 表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得する移動履歴取得部と、
    第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御する表示制御部と、を備える情報処理装置。
  2. 前記移動履歴は、前記表示領域を表示する表示装置に対する前記第１ユーザの視線情報と、前記表示領域の画像を撮像する撮像装置の位置姿勢とに基づいて算出される、請求項１に記載の情報処理装置。
  3. 前記第１ユーザが注視する前記表示領域は、前記表示制御部が制御する表示装置とは異なる表示装置に表示される、請求項１に記載の情報処理装置。
  4. 前記移動履歴は、前記第１ユーザの前記視線情報と前記表示領域の奥行情報とを用いて推定された前記撮像装置を基準とするローカル座標を前記絶対座標に変換することで導出される、請求項２に記載の情報処理装置。
  5. 前記移動履歴は、所定数の前記注視点にて構成される、請求項４に記載の情報処理装置。
  6. 前記表示制御部は、前記表示領域内の前記注視点を含む注視領域と、前記注視領域以外の領域を異なる表示態様で表示する、請求項５に記載の情報処理装置。
  7. 前記注視領域の視認性は、前記注視領域以外の領域の視認性よりも高い、請求項６に記載の情報処理装置。
  8. 前記注視領域は、カラー表示であり、前記注視領域以外の領域は、モノクロ表示である、請求項７に記載の情報処理装置。
  9. 前記注視領域の明度は、前記注視領域以外の領域の明度よりも高い、請求項７に記載の情報処理装置。
  10. 前記注視領域の解像度は、前記注視領域以外の領域の解像度よりも高い、請求項７に記載の情報処理装置。
  11. 前記表示領域は、患者の患部領域であり、前記第１ユーザは執刀医であり、前記第２ユーザは前記表示領域の画像を撮像する前記撮像装置を操作する助手であり、前記撮像装置は医療用撮像装置である、請求項２に記載の情報処理装置。
  12. 前記撮像装置は、内視鏡である、請求項１１に記載の情報処理装置。
  13. 前記表示制御部が制御する第１表示装置は、前記第１ユーザに装着されるウェアラブル表示装置である、請求項３に記載の情報処理装置。
  14. 前記表示制御部が制御する第１表示装置とは異なる第２表示装置は、前記第２ユーザに装着されるウェアラブル表示装置である、請求項３に記載の情報処理装置。
  15. 前記表示制御部が制御する第１表示装置と、
    前記第１表示装置と異なる第２表示装置とは、医療用顕微鏡に備えられる、請求項３に記載の情報処理装置。
  16. プロセッサが、
    表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得することと、
    第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御することと、を含む情報処理方法。
  17. コンピュータを、
    表示領域を注視する第１ユーザの注視点の、前記表示領域に表示された三次元空間における絶対座標の移動履歴を取得する移動履歴取得部と、
    第２ユーザに対して前記注視点の前記移動履歴を可視化するように、前記表示領域を表示する表示装置を制御する表示制御部と、として機能させるためのプログラム。
JP2018167822A 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム Pending JP2021184116A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018167822A JP2021184116A (ja) 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム
US17/250,738 US11481179B2 (en) 2018-09-07 2019-06-26 Information processing apparatus and information processing method
PCT/JP2019/025279 WO2020049838A1 (ja) 2018-09-07 2019-06-26 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018167822A JP2021184116A (ja) 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021184116A true JP2021184116A (ja) 2021-12-02

Family

ID=69722889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018167822A Pending JP2021184116A (ja) 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11481179B2 (ja)
JP (1) JP2021184116A (ja)
WO (1) WO2020049838A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766939A (zh) * 2019-03-15 2020-10-13 苹果公司 在光学透传显示器上的注意力方向
JP2023050902A (ja) * 2021-09-30 2023-04-11 スズキ株式会社 仮想空間画像生成装置および方法
JP2023050903A (ja) * 2021-09-30 2023-04-11 スズキ株式会社 仮想空間画像生成装置および方法
JP7464933B2 (ja) 2021-10-08 2024-04-10 株式会社日本ブレーン 表示装置及び表示システム
US20230401782A1 (en) * 2022-06-13 2023-12-14 Canon Kabushiki Kaisha Electronic apparatus and control method of the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677269B2 (ja) * 2005-04-08 2011-04-27 キヤノン株式会社 情報処理方法およびシステム
US7843470B2 (en) 2005-01-31 2010-11-30 Canon Kabushiki Kaisha System, image processing apparatus, and information processing method
JP2009194697A (ja) 2008-02-15 2009-08-27 Fuji Xerox Co Ltd 指示システム、指示プログラム及び指示装置
JP2015095802A (ja) 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
DE112017002074T5 (de) * 2016-04-19 2019-01-24 Olympus Corporation Endoskopsystem
JP6661756B2 (ja) 2016-05-02 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法及びプログラム
US11151804B2 (en) 2016-09-14 2021-10-19 Sony Corporation Information processing device, information processing method, and program
JP6996514B2 (ja) * 2016-10-26 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7064952B2 (ja) * 2018-05-17 2022-05-11 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム
US11262839B2 (en) * 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment

Also Published As

Publication number Publication date
WO2020049838A1 (ja) 2020-03-12
US11481179B2 (en) 2022-10-25
US20210349675A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
JP2021184116A (ja) 情報処理装置、情報処理方法及びプログラム
JP6693507B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US20220331049A1 (en) Systems and methods for controlling surgical data overlay
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
JP2022140621A (ja) 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
US11217024B2 (en) Artificial reality system with varifocal display of artificial reality content
JP2019523045A (ja) バーチャルリアリティ頭部装着ディスプレイを使用した強化眼科手術経験
JP6764574B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
US20200275087A1 (en) Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
US9805612B2 (en) Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays
JP2017062598A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017130514A1 (ja) 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
US20220147138A1 (en) Image generation apparatus and information presentation method
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
Valkov et al. Vibro-tactile feedback for real-world awareness in immersive virtual environments
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
US11589001B2 (en) Information processing apparatus, information processing method, and program
US20200093545A1 (en) Control apparatus, control method, and medical observation system
JP7276823B2 (ja) 視覚認知機能評価システム
JP2019164216A (ja) 指示位置伝達システムおよび指示位置伝達方法
US20220277522A1 (en) Surgical image display system, image processing device, and image processing method
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2019130889A1 (ja) 手術映像表示装置、手術映像表示装置の制御方法、及びプログラム
WO2020026380A1 (ja) 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US20220049947A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222