JP2023143437A - 制御装置、制御方法、及び制御プログラム - Google Patents

制御装置、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2023143437A
JP2023143437A JP2022050808A JP2022050808A JP2023143437A JP 2023143437 A JP2023143437 A JP 2023143437A JP 2022050808 A JP2022050808 A JP 2022050808A JP 2022050808 A JP2022050808 A JP 2022050808A JP 2023143437 A JP2023143437 A JP 2023143437A
Authority
JP
Japan
Prior art keywords
image
display device
control
photographed
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022050808A
Other languages
English (en)
Inventor
宏輔 ▲高▼橋
Kosuke Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022050808A priority Critical patent/JP2023143437A/ja
Priority to EP23162119.4A priority patent/EP4250754A1/en
Priority to CN202310286257.7A priority patent/CN116805964A/zh
Priority to US18/188,833 priority patent/US12135912B2/en
Publication of JP2023143437A publication Critical patent/JP2023143437A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】第１のユーザによる観察に適した第１画像、及び第２のユーザによる観察に適した第２画像をそれぞれに提供することができる制御装置、制御方法、及び制御プログラムを提供する。
【解決手段】少なくとも１つのプロセッサを含み、前記プロセッサは、眼鏡型表示装置のカメラにより撮影した撮影画像を、第１のユーザが前記眼鏡型表示装置により観察し、かつ、第２のユーザが前記眼鏡型表示装置と異なる表示装置で前記撮影画像を観察する場合に、前記撮影画像内の第１領域を基準にして撮影制御をした第１画像を前記眼鏡型表示装置に出力し、前記撮影画像内の第２領域を基準にして撮影制御をした第２画像を前記表示装置に出力する制御を行う制御装置。
【選択図】図１１

Description

本開示は、制御装置、制御方法、及び制御プログラムに関する。
従来、特定のユーザが眼鏡型表示装置により観察する画像を、特定のユーザ以外のユーザも観察することができる技術が知られている。例えば、特許文献１には、ヘッドマウントディスプレイを装着したプレイヤーが視認している仮想現実コンテンツ内のコンテンツをその他の観客と共有する技術が記載されている。特許文献１に記載の技術では、観客の位置に応じて観客に提供する画像をスケールアップ、またはスケールダウンする。
特表２０１９－５１６１５９号公報
特許文献１に記載の技術によれば、観客の位置に応じて表示される画像の大きさが適切な大きさとなるものの、当該観客が観察するのに適切な画像とは言えない場合があった。
本開示は、以上の事情を鑑みて成されたものであり、第１のユーザによる観察に適した第１画像、及び第２のユーザによる観察に適した第２画像をそれぞれに提供することができる制御装置、制御方法、及び制御プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第１の態様の制御装置は、少なくとも１つのプロセッサを含み、プロセッサは、眼鏡型表示装置のカメラにより撮影した撮影画像を、第１のユーザが眼鏡型表示装置により観察し、かつ、第２のユーザが眼鏡型表示装置と異なる表示装置で撮影画像を観察する場合に、撮影画像内の第１領域を基準にして撮影制御をして得られた第１画像を眼鏡型表示装置に出力し、撮影画像内の第２領域を基準にして撮影制御をして得られた第２画像を表示装置に出力する制御を行う。
本開示の第２の態様の制御装置は、第１の態様の制御装置において、プロセッサは、撮影制御として、第１領域に写る被写体の撮影及び第２領域に写る被写体の撮影に適応するダイナミックレンジでカメラにより１枚の撮影画像を撮影させる制御を行い、１枚の撮影画像から得られた第１画像及び第２画像を出力する制御を行う。
本開示の第３の態様の制御装置は、第２の態様の制御装置において、プロセッサは、１枚の撮影画像の輝度値を眼鏡型表示装置用に調整して第１画像を生成し、１枚の撮影画像の輝度値を表示装置用に調整して第２画像を生成する。
本開示の第４の態様の制御装置は、第１の態様の制御装置において、プロセッサは、撮影制御として、カメラの光学系の合焦位置を、第１領域に写る被写体にピントが合う第１合焦位置と、第２領域に写る被写体にピントが合う第２合焦位置との間に設定し、合焦位置が設定された状態でカメラにより１枚の撮影画像を撮影させる制御を行い、１枚の撮影画像から得られた第１画像及び第２画像を出力する制御を行う。
本開示の第５の態様の制御装置は、第１の態様の制御装置において、プロセッサは、第１領域に写る被写体に基づいてカメラの露出を制御して撮影された第１の撮影画像を第１画像とし、第２領域に写る被写体に基づいてカメラの露出を制御して撮影された第２の撮影画像を第２画像とする。
本開示の第６の態様の制御装置は、第１の態様から第５の態様のいずれか１態様の制御装置において、第２画像は、撮影画像から第２領域を切り出した部分画像である。
本開示の第７の態様の制御装置は、第１の態様から第６の態様のいずれか１態様の制御装置において、プロセッサは、視線検出装置によって検出された第１のユーザの視線に基づいて、第１領域を決定する。
上記目的を達成するために、本開示の第８の態様の制御方法は、制御装置が備えるプロセッサによる制御方法であって、眼鏡型表示装置のカメラにより撮影した撮影画像を、第１のユーザが眼鏡型表示装置により観察し、かつ、第２のユーザが眼鏡型表示装置と異なる表示装置で撮影画像を観察する場合に、撮影画像内の第１領域を基準にして撮影制御をして得られた第１画像を眼鏡型表示装置に出力し、撮影画像内の第２領域を基準にして撮影制御をして得られた第２画像を表示装置に出力する制御を行う方法である。
上記目的を達成するために、本開示の第９の態様の制御プログラムは、制御装置が備えるプロセッサが実行する画像処理プログラムであって、眼鏡型表示装置のカメラにより撮影した撮影画像を、第１のユーザが眼鏡型表示装置により観察し、かつ、第２のユーザが眼鏡型表示装置と異なる表示装置で撮影画像を観察する場合に、撮影画像内の第１領域を基準にして撮影制御をして得られた第１画像を眼鏡型表示装置に出力し、撮影画像内の第２領域を基準にして撮影制御をして得られた第２画像を表示装置に出力する制御を行うものである。
本開示によれば、第１のユーザによる観察に適した第１画像、及び第２のユーザによる観察に適した第２画像をそれぞれに提供することができる。
実施形態の画像表示システムの構成の一例を示す構成図である。 ＡＲグラス及びスマートフォンの構成の一例を示す構成図である。 実施形態のＡＲグラスの一例を示す斜視図である。 ＡＲグラスで視認する撮影画像について説明するための図である。 実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 ＡＲグラスのディスプレイ及び画像表示装置のディスプレイによる現実世界の視認について説明するための図である。 実施形態のスマートフォンの構成の一例を示すブロック図である。 第１実施形態の第１画像及び第２画像を説明するための図である。 実施形態の画像表示装置のハードウェア構成の一例を示すブロック図である。 実施形態の画像表示装置の構成の一例を示すブロック図である。 第１実施形態のスマートフォンで実行される制御処理及び画像表示装置で実行される表示制御処理の一例を示すフローチャートである。 第２実施形態の第１画像及び第２画像を説明するための図である。 第２実施形態のスマートフォンで実行される制御処理及び画像表示装置で実行される表示制御処理の一例を示すフローチャートである。 第３実施形態の第１画像及び第２画像を説明するための図である。 第３実施形態のスマートフォンで実行される制御処理及び画像表示装置で実行される表示制御処理の一例を示すフローチャートである。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
［第１実施形態］
図１を参照して、本実施形態の画像表示システム１の構成を説明する。図１に示すように、本実施形態の画像表示システム１は、ＡＲ（Augmented Reality）グラス１０、スマートフォン１２、及び画像表示装置１４を備える。スマートフォン１２及び画像表示装置１４は、ネットワーク１９を介して有線通信または無線通信により接続されている。本実施形態のＡＲグラス１０が、本開示の眼鏡型表示装置の一例であり、本実施形態のスマートフォン１２が、本開示の制御装置の一例である。また、本実施形態の画像表示装置１４が、本開示の眼鏡型表示装置と異なる表示装置の一例である。
本実施形態の画像表示システム１は、ＡＲグラス１０のカメラ２７により現実の世界を撮影した撮影画像を、ＡＲグラス１０のディスプレイ２０及び画像表示装置１４のディスプレイ５６に表示する機能を有する。すなわち、本実施形態の画像表示システム１によれば、ＡＲグラス１０のユーザが視認する現実の世界を、画像表示装置１４のユーザも視認することができる。以下、ＡＲグラス１０を使用するユーザを「第１のユーザ」といい、画像表示装置１４を使用するユーザを「第２のユーザ」といい、両者を区別せずに総称する場合、単に「ユーザ」という。
図２を参照して、本実施形態のＡＲグラス１０及びスマートフォン１２の構成を説明する。ＡＲグラス１０は、ＯＬＥＤ（Organic Light Emitting Diode）２６Ｌから左眼用レンズ２２Ｌに左眼用投影画像を投影し、また右眼用ＯＬＥＤ２６Ｒから右眼用レンズ２２Ｒに右眼用投影画像を投影することにより、各投影画像に応じた画像のユーザによる視認を可能にする装置である。なお、以下では、「左眼用投影画像」及び「右眼用投影画像」について総称する場合は、「投影画像」という。
図３には、本実施形態のＡＲグラス１０の一例の斜視図が示されている。図２及び図３に示すように、ＡＲグラス１０は、ディスプレイ２０と、左眼用ＯＬＥＤ２６Ｌと、右眼用ＯＬＥＤ２６Ｒと、カメラ２７と、視線検出センサ２８と、を備える。また、ディスプレイ２０は、左眼用レンズ２２Ｌ及び左眼用導光板２４Ｌと、右眼用レンズ２２Ｒ及び右眼用導光板２４Ｒと、を含む。
左眼用導光板２４Ｌの一端には、左眼用ＯＬＥＤ２６Ｌから投影された左眼用投影画像に応じた光が入射される。左眼用導光板２４Ｌの中を伝播した光は、出射部（図示省略）において向きを変えて、第１のユーザの左眼の方向に出射される。左眼用導光板２４Ｌから出射された左眼用投影画像に応じた光は、左眼用レンズ２２Ｌを透過し、第１のユーザの左眼に導かれる。同様に、右眼用導光板２４Ｒの一端には、右眼用ＯＬＥＤ２６Ｒから投影された右眼用投影画像に応じた光が入射される。右眼用導光板２４Ｒの中を伝播した光は、出射部（図示省略）において向きを変えて、第１のユーザの右眼の方向に出射される。右眼用導光板２４Ｒから出射された右眼用投影画像に応じた光は、右眼用レンズ２２Ｒを透過し、第１のユーザの右眼に導かれる。そのため、左眼用ＯＬＥＤ２６Ｌ及び右眼用ＯＬＥＤ２６Ｒの各々から投影画像が投影されている間は、第１のユーザの左右の眼によって各投影画像に応じた表示画像、例えば、カメラ２７によって撮影された撮影画像が視認される。
上述のように、左眼用ＯＬＥＤ２６Ｌ及び右眼用ＯＬＥＤ２６Ｒの各々は、ディスプレイ２０に表示する表示画像に応じた投影画像を右眼用導光板２４Ｒ及び右眼用ＯＬＥＤ２６Ｒに投影する。第１のユーザが左眼用導光板２４Ｌに左眼用ＯＬＥＤ２６Ｌから投影された左眼用投影画像を左眼で視認し、右眼用導光板２４Ｒに右眼用ＯＬＥＤ２６Ｒから投影された右眼用投影画像を右眼で視認することで、第１のユーザの脳内で表示画像が合成され、表示画像を視認した状態となる。例えば、図４に示すように、現実の世界１００をカメラ２７によって撮影した撮影画像１０１を表示画像としてディスプレイ２０に表示させる場合、左眼用ＯＬＥＤ２６Ｌは、撮影画像１０１の左部分の画像を左眼用投影画像１０１Ｌとして左眼用導光板２４Ｌに投影し、右眼用ＯＬＥＤ２６Ｒは、撮影画像１０１の右部分の画像を右眼用投影画像１０１Ｒとして右眼用導光板２４Ｒに投影する。第１のユーザは、左眼で左眼用導光板２４Ｌに投影された左眼用投影画像１０１Ｌを視認し、右眼で右眼用導光板２４Ｒに投影された右眼用投影画像１０１Ｒを視認することで、結果として撮影画像１０１を視認することができる。
カメラ２７は、第１のユーザが観察する現実の世界を撮影するカメラである。カメラ２７としては、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等のデジタル式カメラが挙げられる。本実施形態では、現実の世界を表す画像をユーザに提供するため、カメラ２７はカラー画像の撮影が可能である。また、本実施形態のカメラ２７は、第１のユーザの視界の範囲と同等の領域を撮影範囲とすることができる、いわゆる魚眼レンズや広角レンズを用いたカメラである。このように本実施形態では、カメラ２７の撮影範囲として、第１のユーザの視界の範囲と同等の領域としているが本形態に限定されず、第１のユーザの視界の範囲よりも広い領域であってもよいし、狭い領域であってもよい。なお、第１のユーザに現実の世界の視認を少なくとも提供するために、カメラ２７の撮影範囲は、第１のユーザの視界の範囲と同等以上であることが好ましい。カメラ２７により撮影された撮影画像の画像データは、スマートフォン１２に出力される。なお、本実施形態において、「撮影画像」とは、カメラ２７により撮影された画像のことをいう。
視線検出センサ２８は、第１のユーザの視線を検出するセンサである。視線検出センサ２８としては、公知のセンサを適用することができ、例えば、虹彩や瞳孔の位置に基づいて第１のユーザの視線方向を検出するセンサ等が挙げられる。一例として、本実施形態のＡＲグラス１０は、第１のユーザの右眼の視線を検出する。視線検出センサ２８の検出結果は、スマートフォン１２に出力される。
一方、スマートフォン１２は、ＡＲグラス１０の制御を行うプロセッサ４０を備える。図５には、スマートフォン１２における本実施形態の機能に関する構成の一例を表したブロック図が示されている。図５に示すように、スマートフォン１２は、プロセッサ４０、メモリ４２、Ｉ／Ｆ（InterFace）部４３、記憶部４４、ディスプレイ４６、及び入力装置４８を備える。プロセッサ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ４０は、記憶部４４に記憶された制御プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。メモリ４２は、プロセッサ４０が処理を実行するためのワークメモリである。
記憶部４４には、制御プログラム４５、及びカメラ２７により撮影された撮影画像の画像データ等の各種の画像データ（図示省略）や、その他の各種情報等が記憶される。記憶部４４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。
Ｉ／Ｆ部４３は、無線通信または有線通信により、左眼用ＯＬＥＤ２６Ｌ、右眼用ＯＬＥＤ２６Ｒ、カメラ２７、視線検出センサ２８、及び画像表示装置１４各々との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、ユーザに対して、投影画像の投影に関する各種の情報を提供する。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。また、入力装置４８は、各種の指示を入力するためにユーザによって操作される。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。
また、本実施形態のスマートフォン１２の機能について説明する。
本実施形態のスマートフォン１２は、カメラ２７により撮影した撮影画像を、第１のユーザがＡＲグラス１０により観察し、かつ、第２のユーザが画像表示装置１４で観察する場合に、撮影画像内の第１領域を基準にして撮影制御をして得られた第１画像をＡＲグラス１０に出力する制御を行う。また、スマートフォン１２は、撮影画像内の第２領域を基準にして撮影制御をして得られた第２画像を画像表示装置１４に出力する制御を行う。
ここで、図６を参照して、スマートフォン１２がＡＲグラス１０に出力する第１画像１２０及び画像表示装置１４に出力する第２画像１４０について説明する。図６には、第１のユーザがＡＲグラス１０を用いて現実の世界１００の観察を行い、現実の世界１００に存在する被写体１０２を注視している場合が示されている。
スマートフォン１２は、カメラ２７により現実の世界１００を撮影した撮影画像１１０を取得する。画像表示装置１４は、スマートフォン１２から撮影画像１１０を取得してディスプレイ５６に表示させる。これにより、第２のユーザは、撮影画像１１０によって現実の世界１００を観察することができる。図６には、第２のユーザが撮影画像１１０内の被写体画像１０５を注視することで、現実の世界１００の被写体１０４の観察を行う場合が示されている。
現実の世界１００に存在する被写体１０２と被写体１０４とは、存在する位置や光源の位置等により、撮影画像１１０に含まれる被写体１０２に対応する被写体画像１０３及び被写体１０４に対応する被写体画像１０５の写り方が異なる場合がある。例えば、撮影画像１１０が、被写体画像１０３及び被写体画像１０５の一方についてのみ、明るさやピント等が適切な画像となる場合がある。
そこで、本実施形態のスマートフォン１２は、撮影画像１１０内の被写体画像１０３を含む第１領域１１２を基準にしてカメラ２７に対して撮影制御を行うことにより、第１領域１１２の画像を適切にした第１画像１２０を得てＡＲグラス１０に出力する。ＡＲグラス１０のディスプレイ２０には、第１画像１２０が表示され第１のユーザによって視認される。また、スマートフォン１２は、撮影画像１１０内の被写体画像１０５を含む第２領域１１４を基準にしてカメラ２７に対して撮影制御を行うことにより、第２領域１１４の画像を適切にした第２画像１４０を得て画像表示装置１４に出力する。画像表示装置１４のディスプレイ５６には、第２画像１４０が表示され第２のユーザによって視認される。
これにより、本実施形態のスマートフォン１２によれば、ＡＲグラス１０を使用する第１のユーザには、第１のユーザの視認に適した第１画像１２０を提供し、また画像表示装置１４を使用する第２のユーザには、第２のユーザの視認に適した第２画像１４０を提供することができる。
図７には、本実施形態のスマートフォン１２の機能に係る構成の一例を表す機能ブロック図が示されている。図７に示すようにスマートフォン１２は、撮影制御部６０、撮影画像取得部６２、表示制御部６４、画像送信部６６、視線検出部６８、第１領域決定部７０、第２領域情報受信部７２、第２領域決定部７４、撮影条件決定部７６、第１画像生成部７８、及び第２画像生成部８０を備える。一例として本実施形態のスマートフォン１２は、プロセッサ４０が記憶部４４に記憶されている制御プログラム４５を実行することにより、プロセッサ４０が撮影制御部６０、撮影画像取得部６２、表示制御部６４、画像送信部６６、視線検出部６８、第１領域決定部７０、第２領域情報受信部７２、第２領域決定部７４、撮影条件決定部７６、第１画像生成部７８、及び第２画像生成部８０として機能する。
撮影制御部６０は、カメラ２７による撮影画像の撮影を制御する機能を有する。撮影制御部６０は、ＡＲグラス１０のディスプレイ２０に表示された画像により第１のユーザが現実の世界１００を観察している間は、カメラ２７を制御して動画像として複数フレームの撮影画像を撮影する。
撮影画像取得部６２は、カメラ２７が撮影した撮影画像を取得する機能を有する。具体的には、撮影画像取得部６２は、カメラ２７が撮影した撮影画像１１０を表す画像データを、Ｉ／Ｆ部４３を介してカメラ２７から取得する。撮影画像取得部６２は、取得した撮影画像１１０を、表示制御部６４、画像送信部６６、第１画像生成部７８、及び第２画像生成部８０に、適宜、出力する。
表示制御部６４は、ＡＲグラス１０のディスプレイ２０に撮影画像１１０または第１画像１２０を表示する制御を行う機能を有する。
画像送信部６６は、画像表示装置１４に対して撮影画像１１０及び第２画像１４０を送信する機能を有する。具体的には、画像送信部６６は、撮影画像取得部６２が取得した撮影画像１１０を表す画像データを、Ｉ／Ｆ部４３を介して画像表示装置１４に送信する。また、画像送信部６６は、第２画像生成部８０が生成した第２画像１４０を表す画像データを、Ｉ／Ｆ部４３を介して画像表示装置１４に送信する。
視線検出部６８は、視線検出センサ２８の検出結果に基づいて、第１のユーザの右眼の視線方向を検出する機能を有する。視線検出部６８は、検出結果を第１領域決定部７０に出力する。
第１領域決定部７０は、視線検出部６８の検出結果に基づいて、撮影画像１１０内の第１領域１１２を決定する機能を有する。図７に示した場合では、視線検出部６８は、視線検出センサ２８の検出結果に基づいて、被写体１０２が存在する方向を視線方向として検出する。一例として、本実施形態では、視線検出センサ２８が検出した視線方向に対応する撮影画像１１０中の位置を中心位置とした所定の大きさの領域を第１領域１１２として決定する。なお、第１領域１１２として決定する所定の大きさは特に限定されず、例えば、ＡＲグラス１０の設計上、または実験的に予め定めておいてもよい。図７に示した例では、第１領域決定部７０によって決定された第１領域１１２には、被写体１０２に対応する被写体画像１０３が含まれている。第１領域決定部７０は、決定した第１領域１１２を表す情報を、撮影条件決定部７６及び第１画像生成部７８に出力する。
第２領域情報受信部７２は、画像表示装置１４から第２領域１１４を表す情報を受信する機能を有する。具体的には、第２領域情報受信部７２は、第２領域１１４を表す情報を、Ｉ／Ｆ部４３を介して画像表示装置１４から受信する。第２領域情報受信部７２は、受信した第２領域１１４を表す情報を第２領域決定部７４に出力する。
第２領域決定部７４は、第２領域１１４を表す情報に基づいて、撮影画像１１０内の第２領域１１４を決定する機能を有する。例えば、図７に示した場合では、第２領域情報受信部７２は、第２領域１１４を表す情報を画像表示装置１４から受信する。第２領域決定部７４は、第２領域情報受信部７２が受信した第２領域１１４を表す情報に基づいて、撮影画像１１０内の第２領域１１４を決定する。第２領域決定部７４は、決定した第２領域１１４を表す情報を、撮影条件決定部７６及び第２画像生成部８０に出力する。
撮影条件決定部７６は、図８に示すように、撮影画像１１０の第１領域１１２及び第２領域１１４に基づいて、第１画像１２０及び第２画像１４０の元となる撮影画像１１１をカメラ２７により撮影する撮影条件を決定する機能を有する。本実施形態の撮影条件決定部７６は、撮影画像１１０の第１領域１１２に含まれる被写体画像１０３に対応する被写体１０２の撮影、及び第２領域１１４に含まれる被写体画像１０５に対応する被写体１０４の撮影に適応するダイナミックレンジを撮影条件として決定する。撮影条件決定部７６は、決定した撮影条件を撮影制御部６０に出力する。なお、以下では、簡略化のため、第１領域１１２に含まれる被写体画像１０３に対応する被写体１０２について、「第１領域１１２に含まれる被写体１０２」といい、第２領域１１４に含まれる被写体画像１０５に対応する被写体１０４について、「第２領域１１４に含まれる被写体１０４」という。
第１画像生成部７８は、撮影条件決定部７６が決定した撮影条件によりカメラ２７によって撮影された撮影画像１１１から、第１領域決定部７０が決定した第１領域１１２に基づいて、第１画像１２０を生成する機能を有する。第１画像生成部７８は、生成した第１画像１２０を表示制御部６４に出力する。
第２画像生成部８０は、撮影条件決定部７６が決定した撮影条件によりカメラ２７によって撮影された撮影画像１１１から、第２領域決定部７４が決定した第２領域１１４に基づいて、第２画像１４０を生成する機能を有する。第２画像生成部８０は、生成した第２画像１４０を画像送信部６６に出力する。
一方、画像表示装置１４は、上述したように、第２のユーザが、ＡＲグラス１０のカメラ２７が撮影した撮影画像１１０や第２画像１４０を観察するために用いられる。
図９には、画像表示装置１４の機能に係る構成の一例を表す機能ブロック図が示されている。図９に示すように、画像表示装置１４は、プロセッサ５０、メモリ５２、Ｉ／Ｆ部５３、記憶部５４、ディスプレイ５６、及び入力装置５８を備える。プロセッサ５０、メモリ５２、Ｉ／Ｆ部５３、記憶部５４、ディスプレイ５６、及び入力装置５８は、システムバスやコントロールバス等のバス５９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ５０は、記憶部５４に記憶された表示制御プログラム５５を含む各種のプログラムをメモリ５２へ読み出し、読み出したプログラムにしたがった処理を実行する。メモリ５２は、プロセッサ５０が処理を実行するためのワークメモリである。
記憶部５４には、表示制御プログラム５５、及びスマートフォン１２から受信した各種画像の画像データや、その他の各種情報等が記憶される。記憶部５４の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。
Ｉ／Ｆ部５３は、無線通信または有線通信により、スマートフォン１２との間で各種情報の通信を行う。ディスプレイ５６及び入力装置５８はユーザインタフェースとして機能する。ディスプレイ５６は、スマートフォン１２から受信した各種の画像を表示する。ディスプレイ５６は特に限定されるものではなく、液晶モニタ及びＬＥＤモニタ等が挙げられる。また、入力装置５８は、第２領域１１４に関する各種の指示を入力するために第２のユーザによって操作される。入力装置５８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、ディスプレイ５６と入力装置５８とを一体化したタッチパネルディスプレイを採用してもよい。
図１０には、本実施形態の画像表示装置１４の機能に係る構成の一例を表す機能ブロック図が示されている。図１０に示すように画像表示装置１４は、画像受信部９０、表示制御部９２、第２領域情報受付部９４、及び第２領域情報送信部９６を備える。一例として本実施形態の画像表示装置１４は、プロセッサ５０が記憶部５４に記憶されている表示制御プログラム５５を実行することにより、プロセッサ５０が画像受信部９０、表示制御部９２、第２領域情報受付部９４、及び第２領域情報送信部９６として機能する。
画像受信部９０は、スマートフォン１２から、撮影画像１１０及び第２画像１４０を受信する機能を有する。具体的には、画像受信部９０は、撮影画像１１０を表す画像データまたは第２画像１４０を表す画像データを、Ｉ／Ｆ部５３を介してスマートフォン１２から受信する。画像受信部９０は、受信した撮影画像１１０及び第２画像１４０を表示制御部９２に出力する。
表示制御部９２は、画像受信部９０が受信した撮影画像１１０または第２画像１４０をディスプレイ５６に表示する制御を行う機能を有する。
第２領域情報受付部９４は、入力装置５８を用いて第２のユーザにより入力された第２領域１１４を表す情報を受け付ける機能を有する。第２領域情報受付部９４は、受け付けた第２領域１１４を表す情報を第２領域情報送信部９６に出力する。
第２領域情報送信部９６は、第２領域１１４を表す情報をスマートフォン１２に出力する機能を有する。具体的には、第２領域情報送信部９６は、第２領域情報受付部９４から入力された第２領域１１４を表す情報を、Ｉ／Ｆ部５３を介してスマートフォン１２に出力する。
次に、本実施形態のスマートフォン１２及び画像表示装置１４の作用を説明する。図１１には、本実施形態のスマートフォン１２により実行される制御処理、及び画像表示装置１４により実行される表示制御処理の一例を示すフローチャートが示されている。スマートフォン１２は、記憶部４４に記憶されている制御プログラム４５を実行することにより、図１１に示した制御処理を実行する。また、画像表示装置１４は、記憶部５４に記憶されている表示制御プログラム５５を実行することにより、図１１に示した表示制御処理を実行する。一例として本実施形態では、第１のユーザが入力装置４８により行ったＡＲグラス１０及び画像表示装置１４への撮影画像の表示指示をスマートフォン１２が受け付けた場合等に、図１１に示した制御処理及び表示制御処理が実行される。
図１１のステップＳ１００で撮影制御部６０は、カメラ２７に対して撮影画像１１０の撮影開始を指示する。カメラ２７は、スマートフォン１２から入力された撮影開始の指示に応じて、撮影を開始する。この場合、カメラ２７は、ＡＥ（Automatic Exposure）やＡＦ（Autofocus）等、予め定められた撮影条件に基づいて、所定のフレームレートで撮影画像１１０の撮影を行う。
次のステップＳ１０２で撮影画像取得部６２は、上述したように、スマートフォン１２から撮影画像１１０の取得を開始する。
次のステップＳ１０４で表示制御部６４は、ＡＲグラス１０のディスプレイ２０に対して上記ステップＳ１０２で取得した撮影画像１１０の表示を開始させるための撮影画像表示開始指示をＡＲグラス１０の左眼用ＯＬＥＤ２６Ｌ及び右眼用ＯＬＥＤ２６Ｒに出力する。
具体的には、撮影画像１１０をＡＲグラス１０のディスプレイ２０に表示させるために、上述したように表示制御部６４は、撮影画像１１０の部分画像である左眼用投影画像を左眼用ＯＬＥＤ２６Ｌに出力し、撮影画像１１０の部分画像である右眼用投影画像を右眼用ＯＬＥＤ２６Ｒに出力する。
次のステップＳ１０６で画像送信部６６は、上記ステップＳ１００で取得した撮影画像１１０を画像表示装置１４に送信する。詳細は後述するが、画像表示装置１４では、スマートフォン１２から受信した撮影画像１１０をディスプレイ５６に表示させ、第２のユーザから撮影画像１１０内の第２領域１１４を受け付け、スマートフォン１２に第２領域１１４を表す情報を送信する（ステップＳ２０６）。
そこで、次のステップＳ１０８で第２領域情報受信部７２は、画像表示装置１４から送信された第２領域１１４を表す情報を受信する。第２領域１１４を表す情報は、例えば、画像表示装置１４内における、第２領域１１４の位置及び大きさを表す座標の情報等が挙げられる。
次のステップＳ１１０で第２領域決定部７４は、第２領域情報受信部７２が受信した第２領域１１４を表す情報に基づいて、撮影画像１１０内の第２領域１１４を決定する。
次のステップＳ１１２で視線検出部６８は、視線検出センサ２８の検出結果に基づいて、第１のユーザの視線方向を検出する。
次のステップＳ１１４で第１領域決定部７０は、上記ステップＳ１１２で検出した第１ユーザの視線方向に基づいて、上述したように、撮影画像１１０内の第１領域１１２を決定する。
次のステップＳ１１６で撮影条件決定部７６は、撮影画像１１０内の第１領域１１２及び第２領域１１４を基準にして、撮影画像１１１を撮影させるための撮影条件を決定する。本実施形態の撮影条件決定部７６は、上述したように、第１領域１１２に写る被写体１０２の撮影及び第２領域１１４に写る被写体１０４の撮影の両方の撮影に適応するダイナミックレンジで撮影を行うための撮影条件を決定する。
次のステップＳ１１８で撮影制御部６０は、上記ステップＳ１１６で決定した撮影条件での撮影画像１１１の撮影開始を指示する。カメラ２７は、スマートフォン１２から入力された撮影開始の指示に応じて、指示された撮影条件を設定すると、撮影画像１１１の撮影を開始し、所定のフレームレートで撮影画像１１１の撮影を行う。
次のステップＳ１２０で撮影画像取得部６２は、上記ステップＳ１１８の撮影開始指示に応じてカメラ２７が撮影した撮影画像１１１を取得する。
次のステップＳ１２２で第１画像生成部７８は、上記ステップＳ１２０で取得した撮影画像１１１から、第１領域１１２に基づいて、第１画像１２０を生成する。一例として、本実施形態の第１画像生成部７８は、撮影画像１１１の第１領域１１２内の画素の輝度値に基づいて、撮影画像１１１の画素の輝度値をＡＲグラス１０用に調整して第１画像１２０を生成する。具体的には、本実施形態の第１画像生成部７８は、撮影画像１１１の第１領域１１２内の画素の輝度値を予め定められたＡＲグラス１０用の輝度値以上とするための倍率の最低値を導出し、撮影画像１１１の各画素の輝度値に、導出した最低値を乗算した値を各画素の輝度値とすることで、第１領域１１２を生成する。
次のステップＳ１２４で表示制御部６４は、上記ステップＳ１２２で生成した第１画像１２０をＡＲグラス１０のディスプレイ２０に表示させるための指示を行う。具体的には、第１画像１２０をＡＲグラス１０のディスプレイ２０に表示させるために、表示制御部６４は、第１画像１２０の部分画像である左眼用投影画像を左眼用ＯＬＥＤ２６Ｌに出力し、第１画像１２０の部分画像である右眼用投影画像を右眼用ＯＬＥＤ２６Ｒに出力する。
次のステップＳ１２６で第２画像生成部８０は、上記ステップＳ１２０で取得した撮影画像１１１から、上記ステップＳ１１０で決定した第２領域１１４に基づいて、第２画像１４０を生成する。一例として、本実施形態の第２画像生成部８０は、撮影画像１１１の第２領域１１４内の画素の輝度値に基づいて、撮影画像１１１の画素の輝度値を画像表示装置１４用に調整して第２画像１４０を生成する。具体的には、本実施形態の第２画像生成部８０は、撮影画像１１１の第２領域１１４内の画素の輝度値を予め定められた画像表示装置１４用の輝度値以上とするための倍率の最低値を導出し、撮影画像１１１の各画素の輝度値に、導出した最低値を乗算した値を各画素の輝度値とした画像表示装置１４用の撮影画像を生成する。また、一例として、本実施形態の第２画像１４０は、撮影画像１１１から、第２領域１１４の部分を切り出した部分画像としている。そのため、第２画像生成部８０は、画像表示装置１４用の撮影画像１１１から、第２領域１１４の部分を切り出して第２画像１４０を生成する。
次のステップＳ１２８で画像送信部６６は、上記ステップＳ１２６で生成した第２画像１４０を画像表示装置１４に送信する。詳細は後述するが、画像表示装置１４では、スマートフォン１２から受信した第２画像１４０をディスプレイ５６に表示させる（Ｓ２１０）。
次のステップＳ１３０で撮影画像取得部６２は、図１１に示した制御処理を終了するか否か判定する。本実施形態では、所定の終了条件を満たす場合に、図１１に示した制御処理を終了する。所定の終了条件としては、例えば、第１のユーザが入力装置４８により行ったＡＲグラス１０による第１画像１２０の表示終了の指示をスマートフォン１２が受け付けた場合等が挙げられる。所定の終了条件を満たすまで、ステップＳ１３０の判定が否定判定となり、ステップＳ１２０に戻りステップＳ１２０～Ｓ１２８の処理を繰り返す。一方、所定の終了条件を満たす場合、ステップＳ１３０の判定が肯定判定となり、ステップＳ１３２へ移行する。
ステップＳ１３２で画像送信部６６は、ＡＲグラス１０において第１画像１２０の表示を終了することを表す終了情報を画像表示装置１４に送信する。
次のステップＳ１３４で表示制御部６４は、ＡＲグラス１０のディスプレイ２０に表示されている第１画像１２０の表示を終了させるための指示をＡＲグラス１０に出力する。ステップＳ１３４の処理が終了すると、図１１に示した制御処理が終了する。
一方、画像表示装置１４では、図１１のステップＳ２００で画像受信部９０は、上述のスマートフォン１２において実行される制御処理のステップＳ１０６の処理によりスマートフォン１２から送信された撮影画像１１０の受信を開始する。
次のステップＳ２０２で表示制御部９２は、上記ステップＳ２００で取得した撮影画像１１０のディスプレイ５６への表示を開始する。第２のユーザは、ディスプレイ５６に表示された撮影画像１１０を観察し、入力装置５８を用いて撮影画像１１０内の第２領域１１４を指定する。
そこで、次のステップＳ２０４で第２領域情報受付部９４は、入力装置５８を用いて行われた第２領域１１４の指定を受け付けたか否かを判定する。第２領域１１４の指定を受け付けるまでステップＳ２０４の判定が否定判定となる。一方、第２領域１１４の指定を受け付けた場合、ステップＳ２０４の判定が肯定判定となり、ステップＳ２０６へ移行する。
ステップＳ２０６で第２領域情報送信部９６は、第２領域情報受付部９４が受け付けた第２領域１１４を表す情報をスマートフォン１２へ送信する。これにより、上述したように、制御処理のステップＳ１０８では、第２領域情報受信部７２が第２領域１１４を表す情報を受信する。
次のステップＳ２０８で画像受信部９０は、上述の制御処理のステップＳ１２８の処理によりスマートフォン１２から送信された第２画像１４０を受信する。
次のステップＳ２１０で表示制御部９２は、上記ステップＳ２０８で受信した第２画像１４０をディスプレイ５６に表示させる。なお、一例として本実施形態の表示制御部９２は、図６及び図８に示したように、撮影画像１１０と共に、第２画像１４０をディスプレイ５６に表示させる。
次のステップＳ２１２で画像受信部９０は、上述の制御処理のステップＳ１３２の処理によりスマートフォン１２から送信された終了情報を受信したか否かを判定する。終了情報を受信していない場合、ステップＳ２１２の判定が否定判定となり、ステップＳ２０８に戻り、ステップＳ２０８、Ｓ２１０の処理を繰り返す。一方、終了情報を受信した場合、ステップＳ２１２の判定が肯定判定となり、ステップＳ２１４へ移行する。
ステップＳ２１４で表示制御部９２は、ディスプレイ５６に表示されている第２画像１４０及び撮影画像１１０の表示を終了するか否か判定する。一例として本実施形態では、第２のユーザが入力装置５８により行った撮影画像１１０及び第２画像１４０の表示終了の指示を表示制御部９２が受け付けた場合に、撮影画像１１０及び第２画像１４０の表示を終了する。そこで、第２のユーザが入力装置５８により行った表示終了の指示を表示制御部９２が受け付けるまで、ステップＳ２１４の処理が否定判定となる。一方、第２のユーザが入力装置５８により行った表示終了の指示を表示制御部９２が受け付けるとステップＳ２１４の処理が肯定判定となり、ステップＳ２１６へ移行する。ステップＳ２１６で表示制御部９２は、ディスプレイ５６における撮影画像１１０及び第２画像１４０の表示を終了する。ステップＳ２１６の処理が終了すると、図１１に示した表示制御処理が終了する。
このように本実施形態のスマートフォン１２の撮影条件決定部７６は、第１領域１１２に写る被写体１０２の撮影及び第２領域１１４に写る被写体１０４の撮影に適応するダイナミックレンジを撮影条件として決定する。撮影制御部６０は、決定した撮影条件でカメラ２７により１枚の撮影画像１１１を撮影させる制御を行う。第１画像生成部７８は、１枚の撮影画像１１１から第１画像１２０を生成し、表示制御部６４は、ＡＲグラス１０のディスプレイ２０に第１画像１２０を表示させる制御を行う。また、第２画像生成部８０は、１枚の撮影画像１１１から第２画像１４０を生成し、画像送信部６６は、画像表示装置１４に第２画像１４０を出力する。
これにより、本実施形態のスマートフォン１２によれば、第１のユーザによる観察に適した第１画像１２０、及び第２のユーザによる観察に適した第２画像１４０をそれぞれに提供することができる。
［第２実施形態］
本実施形態の画像表示装置１４の構成は、第１実施形態の画像表示装置１４の構成（図９及び図１０参照）と同様であるため説明は省略する。また、ＡＲグラス１０の構成は、第１実施形態のＡＲグラス１０の構成（図１及び図２参照）と同様であるため説明は省略する。一方、本実施形態のスマートフォン１２のハードウェア構成は、第１実施形態のスマートフォン１２のハードウェア構成（図５参照）と同様である。一方、スマートフォン１２の機能に係る構成は、第１実施形態と同様に撮影制御部６０、撮影画像取得部６２、表示制御部６４、画像送信部６６、視線検出部６８、第１領域決定部７０、第２領域情報受信部７２、第２領域決定部７４、撮影条件決定部７６、第１画像生成部７８、及び第２画像生成部８０を備える（図７参照）が、その機能の一部が異なっているため、異なる機能について説明する。
本実施形態の撮影条件決定部７６は、図１２に示すように、カメラ２７の光学系の合焦位置を、撮影画像１１０の第１領域１１２（図１２では、図示省略）に写る被写体１０２にピントが合う第１合焦位置と、撮影画像１１０の第２領域１１４（図１２では、図示省略）に写る被写体１０４にピントが合う第２合焦位置との間の共通合焦位置に設定する。そして、撮影条件決定部７６は、共通合焦位置が設定された状態でカメラ２７により１枚の撮影画像１２１を撮影させる制御を行う。換言すると、撮影条件決定部７６は、カメラ２７の被写界深度を少なくとも被写体１０２及び被写体１０４が含まれる範囲とする。
第１画像生成部７８は、共通合焦位置が設定された状態でカメラ２７により撮影され、撮影画像取得部６２が取得した撮影画像１２１から第１画像１２０を得る。一例として、本実施形態の第１画像生成部７８は、撮影画像１２１を第１画像１２０とする。
第２画像生成部８０は、共通合焦位置が設定された状態でカメラ２７により撮影され、撮影画像取得部６２が取得した撮影画像１２１から第２領域１１４を切り出すことで第２画像１４０を生成する。
図１３には、本実施形態のスマートフォン１２により実行される制御処理、及び画像表示装置１４により実行される表示制御処理の一例を示すフローチャートが示されている。
図１３に示すように、本実施形態の画像表示装置１４が実行する表示制御処理は第１実施形態の画像表示装置１４が実行する表示制御処理（図１１参照）と同様の処理であるため説明は省略する。一方、本実施形態のスマートフォン１２が実行する制御処理は、図１３に示すように、第一実施形態のスマートフォン１２が実行する制御処理（図１１参照）と一部が異なっている。本実施形態のスマートフォン１２が実行する制御処理は、ステップＳ１１６に代わりステップＳ１１６Ａを備え、ステップＳ１２２を備えず、ステップＳ１２６に代わりステップＳ１２７を備える点で、第一実施形態のスマートフォン１２が実行する制御処理（図１１参照）と一部が異なっている。
図１３のステップＳ１０６Ａで撮影条件決定部７６は、撮影画像１１０内の第１領域１１２及び第２領域１１４を基準にして、撮影画像１１１を撮影させるための撮影条件を決定する。本実施形態の撮影条件決定部７６は、上述したように、カメラ２７の光学系の合焦位置を被写体１０２にピントが合う第１合焦位置と被写体１０４にピントが合う第２合焦位置との間の共通合焦位置とする撮影条件を決定する。
また、本実施形態の制御処理では、ステップＳ１２０で取得した、共通合焦位置が設定された状態でカメラ２７により撮影された撮影画像１２１を第１画像１２０としているため、上述したように第１実施形態の制御処理で実行されていたステップＳ１２２の処理が省略される。
また、ステップＳ１２７で第２画像生成部８０は、上記ステップＳ１２０で取得した撮影画像１２１から、第２領域１１４の部分を切り出して第２画像１４０を生成する。これにより、次のステップＳ１２８では、撮影画像１２１から切り出された第２画像１４０が画像表示装置１４に送信される。
このように、本実施形態のスマートフォン１２の撮影条件決定部７６は、撮影条件として、カメラ２７の光学系の共通合焦位置を、第１領域１１２に写る被写体１０２にピントが合う第１合焦位置と、第２領域１１４に写る被写体１０４にピントが合う第２合焦位置との間として決定する。撮影制御部６０は、共通合焦位置が設定された状態でカメラ２７により１枚の撮影画像１２１を撮影させる制御を行う。第１画像生成部７８は、撮影画像１２１を第１画像１２０とする。表示制御部６４は、ＡＲグラス１０のディスプレイ２０に第１画像１２０を表示させる制御を行う。また、第２画像生成部８０は、１枚の撮影画像１２１から第２画像１４０を切り出し、画像送信部６６は、画像表示装置１４に第２画像１４０を出力する。
これにより、本実施形態のスマートフォン１２によれば、第１のユーザによる観察に適した第１画像１２０、及び第２のユーザによる観察に適した第２画像１４０をそれぞれに提供することができる。
なお、本実施形態においても、撮影画像１２１に対して、ＡＲグラス１０のディスプレイ用の画像処理を施して第１画像１２０を生成し、また、画像表示装置１４のディスプレイ５６用の画像処理を施して第２画像１４０を生成してもよい。
［第３実施形態］
本実施形態の画像表示装置１４の構成は、第１実施形態の画像表示装置１４の構成（図９及び図１０参照）と同様であるため説明は省略する。また、ＡＲグラス１０の構成は、第１実施形態のＡＲグラス１０の構成（図１及び図２参照）と同様であるため説明は省略する。一方、本実施形態のスマートフォン１２のハードウェア構成は、第１実施形態のスマートフォン１２のハードウェア構成（図５参照）と同様である。一方、スマートフォン１２の機能に係る構成は、第１実施形態と同様に撮影制御部６０、撮影画像取得部６２、表示制御部６４、画像送信部６６、視線検出部６８、第１領域決定部７０、第２領域情報受信部７２、第２領域決定部７４、撮影条件決定部７６、第１画像生成部７８、及び第２画像生成部８０を備える（図７参照）が、その機能の一部が異なっているため、異なる機能について説明する。
本実施形態の撮影条件決定部７６は、図１４に示すように、被写体１０２に基づいて、カメラ２７の露出を制御する第１撮影条件と、被写体１０４に基づいて、カメラ２７の露出を制御する第２撮影条件とを撮影条件として決定する。
第１画像生成部７８は、被写体１０２に基づいて、カメラ２７の露出を制御する第１撮影条件によりカメラ２７により撮影された撮影画像１３１１を、第１画像１２０とする。本実施形態の撮影画像１３１１が、本開示の第１撮影画像の一例である。
第２画像生成部８０は、被写体１０４に基づいて、カメラ２７の露出を制御する第２撮影条件によりカメラ２７により撮影された撮影画像１３１２から第２領域１１４を切り出すことで第２画像１４０を生成する。本実施形態の撮影画像１３１２が、本開示の第２撮影画像の一例である。
図１５には、本実施形態のスマートフォン１２により実行される制御処理、及び画像表示装置１４により実行される表示制御処理の一例を示すフローチャートが示されている。
図１５に示すように、本実施形態の画像表示装置１４が実行する表示制御処理は第１実施形態の画像表示装置１４が実行する表示制御処理（図１１参照）と同様の処理であるため説明は省略する。一方、本実施形態のスマートフォン１２が実行する制御処理は、図１５に示すように、第一実施形態のスマートフォン１２が実行する制御処理（図１１参照）と一部が異なっている。本実施形態のスマートフォン１２が実行する制御処理は、ステップＳ１１０とステップＳ１１２との間にステップＳ１１１を備え、ステップＳ１１６に代わりステップＳ１１５を備え、ステップＳ１１６～Ｓ１２２の代わりにステップＳ１１７及びＳ１１９を備え、Ｓ１２６の代わりにステップＳ１２５Ａ、Ｓ１２５Ｂ、Ｓ１２７を備える点で、第一実施形態のスマートフォン１２が実行する制御処理（図１１参照）と一部が異なっている。
図１５のステップＳ１１１で撮影条件決定部７６は、上述したように、撮影画像１１０の第２領域１１４に含まれる被写体１０４に基づいて、カメラ２７の露出を制御する第２撮影条件を決定する。
また、図１５のステップＳ１１５で撮影条件決定部７６は、上述したように、撮影画像１１０の第１領域１１２に含まれる被写体１０２に基づいて、カメラ２７の露出を制御する第１撮影条件を決定する。
次のステップＳ１１７で撮影制御部６０は、上記ステップＳ１１５で決定した第１撮影条件での撮影画像１３１１の撮影（第１撮影）を指示する。カメラ２７は、スマートフォン１２から入力された第１撮影の指示に応じて、指示された第１撮影条件を設定すると、撮影画像１３１１の撮影を行う。
次のステップＳ１１９で撮影画像取得部６２は、上記ステップＳ１１７の第１撮影の指示に応じてカメラ２７が撮影した撮影画像１３１１を取得する。また、上述したように、第１画像生成部７８は、撮影画像１３１１を、第１画像１２０とする。これにより次のステップＳ１２４で表示制御部６４は、撮影画像１３１１である第１画像１２０をＡＲグラス１０のディスプレイ２０に表示させるための指示を行う。
また、図１５のステップＳ１２５Ａで撮影制御部６０は、上記ステップＳ１１１で決定した第２撮影条件での撮影画像１３１２の撮影（第２撮影）を指示する。カメラ２７は、スマートフォン１２から入力された第２撮影の指示に応じて、指示された第２撮影条件を設定すると、撮影画像１３１２撮影を行う。
次のＳ１２５Ｂで撮影画像取得部６２は、上記ステップＳ１２５Ａの第２撮影の指示に応じてカメラ２７が撮影した撮影画像１３１２を取得する。
次のステップＳ１２７で第２画像生成部８０は、上述したように、上記ステップＳ１２５Ｂで取得した撮影画像１３１２から、第２領域１１４の部分を切り出して第２画像１４０を生成する。これにより、次のステップＳ１２８では、撮影画像１３１２から切り出された第２画像１４０が画像表示装置１４に送信される。
このように、本実施形態のスマートフォン１２の撮影条件決定部７６は、第１撮影条件として、第１領域１１２に写る被写体１０２に基づいてカメラ２７の露出を決定する。撮影制御部６０は、第１撮影条件によりカメラ２７により第１撮影画像１３１１を撮影させる制御を行う。第１画像生成部７８は、第１撮影画像１３１１を第１画像１２０とし、表示制御部６４は、ＡＲグラス１０のディスプレイ２０に第１画像１２０を表示させる制御を行う。
また、撮影条件決定部７６は、第２撮影条件として、第２領域１１４に写る被写体１０４に基づいてカメラ２７の露出を決定する。撮影制御部６０は、第２撮影条件によりカメラ２７により第２撮影画像１３１２を撮影させる制御を行う。第２画像生成部８０は、第２撮影画像１３１２から第２画像１４０を切り出し、画像送信部６６は、画像表示装置１４に第２画像１４０を出力する。
これにより、本実施形態のスマートフォン１２によれば、第１のユーザによる観察に適した第１画像１２０、及び第２のユーザによる観察に適した第２画像１４０をそれぞれに提供することができる。
以上説明したように、本実施形態のスマートフォン１２は、プロセッサ４０を含む。プロセッサ４０は、ＡＲグラス１０のカメラ２７により撮影した撮影画像を、第１のユーザがＡＲグラス１０により観察し、かつ、第２のユーザがＡＲグラス１０と異なる画像表示装置１４で撮影画像を観察する場合に、撮影画像１１０内の第１領域１１２を基準にして撮影制御をして得られた第１画像１２０をＡＲグラス１０に出力し、撮影画像１１０内の第２領域１１４を基準にして撮影制御をして得られた第２画像１４０を画像表示装置１４に出力する制御を行う。
例えば、第１のユーザが観察する被写体１０２と、第２のユーザが観察する被写体１０４とが離間した位置にいる等、被写体１０２及び被写体１０４の周囲の環境が異なっており、撮影画像１１０の第１領域１１２及び第２領域１１４の見え方が異なる場合がある。このような場合であっても、本実施形態のスマートフォン１２によれば、ＡＲグラス１０を使用する第１のユーザによる観察に適した第１画像１２０、及び画像表示装置１４を使用する第２のユーザによる観察に適した第２画像１４０をそれぞれに提供することができる。
上記各形態では、本開示の眼鏡型表示装置の一例として、ＡＲグラス１０を適用した形態について説明したが、眼鏡型表示装置は、ＡＲグラス１０に限定されず、ヘッドマウントディスプレイのように種々の形態に適用できる。
また、「眼鏡型表示装置」における「眼鏡」という単語は、機能的に、画像を取得する第１センサ（人間の目）と、第１センサの視野を含み、かつ第１センサとほぼ同一の視線方向で撮影画像を取得する第２センサ（ＡＲグラス１０のカメラ２７）を実現することを意味している。なお、眼鏡型表示装置の形状は、一般的な眼鏡の形状や用途や装着部位に限定されない。また、眼鏡型表示装置は、単眼型でも複眼型でもよく、上記各形態では、両眼で、投影画像を視認する形態について示したが、一方の眼により投影画像を視認する形態であってもよい。ゴーグルのように左右がつながった形状でもよい。また、いわゆるヘッドマウントディスプレイのように、人間の頭部に装着するものに限定されない（例えば、人の機能を模しつつ、外形は犬であるロボットで、人間の目の機能が、ロボットの膝に有るカメラで実現されるならば、本開示の表示装置は膝に装着される。このような表示装置も、本開示の技術に含まれる。
また、上記各形態では、ＡＲグラス１０が１つのカメラ２７を備え、１つのカメラ２７が第１のユーザの視野全体に対応する撮影画像１１０、１１１を撮影する形態について説明したが、ＡＲグラス１０が備えるカメラは、本形態に限定されない。例えば、左眼用投影画像を撮影するカメラと、右眼用投影画像を撮影するカメラと、２つのカメラを備える形態としてもよい。この場合、左眼用投影画像及び右眼用投影画像の一方に第２領域１１４が含まれる場合、例えば、第３実施形態では、第２領域１１４が含まれる方の投影画像のみを撮影する形態としてもよい。
また、上記各形態では、第１ユーザと第２ユーザとが異なる場合について説明したが、第１ユーザと第２ユーザとは同一であってもよい。また、上記各形態では、第１ユーザと第２ユーザが、各々が単独の場合について説明したが、第１ユーザと第２ユーザは、各々が複数であってもよい。
また、上記各形態では、画像表示システム１が備える画像表示装置１４が１つの形態について説明したが、画像表示システム１が備える画像表示装置１４の数は限定されるものではない。画像表示システム１が複数の画像表示装置１４を備える場合、上記各形態で説明したスマートフォン１２が画像表示装置１４に対して行った動作を、画像表示システム１が備える各画像表示装置１４に対し、順次、行えばよい。
また、上記各形態では、それぞれ、第２画像１４０を、撮影画像１１１、１２１、１３１２の各々から切り出した画像としているが、本形態に限定されず、撮影画像１１１、１２１、１３１２を、第２画像１４０としてもよい。
また、上記各形態では、撮影制御部６０、撮影画像取得部６２、表示制御部６４、画像送信部６６、視線検出部６８、第１領域決定部７０、第２領域情報受信部７２、第２領域決定部７４、撮影条件決定部７６、第１画像生成部７８、及び第２画像生成部８０、の各機能をスマートフォン１２が備える形態としたが、これら各部の機能の一部または全部を他の装置が備える形態としてもよい。他の装置としては、例えば、画像表示装置１４であってもよいし、クラウド上に設けられたサーバコンピュータ等であってもよい。例えば、上記各形態では、スマートフォン１２が第２画像１４０を生成する形態としているが、第２画像１４０を生成するための情報と、撮影画像１１１、１２１、１３１２の各々とを画像表示装置１４に送信し、画像表示装置１４が、受信した第２画像１４０を生成するための情報に基づいて、撮影画像１１１、１２１、１３１２から第２画像１４０を生成する形態としてもよい。
また、上記各形態において、例えば、スマートフォン１２の撮影制御部６０、撮影画像取得部６２、表示制御部６４、画像送信部６６、視線検出部６８、第１領域決定部７０、第２領域情報受信部７２、第２領域決定部７４、撮影条件決定部７６、第１画像生成部７８、及び第２画像生成部８０、または画像表示装置１４の画像受信部９０、表示制御部９２、第２領域情報受付部９４、及び第２領域情報送信部９６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
また、上記各形態では、制御プログラム４５が記憶部４４に、また、表示制御プログラム５５が記憶部５４に予め記憶（インストール）されている態様を説明したが、これに限定されない。制御プログラム４５及び表示制御プログラム５５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、制御プログラム４５及び表示制御プログラム５５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１ 画像表示システム
１０ ＡＲグラス
１２ スマートフォン
１４ 画像表示装置
１９ ネットワーク
２０ ディスプレイ
２２Ｌ 左眼用レンズ、２２Ｒ 右眼用レンズ
２４Ｌ 左眼用導光板、２４Ｒ 右眼用導光板
２６Ｌ 左眼用ＯＬＥＤ、２６Ｒ 右眼用ＯＬＥＤ
２７ カメラ
２８ 視線検出センサ
４０、５０ プロセッサ
４２、５２ メモリ
４３、５３ Ｉ／Ｆ部
４４、５４ 記憶部
４５ 制御プログラム
４６、５６ ディスプレイ
４８、５８ 入力装置
４９、５９ バス
５５ 表示制御プログラム
６０ 撮影制御部
６２ 撮影画像取得部
６４ 表示制御部
６６ 画像送信部
６８ 視線検出部
７０ 第１領域決定部
７２ 第２領域情報受信部
７４ 第２領域決定部
７６ 撮影条件決定部
７８ 第１画像生成部
８０ 第２画像生成部
９０ 画像受信部
９２ 表示制御部
９４ 第２領域情報受付部
９６ 第２領域情報送信部
１００ 現実の世界
１０１、１１０、１１１、１２１、１３１１、１３１２ 撮影画像
１０１Ｌ 左眼用投影画像、１０１Ｒ 右眼用投影画像
１０２、１０４ 被写体
１０３、１０５ 被写体画像
１１２ 第１領域
１１４ 第２領域
１２０ 第１画像
１４０ 第２画像

Claims (9)

  1. 少なくとも１つのプロセッサを含み、
    前記プロセッサは、
    眼鏡型表示装置のカメラにより撮影した撮影画像を、第１のユーザが前記眼鏡型表示装置により観察し、かつ、第２のユーザが前記眼鏡型表示装置と異なる表示装置で前記撮影画像を観察する場合に、
    前記撮影画像内の第１領域を基準にして撮影制御をした第１画像を前記眼鏡型表示装置に出力し、
    前記撮影画像内の第２領域を基準にして撮影制御をした第２画像を前記表示装置に出力する制御を行う
    制御装置。
  2. 前記プロセッサは、
    前記撮影制御として、前記第１領域に写る被写体の撮影及び前記第２領域に写る被写体の撮影に適応するダイナミックレンジで前記カメラにより１枚の撮影画像を撮影させる制御を行い、
    前記１枚の撮影画像に応じた前記第１画像及び前記第２画像を出力する制御を行う
    請求項１に記載の制御装置。
  3. 前記プロセッサは、
    前記１枚の撮影画像の輝度値を前記眼鏡型表示装置用に調整して前記第１画像を生成し、
    前記１枚の撮影画像の輝度値を前記表示装置用に調整して前記第２画像を生成する
    請求項２に記載の制御装置。
  4. 前記プロセッサは、
    前記撮影制御として、前記カメラの光学系の合焦位置を、前記第１領域に写る被写体にピントが合う第１合焦位置と、前記第２領域に写る被写体にピントが合う第２合焦位置との間に設定し、前記合焦位置が設定された状態で前記カメラにより１枚の撮影画像を撮影させる制御を行い、
    前記１枚の撮影画像に応じた前記第１画像及び前記第２画像を出力する制御を行う
    請求項１に記載の制御装置。
  5. 前記プロセッサは、
    前記第１領域に写る被写体に基づいて前記カメラの露出を制御して撮影された第１の撮影画像を前記第１画像とし、
    前記第２領域に写る被写体に基づいて前記カメラの露出を制御して撮影された第２の撮影画像を前記第２画像とする、
    請求項１に記載の制御装置。
  6. 前記第２画像は、撮影画像から前記第２領域を切り出した部分画像である
    請求項１から請求項５のいずれか１項に記載の制御装置。
  7. 前記プロセッサは、
    視線検出装置によって検出された前記第１のユーザの視線に基づいて、前記第１領域を決定する
    請求項１から請求項６のいずれか１項に記載の制御装置。
  8. 制御装置が備えるプロセッサによる制御方法であって、
    眼鏡型表示装置のカメラにより撮影した撮影画像を、第１のユーザが前記眼鏡型表示装置により観察し、かつ、第２のユーザが前記眼鏡型表示装置と異なる表示装置で前記撮影画像を観察する場合に、
    前記撮影画像内の第１領域を基準にして撮影制御をした第１画像を前記眼鏡型表示装置に出力し、
    前記撮影画像内の第２領域を基準にして撮影制御をした第２画像を前記表示装置に出力する制御を行う、
    制御方法。
  9. 制御装置が備えるプロセッサが実行する画像処理プログラムであって、
    眼鏡型表示装置のカメラにより撮影した撮影画像を、第１のユーザが前記眼鏡型表示装置により観察し、かつ、第２のユーザが前記眼鏡型表示装置と異なる表示装置で前記撮影画像を観察する場合に、
    前記撮影画像内の第１領域を基準にして撮影制御をした第１画像を前記眼鏡型表示装置に出力し、
    前記撮影画像内の第２領域を基準にして撮影制御をした第２画像を前記表示装置に出力する制御を行う、
    制御プログラム。
JP2022050808A 2022-03-25 2022-03-25 制御装置、制御方法、及び制御プログラム Pending JP2023143437A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022050808A JP2023143437A (ja) 2022-03-25 2022-03-25 制御装置、制御方法、及び制御プログラム
EP23162119.4A EP4250754A1 (en) 2022-03-25 2023-03-15 Control device, control method, and control program
CN202310286257.7A CN116805964A (zh) 2022-03-25 2023-03-22 控制装置、控制方法及存储介质
US18/188,833 US12135912B2 (en) 2022-03-25 2023-03-23 Control device, control method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022050808A JP2023143437A (ja) 2022-03-25 2022-03-25 制御装置、制御方法、及び制御プログラム

Publications (1)

Publication Number Publication Date
JP2023143437A true JP2023143437A (ja) 2023-10-06

Family

ID=85703822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022050808A Pending JP2023143437A (ja) 2022-03-25 2022-03-25 制御装置、制御方法、及び制御プログラム

Country Status (3)

Country Link
EP (1) EP4250754A1 (ja)
JP (1) JP2023143437A (ja)
CN (1) CN116805964A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
US10112111B2 (en) 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US20170308157A1 (en) * 2016-04-25 2017-10-26 Seiko Epson Corporation Head-mounted display device, display system, control method for head-mounted display device, and computer program
JP6919222B2 (ja) * 2017-02-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法

Also Published As

Publication number Publication date
US20230305793A1 (en) 2023-09-28
CN116805964A (zh) 2023-09-26
EP4250754A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
WO2015051605A1 (zh) 图像采集定位方法及图像采集定位装置
US11612317B2 (en) Ophthalmic surgery using light-field microscopy
US9990037B1 (en) Display apparatus and method using portable electronic device
WO2012001970A1 (ja) 画像処理装置および方法並びにプログラム
JP2016134668A (ja) 電子眼鏡および電子眼鏡の制御方法
CN110088662B (zh) 成像系统和产生背景图像和聚焦图像的方法
CN109255838B (zh) 避免增强现实显示设备观看重影的方法及设备
WO2020189450A1 (ja) 複数のマーカを備えたデバイス
JP2023143437A (ja) 制御装置、制御方法、及び制御プログラム
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
US12135912B2 (en) Control device, control method, and control program
US20220252884A1 (en) Imaging system, display device, imaging device, and control method for imaging system
JP2024018720A (ja) 画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム
JP2024018719A (ja) 制御装置、眼鏡型情報表示装置、制御方法、及び制御プログラム
US12058452B2 (en) Image blending
EP4387220A1 (en) Head-mounted electronic device with display recording capability
JP6705929B2 (ja) 表示制御装置及び表示制御方法
CN118574016A (zh) 处理器、显示控制方法及记录介质
JP2022140424A (ja) 撮像装置及びその制御方法並びにプログラム
CN117808993A (zh) 处理器、信息处理方法及非暂时性存储介质
JP2016133541A (ja) 電子眼鏡および電子眼鏡の制御方法
JP2024017297A (ja) 撮像装置、ウェアラブルデバイス、制御方法、プログラムおよびシステム
JP2022183552A (ja) 視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体