JP2012108379A - Information display system, device, method and program - Google Patents
Information display system, device, method and program Download PDFInfo
- Publication number
- JP2012108379A JP2012108379A JP2010258148A JP2010258148A JP2012108379A JP 2012108379 A JP2012108379 A JP 2012108379A JP 2010258148 A JP2010258148 A JP 2010258148A JP 2010258148 A JP2010258148 A JP 2010258148A JP 2012108379 A JP2012108379 A JP 2012108379A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- information
- area
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本発明は、字幕等の情報を表示する情報表示システム、ヘッドマウントディスプレイ装置、ウェアラブル端末、情報表示方法及び情報表示プログラムに関する。 The present invention relates to an information display system that displays information such as subtitles, a head-mounted display device, a wearable terminal, an information display method, and an information display program.
特許文献１には、表示装置において使用者の視線が向いている領域の表示を目立つようにする方法が記載されている。 Patent Document 1 describes a method of making a display of an area in which a user's line of sight is facing in a display device stand out.
特許文献１に記載された方法では、使用者の視線を検出し、検出した使用者の視線が、使用者が見ている表示手段の画面上におけるいずれの領域を注視しているのか検出し、使用者の視線に応じて所定の領域における表示の形態を変化させるように制御する。 In the method described in Patent Document 1, the line of sight of the user is detected, and the detected line of sight of the user detects which area on the screen of the display means the user is looking at. Control is performed so as to change the display form in a predetermined region in accordance with the line of sight of the user.
特許文献１に記載された方法を用いれば、表示装置において使用者の視線が向いている領域の表示を目立つようにすることができる。しかし、特許文献１に記載された方法は、表示装置が表示する情報を目立つようにしているに過ぎず、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為（例えば、演劇や演奏）を鑑賞する場において、鑑賞者に対して字幕など舞台に付随する情報を適切に表示する用途には適用できない。 By using the method described in Patent Document 1, it is possible to make the display of a region where the user's line of sight is facing in the display device stand out. However, the method described in Patent Document 1 only makes the information displayed by the display device stand out, and the performance performed by the viewer on the stage like a theater or a concert venue (for example, theater or performance) ) Is not applicable to the purpose of appropriately displaying information accompanying the stage such as captions to the viewer.
鑑賞者に対して字幕など舞台に付随する情報を表示する手段としては、舞台の端に電光掲示板を設置する方式・鑑賞者の手元にある小型モニターに字幕を表示する方式・非透過型のヘッドマウントディスプレイ装置に字幕を表示させる方式など、様々な表示デバイスを活用した方式が実施されている。 As a means of displaying information attached to the stage such as subtitles to viewers, a method of installing an electric bulletin board at the end of the stage, a method of displaying subtitles on a small monitor at hand of the viewer, a non-transparent head Various methods using a display device such as a method for displaying subtitles on a mount display device have been implemented.
ただし、いずれの方式を採用しても、舞台と字幕情報とを融合させて見る事、すなわち舞台と字幕情報とを継ぎ目のない状態で見る事ができず、鑑賞者は舞台と字幕情報とを交互に見るために頭や視線を動かし続ける必要がある。 However, no matter which method is adopted, it is not possible to see the stage and subtitle information together, that is, the stage and subtitle information cannot be seen seamlessly. It is necessary to keep moving the head and line of sight to see alternately.
一方、透過型ヘッドマウントディスプレイ装置を用いるようにすることも考えられる。そのようにすれば、鑑賞者は自分の視界とヘッドマウントディスプレイ装置が表示する字幕情報とを融合させた形で見る事が可能となり、頭や目線を移動することなく舞台と字幕情報とを同時に見る事ができる。 On the other hand, it is also conceivable to use a transmissive head-mounted display device. In this way, the viewer can view his / her field of view and subtitle information displayed on the head-mounted display device in a fused form, and simultaneously view the stage and subtitle information without moving the head or line of sight. I can see it.
しかしながら、透過型のヘッドマウントディスプレイ装置を用いる場合には、背景の明るさによって表示する字幕情報の視認しやすさが左右されるという問題がある。例えば、照明でライトアップされた舞台のように、背景が明るい場所で透過型ヘッドマウントディスプレイ装置が字幕情報を表示すると、表示した字幕情報と背景とのコントラストが小さくなり、字幕情報を視認しづらくなる。 However, when a transmissive head-mounted display device is used, there is a problem that the visibility of the caption information displayed depends on the brightness of the background. For example, when a transmissive head-mounted display device displays subtitle information in a bright background such as a stage lit up by illumination, the contrast between the displayed subtitle information and the background becomes small, making it difficult to visually recognize the subtitle information. Become.
そこで、本発明は、舞台上で行われる営為等の鑑賞者に対して、視認しやすい状態で字幕等の情報を表示することができる情報表示システム、ヘッドマウントディスプレイ装置、ウェアラブル端末、情報表示方法及び情報表示プログラムを提供することを目的とする。 Therefore, the present invention provides an information display system, a head-mounted display device, a wearable terminal, and an information display method capable of displaying information such as subtitles in an easy-to-view state for viewers who perform activities on the stage. And an information display program.
本発明による情報表示システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置と、ユーザの目線方向を撮影する撮影手段と、撮影手段が撮影したユーザの目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、ヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段とを備えたことを特徴とする。 An information display system according to the present invention is based on a head-mounted display device capable of displaying predetermined information, an imaging unit that captures a user's eye direction, and an image in the user's eye direction captured by the imaging unit. A display control means for specifying an image area having low brightness and controlling to display predetermined information in an area corresponding to the specified image area in the image among display areas of the head mounted display device; Features.
本発明によるウェアラブル端末は、撮影手段が撮影したユーザの目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段を備えたことを特徴とする。 The wearable terminal according to the present invention specifies an image area with low brightness in an image based on an image in a user's eye direction captured by an imaging unit, and includes a display area of a head mounted display device capable of displaying predetermined information. The image processing apparatus includes a display control unit that performs control so that predetermined information is displayed in an area corresponding to the specified image area in the image.
本発明によるヘッドマウントディスプレイ装置は、所定の情報を表示可能なヘッドマウントディスプレイ装置であって、撮影手段が撮影したユーザの目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、当該ヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段を備えたことを特徴とする。 A head-mounted display device according to the present invention is a head-mounted display device capable of displaying predetermined information, and specifies an image region with low brightness in an image based on an image in a user's line-of-sight direction taken by a photographing unit. The display control means includes display control means for controlling to display predetermined information in an area corresponding to the specified image area in the image of the display area of the head mounted display device.
本発明による情報表示方法は、撮影手段が撮影したユーザの目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御することを特徴とする。 An information display method according to the present invention specifies an image area having low brightness in an image based on an image in a user's eye direction captured by an imaging unit, and displays a display area of a head-mounted display device capable of displaying predetermined information. Among these, control is performed such that predetermined information is displayed in an area corresponding to the specified image area in the image.
本発明による情報表示プログラムは、コンピュータに、撮影手段が撮影したユーザの目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する表示制御処理を実行させることを特徴とする。 An information display program according to the present invention is a head mounted display device capable of identifying a low-lightness image area in an image and displaying predetermined information on a computer based on an image in a user's eye direction captured by an imaging unit. A display control process for controlling to display predetermined information in an area corresponding to the specified image area in the image among the display areas is performed.
本発明によれば、舞台上で行われる営為等の鑑賞者に対して、視認しやすい状態で字幕等の情報を表示することができる。 ADVANTAGE OF THE INVENTION According to this invention, information, such as a caption, can be displayed in a state where it is easy to visually recognize for a viewer who performs on the stage.
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による情報表示システムの実施形態の一例を示す説明図である。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is an explanatory diagram showing an example of an embodiment of an information display system according to the present invention.
図１に示すように、本発明による情報表示システムは、無線通信等で各ウェアラブル端末２３に字幕等の情報を配信するサーバ装置１１、鑑賞者の目線方向を撮影するカメラ２１、字幕等の情報を表示するヘッドマウントディスプレイ装置２２およびサーバ装置１１と通信可能な通信手段を有するウェアラブル端末２３を含む。なお、情報表示システムは、ウェアラブル端末２３に限らず、通信可能な他の携帯端末を含むようにしてもよい。また、本実施形態では、舞台上で行われる営為等の鑑賞者に字幕等の情報を表示する例について説明するが、これに限らず、例えば、スポーツを観戦するような場面に適用してもよい。 As shown in FIG. 1, the information display system according to the present invention includes a server device 11 that distributes information such as subtitles to each wearable terminal 23 by wireless communication, a camera 21 that captures the viewer's eye direction, and information such as subtitles. And a wearable terminal 23 having communication means capable of communicating with the server device 11. Note that the information display system is not limited to the wearable terminal 23 and may include other portable terminals that can communicate. Further, in this embodiment, an example in which information such as captions is displayed to an audience such as an activity performed on the stage will be described. However, the present invention is not limited to this, and for example, the present invention may be applied to a scene of watching sports. Good.
サーバ装置１１は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置１１は、無線通信等でウェアラブル端末２３に字幕等の情報を配信する機能を備えている。 Specifically, the server device 11 is realized by an information processing device such as a personal computer that operates according to a program. The server device 11 has a function of distributing information such as captions to the wearable terminal 23 by wireless communication or the like.
図２は、鑑賞者が装着する装置の一例を示す説明図である。図２に示すように、鑑賞者は、カメラ２１、ヘッドマウントディスプレイ装置２２およびウェアラブル端末２３を装着している。なお、カメラ２１とヘッドマウントディスプレイ装置２２とは、ウェアラブル端末２３と相互に接続されている。 FIG. 2 is an explanatory diagram illustrating an example of a device worn by a viewer. As shown in FIG. 2, the viewer wears a camera 21, a head mounted display device 22, and a wearable terminal 23. The camera 21 and the head mounted display device 22 are mutually connected to the wearable terminal 23.
カメラ２１は、鑑賞者の目線方向を撮影する機能を備えている。また、カメラ２１は、鑑賞者の目線方向を撮影した目線画像（例えば、動画像や静止画像）を画像情報受信手段２３２に出力する機能を備えている。目線画像は、鑑賞者の目線方向を撮影した画像であるので、鑑賞者の視野を表していると推定できる。 The camera 21 has a function of photographing the viewing direction of the viewer. Further, the camera 21 has a function of outputting a line-of-sight image (for example, a moving image or a still image) obtained by capturing the direction of the line of sight of the viewer to the image information receiving unit 232. Since the line-of-sight image is an image obtained by photographing the viewer's line-of-sight direction, it can be estimated that the line-of-sight image represents the viewer's field of view.
なお、本実施形態では、カメラ２１がヘッドマウントディスプレイ装置２２に搭載されている形態を例に説明するが、これに限らず、例えばヘッドマウントディスプレイ装置２２とは別の装置としてカメラを鑑賞者の頭部に装着するような形態であってもよい。 In this embodiment, an example in which the camera 21 is mounted on the head-mounted display device 22 will be described as an example. However, the present invention is not limited to this. For example, the camera is used as a device different from the head-mounted display device 22. It may be configured to be worn on the head.
また、本実施形態では、図２に示すようにメガネ型のヘッドマウントディスプレイ装置２２を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、ヘッドマウントディスプレイ装置２２は、少なくとも透過型であって、例えば、網膜上に映像を投影する方式やハーフミラーを用いた光学方式等で情報を表示する。本実施形態では、一般的な用法に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。 Further, in the present embodiment, the glasses-type head mounted display device 22 is used as shown in FIG. 2. However, the present invention is not limited thereto, and may be a helmet type, for example, as long as it can be mounted on the head. The head mounted display device 22 is at least a transmission type, and displays information by, for example, a method of projecting an image on the retina or an optical method using a half mirror. In the present embodiment, in accordance with general usage, glasses-type, helmet-type, retinal irradiation-type, optical-type, and the like are collectively referred to as a head-mounted display device.
図３は、情報表示システムの機能構成の一例を示す機能ブロック図である。図３に示すように、携帯可能なウェアラブル端末２３は、表示情報受信手段２３１、画像情報受信手段２３２、明るさ判定手段２３３、表示禁止領域決定手段２３４、表示レイアウト決定手段２３５および表示情報出力手段２３６を含む。また、ヘッドマウントディスプレイ装置２２は、表示制御手段２２１を含む。 FIG. 3 is a functional block diagram illustrating an example of a functional configuration of the information display system. As shown in FIG. 3, the portable wearable terminal 23 includes a display information receiving unit 231, an image information receiving unit 232, a brightness determining unit 233, a display prohibited area determining unit 234, a display layout determining unit 235, and a display information output unit. 236. The head mounted display device 22 includes display control means 221.
表示情報受信手段２３１は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。表示情報受信手段２３１は、サーバ装置１１が無線通信等で配信する表示すべき字幕等の情報（以下、表示情報ともいう）を受信する機能を備えている。 Specifically, the display information receiving unit 231 is realized by a network interface unit of an information processing terminal that operates according to a program. The display information receiving unit 231 has a function of receiving information such as subtitles to be displayed (hereinafter also referred to as display information) distributed by the server device 11 through wireless communication or the like.
画像情報受信手段２３２は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。画像情報受信手段２３２は、カメラ２１が出力する目線画像を受信する機能を備えている。 Specifically, the image information receiving unit 232 is realized by a network interface unit of an information processing terminal that operates according to a program. The image information receiving unit 232 has a function of receiving a line-of-sight image output from the camera 21.
明るさ判定手段２３３は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。明るさ判定手段２３３は、画像中の各領域の明るさを所定の単位（例えば、ピクセル単位など）ごとに判定する機能を備えている。例えば、明るさ判定手段２３３は、ピクセルごとに、明るさを示す値を求め、予め定められた所定の閾値以上であるか否かを判定する。 Specifically, the brightness determination unit 233 is realized by a CPU of an information processing terminal that operates according to a program. The brightness determination unit 233 has a function of determining the brightness of each region in the image for each predetermined unit (for example, pixel unit). For example, the brightness determination unit 233 obtains a value indicating brightness for each pixel and determines whether or not the value is equal to or greater than a predetermined threshold value.
表示禁止領域決定手段２３４、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。表示禁止領域決定手段２３４は、明るさ判定手段２３３の判定結果に基づいて、画像中の字幕等の情報の表示を禁止する領域（以下、表示禁止領域ともいう）を決定する機能を備えている。例えば、表示禁止領域決定手段２３４は、明るさを示す値が所定の閾値以上の領域（明るい部分）を表示禁止領域と決定する。 The display prohibition area determination means 234, specifically, is realized by a CPU of an information processing terminal that operates according to a program. The display prohibited area determining unit 234 has a function of determining an area for prohibiting display of information such as captions in an image (hereinafter also referred to as a display prohibited area) based on the determination result of the brightness determining unit 233. . For example, the display prohibited area determining unit 234 determines an area (bright portion) in which the value indicating brightness is equal to or greater than a predetermined threshold as a display prohibited area.
なお、本実施形態では、明るさ判定手段２３３の判定結果に基づいて、画像中の字幕等の情報の表示禁止領域を決定する処理を実行するが、例えば、明るさ判定手段２３３の判定結果に基づいて、画像中の字幕等の情報の表示可能領域を決定する処理を実行するようにしてもよい。この場合には、例えば、ウェアラブル端末２３は、明るさを示す値が所定の閾値以下の領域（暗い部分）を表示可能領域と決定し、表示可能領域に基づいて、後述する表示レイアウトを決定する。 In the present embodiment, processing for determining a display prohibited area for information such as captions in an image is executed based on the determination result of the brightness determination unit 233. For example, the determination result of the brightness determination unit 233 Based on this, processing for determining a displayable area for information such as subtitles in an image may be executed. In this case, for example, the wearable terminal 23 determines an area (dark part) in which the value indicating brightness is a predetermined threshold value or less as a displayable area, and determines a display layout to be described later based on the displayable area. .
表示レイアウト決定手段２３５は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。表示レイアウト決定手段２３５は、表示禁止領域を示す情報（以下、表示禁止領域情報）に基づいて、ヘッドマウントディスプレイ装置２２で字幕等の情報を表示する際のレイアウトを決定する機能を備えている。 Specifically, the display layout determining unit 235 is realized by a CPU of an information processing terminal that operates according to a program. The display layout determining means 235 has a function of determining a layout for displaying information such as subtitles on the head mounted display device 22 based on information indicating a display prohibited area (hereinafter, display prohibited area information).
表示レイアウト決定手段２３５は、例えば、表示禁止領域と重ならないように字幕等の情報の表示位置を決定する。具体的には、表示レイアウト決定手段２３５は、ヘッドマウントディスプレイ装置２２の表示領域のうち、画像中の表示禁止領域以外の領域に対応する表示領域に字幕等の情報を表示するように表示位置を決定する。また、例えば、表示レイアウト決定手段２３５は、字幕等の情報の表示形態（例えば、文字の向きや色彩等）を含むレイアウトを決定する。 For example, the display layout determining unit 235 determines the display position of information such as subtitles so as not to overlap the display prohibited area. Specifically, the display layout determining means 235 sets the display position so as to display information such as captions in a display area corresponding to an area other than the display prohibited area in the image among the display areas of the head mounted display device 22. decide. Further, for example, the display layout determining unit 235 determines a layout including a display form of information such as subtitles (for example, the direction of characters and colors).
また、表示禁止領域決定手段２３４が表示可能領域を決定した場合には、表示レイアウト決定手段２３５は、ヘッドマウントディスプレイ装置２２の表示領域のうち、画像中の表示可能領域に対応する表示領域に字幕等の情報を表示するように表示位置を決定する。 When the display prohibition area determination unit 234 determines the displayable area, the display layout determination unit 235 subtitles the display area corresponding to the displayable area in the image among the display areas of the head mounted display device 22. The display position is determined so as to display such information.
ここで、表示レイアウト決定手段２３５が実行する処理の一例を示す。まず、カメラ２１が撮影する鑑賞者の目線方向の画像の座標（以下、画像座標）と、ヘッドマウントディスプレイ装置２２が情報の表示位置を特定するための座標（以下、表示座標）とを、予め対応づけて記憶部に記憶させておく。そして、表示レイアウト決定手段２３５は、画像座標において、表示禁止領域以外の領域から、字幕等の情報を表示可能な位置を特定する。次いで、表示レイアウト決定手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示レイアウト決定手段２３５は、表示座標において特定した位置を示す位置情報を含むレイアウトの情報（以下、表示レイアウト情報）を表示情報出力手段２３６に出力する。 Here, an example of processing executed by the display layout determining unit 235 is shown. First, the coordinates (hereinafter referred to as image coordinates) of the image of the viewer's eye direction captured by the camera 21 and the coordinates (hereinafter referred to as display coordinates) for the head mounted display device 22 to specify the information display position are preliminarily set. The data are stored in the storage unit in association with each other. Then, the display layout determining unit 235 specifies a position where information such as subtitles can be displayed from an area other than the display prohibited area in the image coordinates. Next, the display layout determining unit 235 specifies the position specified in the image coordinates in the display coordinates associated with the image coordinates. Then, the display layout determining unit 235 outputs layout information (hereinafter referred to as display layout information) including position information indicating the position specified in the display coordinates to the display information output unit 236.
また、例えば、表示禁止領域決定手段２３４が表示可能領域を決定した場合には、表示レイアウト決定手段２３５は、画像座標において、表示禁止可能領域から、字幕等の情報を表示可能な位置を特定する。次いで、表示レイアウト決定手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示レイアウト決定手段２３５は、表示座標において特定した位置を示す位置情報を含むレイアウトの情報（以下、表示レイアウト情報）を表示情報出力手段２３６に出力する。 For example, when the display prohibition area determination unit 234 determines the displayable area, the display layout determination unit 235 specifies a position where information such as captions can be displayed from the display prohibition area in the image coordinates. . Next, the display layout determining unit 235 specifies the position specified in the image coordinates in the display coordinates associated with the image coordinates. Then, the display layout determining unit 235 outputs layout information (hereinafter referred to as display layout information) including position information indicating the position specified in the display coordinates to the display information output unit 236.
表示情報出力手段２３６は、プログラムに従って動作する情報処理端末のＣＰＵ及びネットワークインターフェース部によって実現される。表示情報出力手段２３６は、ヘッドマウントディスプレイ装置２２に字幕等の情報とともに、レイアウトを示す情報（以下、表示レイアウト情報）を出力する機能を備えている。 The display information output unit 236 is realized by a CPU and a network interface unit of an information processing terminal that operates according to a program. The display information output means 236 has a function of outputting information indicating the layout (hereinafter referred to as display layout information) together with information such as captions to the head mounted display device 22.
表示制御手段２２１は、表示情報出力手段２３６が出力した表示レイアウト情報に基づいて、字幕等の情報を表示する機能を備えている。具体的には、表示制御手段２２１は、表示レイアウト情報に含まれる表示座標において特定した位置情報に基づいて、字幕等の情報を表示する。 The display control unit 221 has a function of displaying information such as subtitles based on the display layout information output by the display information output unit 236. Specifically, the display control unit 221 displays information such as subtitles based on the position information specified in the display coordinates included in the display layout information.
以上の各手段が処理を実行することにより、ウェアラブル端末２３は、カメラ２１が撮影した鑑賞者の目線方向の画像中の明るい部分を、表示禁止領域として特定する。そして、ウェアラブル端末２３は、字幕等の情報を、特定した表示禁止領域以外の場所に表示させるように、ヘッドマウントディスプレイ装置２２に出力する。 The wearable terminal 23 identifies a bright portion in the image of the viewer's line of sight photographed by the camera 21 as a display-prohibited region by executing the above-described means. The wearable terminal 23 then outputs information such as captions to the head mounted display device 22 so as to be displayed in a place other than the specified display prohibited area.
なお、図３に示される構成に限らず、例えば、サーバ装置１１が、上記の明るさ判定手段２３３、表示禁止領域決定手段２３４、表示レイアウト決定手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、カメラ２１から受信した画像をサーバ装置１１に送信する。すると、サーバ装置１１は、受信した画像に基づいて表示レイアウトを決定し、表示レイアウト情報とともに表示情報をウェアラブル端末２３に送信する。 3, for example, the server apparatus 11 includes a part or all of the brightness determination unit 233, the display prohibited area determination unit 234, and the display layout determination unit 235. There may be. In this case, for example, the wearable terminal 23 transmits the image received from the camera 21 to the server device 11. Then, the server apparatus 11 determines a display layout based on the received image, and transmits the display information to the wearable terminal 23 together with the display layout information.
また、例えば、ヘッドマウントディスプレイ装置２３が、上記の明るさ判定手段２３３、表示禁止領域決定手段２３４、表示レイアウト決定手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、サーバ装置１１から受信した表示情報とともに、カメラ２１から受信した画像をヘッドマウントディスプレイ装置２３送信する。すると、ヘッドマウントディスプレイ装置２３は、受信した画像に基づいて表示レイアウトを決定し、決定した表示レイアウトに従って表示情報を表示する。 Further, for example, the head mounted display device 23 may be configured to include a part or all of the brightness determination unit 233, the display prohibited area determination unit 234, and the display layout determination unit 235. In this case, for example, the wearable terminal 23 transmits the image received from the camera 21 together with the display information received from the server device 11 to the head mounted display device 23. Then, the head mounted display device 23 determines a display layout based on the received image, and displays display information according to the determined display layout.
次に、カメラが撮影した鑑賞者の目線方向の画像について図面を参照して説明する。図４は、カメラが撮影した鑑賞者の目線方向の画像の一例を示す説明図である。図４では、カメラが撮影した鑑賞者の目線方向の画像を領域３１で示している。また、ウェアラブル端末２３がこの領域３１を解析した結果、明るい領域として特定した部分を領域３２として示している。 Next, an image in the viewing direction of the viewer taken by the camera will be described with reference to the drawings. FIG. 4 is an explanatory diagram illustrating an example of an image of the viewer's eye direction taken by the camera. In FIG. 4, an image in the direction of the viewer's eyes taken by the camera is indicated by a region 31. Further, as a result of analysis of the area 31 by the wearable terminal 23, a portion specified as a bright area is indicated as an area 32.
図４に示す例では、ウェアラブル端末２３は、背景の明るい領域（領域３２）を、表示禁止領域と決定する。したがって、ヘッドマウントディスプレイ装置２２は、領域３１から領域３２を差し引いた残りの領域に字幕等の情報を表示する。 In the example illustrated in FIG. 4, the wearable terminal 23 determines a bright background area (area 32) as a display prohibited area. Therefore, the head mounted display device 22 displays information such as subtitles in the remaining area obtained by subtracting the area 32 from the area 31.
次に、字幕等の情報の表示イメージについて図面を参照して説明する。図５は、字幕等の情報の表示イメージの一例を示す説明図である。 Next, a display image of information such as captions will be described with reference to the drawings. FIG. 5 is an explanatory diagram illustrating an example of a display image of information such as captions.
図５に示すように、ヘッドマウントディスプレイ装置２２は、背景が暗い領域にのみ字幕を表示している。したがって、鑑賞者は、表示された字幕とその奥にある舞台とを同時に見る事が可能となる。 As shown in FIG. 5, the head mounted display device 22 displays subtitles only in an area where the background is dark. Therefore, the viewer can view the displayed subtitle and the stage behind it at the same time.
なお、ウェアラブル端末２３は、カメラ２１が撮影した鑑賞者の目線方向の画像の明るさ判定処理等を随時実行している。そのため、鑑賞者が首を動かした場合、すなわち、カメラ２１が撮影した鑑賞者の目線方向の画像が変化した場合には、字幕の表示位置は変更される。 The wearable terminal 23 executes brightness determination processing of an image in the direction of the viewer's eyes taken by the camera 21 as needed. Therefore, when the viewer moves his / her neck, that is, when the image of the viewer's line of sight captured by the camera 21 changes, the subtitle display position is changed.
鑑賞者が目線を動かした場合の情報を表示する位置の変化について、図面を参照して説明する。図６は、目線を動かす前の情報の表示イメージの一例を示す説明図である。図７は、目線を動かした後の情報の表示イメージの一例を示す説明図である。 A change in the position where the information is displayed when the viewer moves his / her eyes will be described with reference to the drawings. FIG. 6 is an explanatory diagram illustrating an example of a display image of information before moving the line of sight. FIG. 7 is an explanatory diagram illustrating an example of a display image of information after moving the line of sight.
例えば、鑑賞者が首を動かすことによって、図６の右側に位置する領域３１から図７の左側に位置する領域３１に、視野が変化したと仮定する。この場合、情報表示システムは、図６に示すように目線を動かす前には、舞台に向かって右側に字幕を表示しているが、図７に示すように目線を動かすと、目線画像に含まれる背景の暗い領域に基づいて、舞台に向かって左側に字幕を表示するように制御する。 For example, it is assumed that the visual field changes from the region 31 located on the right side in FIG. 6 to the region 31 located on the left side in FIG. In this case, the information display system displays subtitles on the right side of the stage before moving the line of sight as shown in FIG. 6, but if the line of sight is moved as shown in FIG. Control to display subtitles on the left side of the stage based on the dark background.
このように情報の表示位置を変化することは、鑑賞者が舞台に近い位置に座っており、舞台全体を見渡すためには鑑賞中何度も首を動かさなければならないような場合に有効である。鑑賞中に首を動かしても、字幕が常に背景が暗い領域の上に表示され続けるからである。 Changing the display position of information in this way is effective when the viewer is sitting at a position close to the stage and the head must be moved many times during the viewing in order to see the entire stage. . This is because even if the head is moved during viewing, the subtitles are always displayed on the dark background.
次に、情報表示システムの動作について説明する。図８は、情報表示システムが実行する処理例を示す流れ図である。 Next, the operation of the information display system will be described. FIG. 8 is a flowchart showing an example of processing executed by the information display system.
鑑賞者が各装置を起動して舞台等の鑑賞を開始すると、カメラ２１は、撮影を開始し、撮影した鑑賞者の目線方向の画像を画像情報受信手段２３２に出力する（ステップＳ１）。 When the viewer activates each device and starts viewing the stage or the like, the camera 21 starts shooting and outputs an image in the direction of the viewer's line of sight to the image information receiving means 232 (step S1).
次いで、画像情報受信手段２３２が目線画像を受信すると、明るさ判定手段２３３は、目線画像の明るさを所定の単位で判断する（ステップＳ２）。例えば、明るさ判定手段２３３は、ピクセルごとに明るさを示す値を求め、予め定められた所定の閾値以上であるか否かを判定する。なお、字幕等の表示情報が常にあるものでない場合には、明るさ判定手段２３３は、サーバ装置１１から表示情報を受信した時のみ処理を実行するようにしてもよい。 Next, when the image information receiving unit 232 receives the eye image, the brightness determination unit 233 determines the brightness of the eye image in a predetermined unit (step S2). For example, the brightness determination unit 233 obtains a value indicating brightness for each pixel, and determines whether the value is equal to or greater than a predetermined threshold value. If there is not always display information such as captions, the brightness determination unit 233 may execute the process only when display information is received from the server device 11.
次いで、表示禁止領域決定手段２３４は、明るさ判定手段２３３の判定結果に基づいて、目線画像中のある所定値以上の明度（輝度）を持つ領域を表示禁止領域と決定する（ステップＳ３）。具体的には、表示禁止領域決定手段２３４は、明るさ判定手段２３３が明るさを示す値が所定の閾値以上であると判定した領域を表示禁止領域と決定する。 Next, based on the determination result of the brightness determination unit 233, the display prohibition region determination unit 234 determines a region having a brightness (luminance) greater than a predetermined value in the eye image as a display prohibition region (step S3). Specifically, the display prohibition area determination unit 234 determines an area that the brightness determination unit 233 determines that the value indicating brightness is equal to or greater than a predetermined threshold as a display prohibition area.
また、上記処理と平行して、ウェアラブル端末２３の表示装置受信手段２３１は、サーバ装置１１が配信する字幕等の表示情報を随時受信する（ステップＳ４）。このように随時受信することで、鑑賞者のヘッドマウントディスプレイ装置２２が表示する字幕等の情報が切り替わる仕組みになっている。 In parallel with the above processing, the display device receiving means 231 of the wearable terminal 23 receives display information such as subtitles distributed by the server device 11 as needed (step S4). In this manner, information such as subtitles displayed on the viewer's head mounted display device 22 is switched by receiving the information as needed.
次いで、表示レイアウト決定手段２３５は、表示禁止領域情報に基づいて、表示禁止領域に重ならないように字幕等の情報を表示するレイアウトを決定する（ステップＳ５）。そして、表示レイアウト決定手段２３５がレイアウトを決定すると、表示情報出力手段２３６は、ヘッドマウントディスプレイ装置２２の表示制御手段２２１に、字幕等の情報とともに、表示レイアウト情報を出力する。 Next, the display layout determining means 235 determines a layout for displaying information such as subtitles so as not to overlap the display prohibited area based on the display prohibited area information (step S5). When the display layout determining unit 235 determines the layout, the display information output unit 236 outputs display layout information to the display control unit 221 of the head mounted display device 22 together with information such as subtitles.
具体的には、表示レイアウト決定手段２３５は、画像座標において、表示禁止領域以外の領域から、字幕等の情報を表示可能な位置を特定する。次いで、表示レイアウト決定手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示レイアウト決定手段２３５は、表示座標において特定した位置情報を含む表示レイアウト情報を表示情報出力手段２３６に出力する。ここで決定したレイアウトに基づいて、ヘッドマウントディスプレイ装置２２は、字幕等の情報を背景が暗い領域の上に重なる形で表示する。 Specifically, the display layout determining unit 235 specifies a position where information such as captions can be displayed from an area other than the display prohibited area in the image coordinates. Next, the display layout determining unit 235 specifies the position specified in the image coordinates in the display coordinates associated with the image coordinates. Then, the display layout determining unit 235 outputs the display layout information including the position information specified in the display coordinates to the display information output unit 236. Based on the layout determined here, the head mounted display device 22 displays information such as subtitles in an overlapping manner on an area with a dark background.
次いで、表示制御手段２２１は、表示情報出力手段２３６が出力した表示レイアウト情報に基づいて、字幕等の情報を表示する（ステップＳ６）。具体的には、表示制御手段２２１は、表示レイアウト情報に含まれる表示座標において特定した位置情報に基づいて、字幕等の情報を表示する。 Next, the display control unit 221 displays information such as subtitles based on the display layout information output by the display information output unit 236 (step S6). Specifically, the display control unit 221 displays information such as subtitles based on the position information specified in the display coordinates included in the display layout information.
以上のように、本実施形態では、鑑賞者は、透過型のヘッドマウントディスプレイ装置とカメラと通信手段を有するウェアラブル端末とを装着する。そして、カメラが鑑賞者の目線方向を撮影すると、ウェアラブル端末は、カメラが撮影した目線方向の画像を解析し、画像の中から明るい領域を特定して、背景が明るい領域には字幕等の情報を表示させないように表示レイアウトを決定する。次いで、ヘッドマウントディスプレイ装置は、表示レイアウトに従って、字幕等の情報を表示する。そのため、字幕等の情報は、常に背景が暗い部分に重なるように表示される。 As described above, in this embodiment, a viewer wears a transmissive head-mounted display device, a camera, and a wearable terminal having communication means. When the camera captures the viewer's line of sight, the wearable terminal analyzes the image of the line of sight captured by the camera, identifies a bright area from the image, and includes information such as captions for areas with a bright background. The display layout is determined so that is not displayed. Next, the head mounted display device displays information such as subtitles according to the display layout. Therefore, information such as subtitles is always displayed so that the background overlaps with the dark part.
このように、本実施形態では、背景の明るさに基づいて字幕等の情報の表示位置を制限することで、背景と表示情報とのコントラストが小さくなる状態を回避することができる。そのため、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為等を鑑賞する場において、鑑賞者に対して、視認しやすい状態で字幕等の情報を表示することができる。また、背景が暗い位置に情報を表示するように制御するため、鑑賞の妨げとならない位置に字幕等の情報を表示することができる。 Thus, in the present embodiment, by limiting the display position of information such as captions based on the brightness of the background, it is possible to avoid a state in which the contrast between the background and the display information becomes small. Therefore, information such as subtitles can be displayed in an easily viewable manner for the viewer in a place where the viewer appreciates the activities performed on the stage, such as a theater or a concert venue. Further, since control is performed so that information is displayed at a position where the background is dark, information such as subtitles can be displayed at a position that does not hinder viewing.
さらに、本実施形態では、随時表示レイアウトを定め直しているため、鑑賞者の目線方向の変化に対応することができ、常に視認しやすい位置に字幕等の情報を表示することができる。 Furthermore, in this embodiment, since the display layout is redefined at any time, it is possible to cope with changes in the viewer's line of sight and to display information such as subtitles at a position that is always easily visible.
次に、本発明による情報表示システムの最小構成について説明する。図９は、情報表示システムの最小の構成例を示すブロック図である。図９に示すように、情報表示システムは、最小の構成要素として、所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ユーザの目線方向を撮影する撮影手段２と、表示制御手段３とを含む。 Next, the minimum configuration of the information display system according to the present invention will be described. FIG. 9 is a block diagram illustrating a minimum configuration example of the information display system. As shown in FIG. 9, the information display system includes, as minimum components, a head mounted display device 1 capable of displaying predetermined information, an imaging unit 2 that captures a user's eye direction, and a display control unit 3. Including.
図９に示す最小構成の情報表示システムでは、表示制御手段３は、撮影手段２が撮影した目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、ヘッドマウントディスプレイ装置１の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する。 In the information display system with the minimum configuration shown in FIG. 9, the display control unit 3 specifies an image area with low brightness in the image based on the image in the eye direction captured by the imaging unit 2, and the head mounted display device 1 Control is performed so that predetermined information is displayed in an area of the display area corresponding to the specified image area in the image.
従って、最小構成の情報表示システムによれば、鑑賞者の目線方向に応じて情報の表示位置を定めるため、鑑賞者に対して視認しやすい状態で字幕等の情報を表示することができる。 Therefore, according to the information display system having the minimum configuration, the information display position is determined according to the viewing direction of the viewer, so that information such as subtitles can be displayed in a state that is easily visible to the viewer.
なお、本実施形態では、以下の（１）〜（５）に示すような情報表示システムの特徴的構成が示されている。 In this embodiment, the characteristic configuration of the information display system as shown in the following (1) to (5) is shown.
（１）情報表示システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置２２によって実現される）と、ユーザの目線方向を撮影する撮影手段（例えば、カメラ２１によって実現される）と、撮影手段が撮影したユーザの目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、ヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段（例えば、表示制御手段２２１によって実現される）とを備えたことを特徴とする。 (1) The information display system is realized by a head-mounted display device (for example, realized by the head-mounted display device 22) capable of displaying predetermined information and an imaging unit (for example, the camera 21) that captures the user's eye direction. And an image area with low brightness in the image is identified based on the image in the user's eye direction captured by the imaging unit, and the image area identified in the image is selected from the display areas of the head mounted display device. A display control unit (for example, realized by the display control unit 221) that controls to display predetermined information in a corresponding area is provided.
（２）情報表示システムにおいて、画像中の明度を判定する明度判定手段（例えば、明るさ判定手段２３３によって実現される）と、明度判定手段の判定結果に基づいて、所定の情報の表示を禁止する画像領域（例えば表示禁止領域）又は所定の情報の表示を許可する画像領域（例えば表示可能領域）を特定する画像領域特定手段（例えば、表示禁止領域決定手段２３４や表示レイアウト決定手段２３５によって実現される）とを備え、表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、画像領域特定手段が特定した所定の情報の表示を禁止する画像領域以外の画像領域又は所定の情報の表示を許可する画像領域のいずれかに対応する領域に所定の情報を表示するように制御するように構成されていてもよい。 (2) In the information display system, display of predetermined information is prohibited based on the lightness determination means (for example, realized by the brightness determination means 233) for determining the lightness in the image and the determination result of the lightness determination means. Realized by image area specifying means (for example, display prohibited area determining means 234 and display layout determining means 235) for specifying an image area to be displayed (for example, display prohibited area) or an image area (for example, displayable area) permitted to display predetermined information. The display control means displays an image area other than the image area that prohibits the display of the predetermined information specified by the image area specifying means among the display areas of the head-mounted display device or the display of the predetermined information. It may be configured to control to display predetermined information in an area corresponding to any of the permitted image areas.
（３）情報表示システムにおいて、明度判定手段は、画像中の所定の領域ごとに明度を示す値が所定の閾値以上であるか否かを判定し、画像領域特定手段は、明度判定手段が明度を示す値が所定の閾値以上であると判定した領域を情報の表示を禁止する画像領域として特定するように構成されていてもよい。 (3) In the information display system, the lightness determination means determines whether or not a value indicating lightness is greater than or equal to a predetermined threshold value for each predetermined area in the image. An area that is determined to have a value that indicates a value greater than or equal to a predetermined threshold may be specified as an image area that prohibits display of information.
（４）情報表示システムにおいて、明度判定手段は、画像中の所定の領域ごとに明度を示す値が所定の閾値以上であるか否かを判定し、画像領域特定手段は、明度判定手段が明度を示す値が所定の閾値以下であると判定した領域を情報の表示を許可する画像領域として特定するように構成されていてもよい。 (4) In the information display system, the lightness determination means determines whether or not a value indicating lightness is greater than or equal to a predetermined threshold value for each predetermined area in the image, and the image area specifying means includes the lightness determination means. An area that is determined to have a value indicating a value equal to or less than a predetermined threshold value may be specified as an image area that permits display of information.
（５）情報表示システムにおいて、画像中の座標を表す画像座標と、ヘッドマウントディスプレイ装置が情報の表示位置を特定するための座標を表す表示座標とを対応づけて記憶する記憶手段を備え、表示制御手段は、記憶手段が記憶する画像座標と表示座標とに基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に所定の情報を表示するように制御するように構成されていてもよい。 (5) The information display system includes storage means for storing the image coordinates representing the coordinates in the image and the display coordinates representing the coordinates for the head mounted display device to specify the display position of the information in association with each other. The control means controls to display predetermined information in an area corresponding to the specified image area in the display area of the head mounted display device based on the image coordinates and display coordinates stored in the storage means. It may be configured.
本発明は、芝居やミュージカル、バレエ、コンサート、ライブなど、リアルタイムで鑑賞者に対して演目を披露するような場で字幕等を表示する用途に適用可能である。上記のような場においては、リアルタイムで演目が進行していくため、事前にヘッドマウントディスプレイ装置への字幕表示位置などをプログラミングする事は難しく、本発明のようにリアルタイムで字幕表示位置を決定するシステムが役立つと考えられる。 INDUSTRIAL APPLICABILITY The present invention can be applied to the use of displaying subtitles or the like in a place where a performance is shown to a viewer in real time, such as a play, a musical, a ballet, a concert, or a live performance. In the above situation, since the program proceeds in real time, it is difficult to program the subtitle display position on the head mounted display device in advance, and the subtitle display position is determined in real time as in the present invention. The system is considered useful.
１，２２ ヘッドマウントディスプレイ装置
２ 撮影手段
３，２２１ 表示制御手段
１１ サーバ装置
２１ カメラ
２２ ヘッドマウントディスプレイ装置
２２１ 表示制御手段
２３ ウェアラブル端末
２３１ 表示情報受信手段
２３２ 画像情報受信手段
２３３ 明るさ判定手段
２３４ 表示禁止領域決定手段
２３５ 表示レイアウト決定手段
２３６ 表示情報出力手段
DESCRIPTION OF SYMBOLS 1,22 Head mounted display apparatus 2 Imaging | photography means 3,221 Display control means 11 Server apparatus 21 Camera 22 Head mounted display apparatus 221 Display control means 23 Wearable terminal 231 Display information receiving means 232 Image information receiving means 233 Brightness determination means 234 Display Prohibited area determining means 235 Display layout determining means 236 Display information output means
Claims (9)
ユーザの目線方向を撮影する撮影手段と、
前記撮影手段が撮影したユーザの目線方向の画像に基づいて、前記画像中の明度が低い画像領域を特定し、前記ヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段とを
備えたことを特徴とする情報表示システム。 A head-mounted display device capable of displaying predetermined information;
Photographing means for photographing the user's eye direction;
Based on the image of the user's line of sight taken by the photographing means, an image area having low brightness in the image is identified, and corresponds to the identified image area in the image among the display areas of the head mounted display device An information display system comprising: display control means for controlling to display the predetermined information in a region to be displayed.
前記明度判定手段の判定結果に基づいて、所定の情報の表示を禁止する画像領域又は前記所定の情報の表示を許可する画像領域を特定する画像領域特定手段とを備え、
表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、前記画像領域特定手段が特定した前記所定の情報の表示を禁止する画像領域以外の画像領域又は前記所定の情報の表示を許可する画像領域のいずれかに対応する領域に前記所定の情報を表示するように制御する
請求項１記載の情報表示システム。 Brightness determination means for determining brightness in the image;
An image region specifying unit for specifying an image region for prohibiting display of predetermined information or an image region for permitting display of the predetermined information based on a determination result of the brightness determination unit;
The display control means is an image area other than the image area that prohibits the display of the predetermined information specified by the image area specifying means, or an image area that permits the display of the predetermined information, among the display areas of the head-mounted display device. The information display system according to claim 1, wherein the predetermined information is controlled to be displayed in an area corresponding to any one of the above.
画像領域特定手段は、前記明度判定手段が明度を示す値が所定の閾値以上であると判定した領域を情報の表示を禁止する画像領域として特定する
請求項２記載の情報表示システム。 The brightness determination means determines whether or not a value indicating brightness for each predetermined area in the image is equal to or greater than a predetermined threshold,
The information display system according to claim 2, wherein the image area specifying unit specifies an area that the lightness determination unit determines that the value indicating the lightness is equal to or greater than a predetermined threshold as an image area that prohibits display of information.
画像領域特定手段は、前記明度判定手段が明度を示す値が所定の閾値以下であると判定した領域を情報の表示を許可する画像領域として特定する
請求項２記載の情報表示システム。 The brightness determination means determines whether or not a value indicating brightness for each predetermined area in the image is equal to or greater than a predetermined threshold,
The information display system according to claim 2, wherein the image area specifying unit specifies an area determined by the lightness determination unit that the value indicating the lightness is equal to or less than a predetermined threshold as an image area that permits display of information.
表示制御手段は、前記記憶手段が記憶する前記画像座標と前記表示座標とに基づいて、前記ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に所定の情報を表示するように制御する
請求項１から請求項４のうちのいずれか１項に記載の情報表示システム。 Storage means for storing image coordinates representing coordinates in the image and display coordinates representing coordinates for the head-mounted display device to specify the display position of the information in association with each other;
The display control means displays predetermined information in an area corresponding to the specified image area in the display area of the head mounted display device based on the image coordinates and the display coordinates stored in the storage means. The information display system according to any one of claims 1 to 4.
備えたことを特徴とするウェアラブル装置。 Based on the image in the user's line of sight captured by the image capturing means, an image region with low brightness in the image is identified, and the image is identified in the display region of the head mounted display device capable of displaying predetermined information. A wearable device comprising: display control means for controlling the predetermined information to be displayed in an area corresponding to the image area.
撮影手段が撮影したユーザの目線方向の画像に基づいて、前記画像中の明度が低い画像領域を特定し、当該ヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段を
備えたことを特徴とするヘッドマウントディスプレイ装置。 A head mounted display device capable of displaying predetermined information,
Based on the image in the direction of the user's line of sight captured by the photographing means, an image area with low brightness in the image is identified, and corresponding to the identified image area in the image among the display areas of the head mounted display device. A head-mounted display device comprising display control means for controlling to display the predetermined information in an area.
ことを特徴とする情報表示方法。 Based on the image in the user's line of sight captured by the image capturing means, an image region with low brightness in the image is identified, and the image is identified in the display region of the head mounted display device capable of displaying predetermined information. An information display method comprising: controlling the predetermined information to be displayed in an area corresponding to the image area.
撮影手段が撮影したユーザの目線方向の画像に基づいて、前記画像中の明度が低い画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御処理を
実行させるための情報表示プログラム。 On the computer,
Based on the image in the user's line of sight captured by the image capturing means, an image region with low brightness in the image is identified, and the image is identified in the display region of the head mounted display device capable of displaying predetermined information. An information display program for executing a display control process for controlling to display the predetermined information in an area corresponding to the image area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258148A JP5464130B2 (en) | 2010-11-18 | 2010-11-18 | Information display system, apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010258148A JP5464130B2 (en) | 2010-11-18 | 2010-11-18 | Information display system, apparatus, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012108379A true JP2012108379A (en) | 2012-06-07 |
| JP5464130B2 JP5464130B2 (en) | 2014-04-09 |
Family
ID=46494042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010258148A Expired - Fee Related JP5464130B2 (en) | 2010-11-18 | 2010-11-18 | Information display system, apparatus, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5464130B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012163853A (en) * | 2011-02-08 | 2012-08-30 | Ns Solutions Corp | Display device, information service system, information service method, and program |
| JP2012233962A (en) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | Projection system, projection device, projection method, and control program |
| WO2014024649A1 (en) * | 2012-08-06 | 2014-02-13 | ソニー株式会社 | Image display device and image display method |
| KR20140058312A (en) * | 2012-11-06 | 2014-05-14 | 삼성전자주식회사 | Electronic apparatus for vehicle |
| WO2017213241A1 (en) * | 2016-06-09 | 2017-12-14 | 株式会社Ｑｄレーザ | Image projection system, image projection device, image projection method, image projection program, and server device |
| JP2017223943A (en) * | 2016-06-09 | 2017-12-21 | 株式会社Ｑｄレーザ | Image projection system, image projection device, image projection method, image projection program, and server device |
| JP2018018089A (en) * | 2012-06-18 | 2018-02-01 | ソニー株式会社 | Information processing device, information processing method, and program |
| KR102316459B1 (en) * | 2020-12-02 | 2021-10-25 | 주식회사 피앤씨솔루션 | Wireless augmented reality glasses device for providing subtitles in concert halls |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09191438A (en) * | 1996-01-09 | 1997-07-22 | Canon Inc | Display device having line of sight detection function |
| JP2002018158A (en) * | 2000-07-04 | 2002-01-22 | Asahi Kaisetsu Jigyo Kk | Device for displaying subtitles |
| JP2006153966A (en) * | 2004-11-25 | 2006-06-15 | Olympus Corp | Personal digital assistant |
| JP2010211662A (en) * | 2009-03-12 | 2010-09-24 | Brother Ind Ltd | Head mounted display device, method and program for controlling image |
| JP2010211408A (en) * | 2009-03-09 | 2010-09-24 | Brother Ind Ltd | Head mount display |
| JP2011053468A (en) * | 2009-09-02 | 2011-03-17 | Sony Corp | Video/character simultaneous display device, and head-mounted display |
-
2010
- 2010-11-18 JP JP2010258148A patent/JP5464130B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09191438A (en) * | 1996-01-09 | 1997-07-22 | Canon Inc | Display device having line of sight detection function |
| JP2002018158A (en) * | 2000-07-04 | 2002-01-22 | Asahi Kaisetsu Jigyo Kk | Device for displaying subtitles |
| JP2006153966A (en) * | 2004-11-25 | 2006-06-15 | Olympus Corp | Personal digital assistant |
| JP2010211408A (en) * | 2009-03-09 | 2010-09-24 | Brother Ind Ltd | Head mount display |
| JP2010211662A (en) * | 2009-03-12 | 2010-09-24 | Brother Ind Ltd | Head mounted display device, method and program for controlling image |
| JP2011053468A (en) * | 2009-09-02 | 2011-03-17 | Sony Corp | Video/character simultaneous display device, and head-mounted display |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012163853A (en) * | 2011-02-08 | 2012-08-30 | Ns Solutions Corp | Display device, information service system, information service method, and program |
| JP2012233962A (en) * | 2011-04-28 | 2012-11-29 | Konica Minolta Holdings Inc | Projection system, projection device, projection method, and control program |
| JP2018018089A (en) * | 2012-06-18 | 2018-02-01 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2014024649A1 (en) * | 2012-08-06 | 2014-02-13 | ソニー株式会社 | Image display device and image display method |
| US10670880B2 (en) | 2012-08-06 | 2020-06-02 | Sony Corporation | Image display apparatus and image display method |
| US20150261003A1 (en) * | 2012-08-06 | 2015-09-17 | Sony Corporation | Image display apparatus and image display method |
| JPWO2014024649A1 (en) * | 2012-08-06 | 2016-07-25 | ソニー株式会社 | Image display device and image display method |
| US9618759B2 (en) | 2012-08-06 | 2017-04-11 | Sony Corporation | Image display apparatus and image display method |
| KR102051606B1 (en) * | 2012-11-06 | 2019-12-04 | 삼성전자주식회사 | Electronic apparatus for vehicle |
| KR20140058312A (en) * | 2012-11-06 | 2014-05-14 | 삼성전자주식회사 | Electronic apparatus for vehicle |
| JP2017223943A (en) * | 2016-06-09 | 2017-12-21 | 株式会社Ｑｄレーザ | Image projection system, image projection device, image projection method, image projection program, and server device |
| CN109313343A (en) * | 2016-06-09 | 2019-02-05 | Qd激光公司 | Image projection system, image projection apparatus, image projection method, image projection program, and server apparatus |
| US10409146B2 (en) | 2016-06-09 | 2019-09-10 | Qd Laser, Inc. | Image projection system, image projection device, image projection method, image projection program, and server device |
| WO2017213241A1 (en) * | 2016-06-09 | 2017-12-14 | 株式会社Ｑｄレーザ | Image projection system, image projection device, image projection method, image projection program, and server device |
| CN109313343B (en) * | 2016-06-09 | 2021-02-05 | Qd激光公司 | Image projection system, image projection apparatus, image projection method, and server apparatus |
| KR102316459B1 (en) * | 2020-12-02 | 2021-10-25 | 주식회사 피앤씨솔루션 | Wireless augmented reality glasses device for providing subtitles in concert halls |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5464130B2 (en) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5464130B2 (en) | Information display system, apparatus, method and program | |
| US10579320B2 (en) | Display system, display device, information display method, and program | |
| US11172158B2 (en) | System and method for augmented video production workflow | |
| US10334169B2 (en) | Display system | |
| US10403048B2 (en) | Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression | |
| JP5348114B2 (en) | Information display system, apparatus, method and program | |
| US7940295B2 (en) | Image display apparatus and control method thereof | |
| CN106782344B (en) | Brightness adjusting method, device and display equipment | |
| WO2016095422A1 (en) | Glasses, display terminal and image display processing system and method | |
| JP2012173476A (en) | Display system, terminal device, method for controlling the device, and program | |
| JP2015228543A (en) | Electronic apparatus and display processing method | |
| US11039124B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| KR101665988B1 (en) | Image generation method | |
| US20180268779A1 (en) | Image display apparatus, image display method, and storage medium | |
| CN111857336B (en) | Head-mounted device, rendering method thereof, and storage medium | |
| CN107179822B (en) | Information processing method and device, display device and computer storage medium | |
| JP2007212548A (en) | Wearable display | |
| US10372287B2 (en) | Headset device and visual feedback method and apparatus thereof | |
| WO2023074669A1 (en) | Imaging device, image processing device, and method | |
| JP2019200309A (en) | Display control device, display control method and program | |
| US20240272712A1 (en) | Augmented reality and screen image rendering coordination | |
| JP2016177121A (en) | Display system, image display device, and operation device | |
| JP2017156513A (en) | Information processor, control method of information processor, and program | |
| JP6686697B2 (en) | Transmission control program, transmission control method, and transmission control system | |
| JP2023065313A (en) | Imaging apparatus, image processing device, and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140106 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |