JP2006202181A - Image output method and device - Google Patents

Image output method and device Download PDF

Info

Publication number
JP2006202181A
JP2006202181A JP2005015185A JP2005015185A JP2006202181A JP 2006202181 A JP2006202181 A JP 2006202181A JP 2005015185 A JP2005015185 A JP 2005015185A JP 2005015185 A JP2005015185 A JP 2005015185A JP 2006202181 A JP2006202181 A JP 2006202181A
Authority
JP
Japan
Prior art keywords
display area
image
detected
detecting
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005015185A
Other languages
Japanese (ja)
Inventor
Koji Nishida
幸司 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005015185A priority Critical patent/JP2006202181A/en
Publication of JP2006202181A publication Critical patent/JP2006202181A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image output method and a device that can input sight line information about a user without using a wearable unit and change the display area of an output image according to the input sight line information. <P>SOLUTION: Two cameras 31 and 32 positioned in the horizontal direction of a display device pick up face images of a user, and an image processing part 40 detects the user's sight line direction according to picked-up right and left and detects the position of user's attention on a display screen 50 according to the sight line direction. A game machine body 10 detects an object on an output image displayed in the position detected by the image processing part 40 and changes the display area of the output image according to the object. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、表示装置に表示される出力画像の表示領域を変更する画像出力方法および装置に関する。   The present invention relates to an image output method and apparatus for changing a display area of an output image displayed on a display device.

従来、表示装置に表示される出力画像の表示領域を変更するゲーム機が知られている。
このような出力画像の表示領域を変更する方法としては、ユーザの操作情報に基づいて行う方法と、ゲームの進行に応じて自動的に行う方法とがあった。
ユーザの操作情報に基づいて出力画像の表示領域を変更する方法では、コントローラ(入力装置)の操作が複雑になってユーザに負担がかかるとともに、他の操作と組み合わせるのが困難だった。
一方、ゲームの進行に応じて出力画像の表示領域を変更する方法では、ユーザが見たい領域が無視されるので、ユーザに不満がつのるといった問題があった。 Conventionally, a game machine that changes a display area of an output image displayed on a display device is known.
As a method for changing the display area of such an output image, there are a method based on user operation information and a method automatically performed according to the progress of the game.
In the method of changing the display area of the output image based on the user operation information, the operation of the controller (input device) becomes complicated and burdens the user, and it is difficult to combine with other operations.
On the other hand, in the method of changing the display area of the output image according to the progress of the game, the area that the user wants to see is ignored, and there is a problem that the user is dissatisfied.

そこで、ユーザの頭部に表示領域制御機能付き装着体を装着し、この装着体によりユーザの視線を検出し、検出された視線に基づいて出力画像の表示領域を変化させるゲーム機が開示されている（特許文献１参照）。
特開２０００−２８８２５０号公報 Therefore, a game machine is disclosed in which a mounting body with a display area control function is mounted on the user's head, the user's line of sight is detected by the mounting body, and the display area of the output image is changed based on the detected line of sight. (See Patent Document 1).
JP 2000-288250 A

しかしながら、上記特許文献１のゲーム機では、視線の動きに追従して出力画像の表示領域を変えると、視線の動きが速くかつ複雑なため、不自然な見づらい映像になってしまうといった問題があった。例えば、視線の動きにキャラクタを追従させると、キャラクタとともに背景が様々な方向に頻繁に移動してしまい、落ち着かない映像となってしまう。
また、上記特許文献１のゲーム機では、装着体を装着しなければならないため、ユーザの頭部に負担がかかり、その快適性に問題があった。 However, the game machine disclosed in Patent Document 1 has a problem that if the display area of the output image is changed following the movement of the line of sight, the movement of the line of sight is fast and complicated, resulting in an unnatural and difficult to see video. It was. For example, if the character follows the movement of the line of sight, the background frequently moves in various directions together with the character, resulting in an uncomfortable image.
Moreover, in the game machine of the said patent document 1, since a mounting body had to be mounted | worn, a user's head was burdened and there existed a problem in the comfort.

本発明は、このような事情に鑑みなされたものであり、その目的は、装着体を用いずに使用者の視線情報を入力し、入力された視線情報に基づいて出力画像の表示領域を変更することができる画像出力方法および装置を提供するにある。   The present invention has been made in view of such circumstances, and an object of the present invention is to input user's line-of-sight information without using a wearing body and change the display area of the output image based on the input line-of-sight information. It is an object of the present invention to provide an image output method and apparatus.

上記目的を達成するため、本発明の画像出力方法は、表示装置に表示される出力画像の表示領域を変更する画像出力方法であって、前記表示装置の水平方向の両側に設けられた２台のカメラにより前記表示装置を見る使用者の顔画像を撮影する撮影ステップと、前記撮影ステップで撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップで検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出ステップと、前記注目位置検出ステップで検出された位置に表示された前記出力画像の対象物を検出する対象物検出ステップと、前記対象物検出ステップで検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更ステップとを含むことを特徴とする。
また、本発明の画像出力装置は、表示装置に表示される出力画像の表示領域を変更する画像出力装置であって、前記表示装置の水平方向の両側に設けられ、前記表示装置を見る使用者の顔画像を撮影する２台のカメラと、前記２台のカメラにより撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出手段と、前記視線方向検出手段により検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出手段と、前記注目位置検出手段により検出された位置に表示された前記出力画像の対象物を検出する対象物検出手段と、前記対象物検出手段により検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更手段とを備えたことを特徴とする。 In order to achieve the above object, an image output method of the present invention is an image output method for changing a display area of an output image displayed on a display device, and two sets provided on both sides in the horizontal direction of the display device. A photographing step of photographing a face image of a user viewing the display device with a camera, a gaze direction detecting step of detecting a gaze direction of the user based on the face image photographed in the photographing step, and the gaze direction An attention position detection step for detecting a position of the display screen of the display device that the user pays attention to based on the line-of-sight direction detected in the detection step, and the output displayed at the position detected in the attention position detection step An object detection step for detecting an object of an image, and a display area change for changing a display area of the output image based on the object detected in the object detection step Characterized in that it comprises a step.
The image output device of the present invention is an image output device that changes the display area of the output image displayed on the display device, and is provided on both sides of the display device in the horizontal direction, and the user who views the display device Detected by the two cameras, the gaze direction detecting means for detecting the gaze direction of the user based on the face images taken by the two cameras, and the gaze direction detecting means. Attention position detecting means for detecting the position of the display screen of the display device to which the user pays attention based on the line-of-sight direction, and detecting the object of the output image displayed at the position detected by the attention position detecting means And a display area changing means for changing the display area of the output image based on the object detected by the object detecting means.

本発明によれば、２台のカメラにより撮影された使用者の顔画像に基づいて使用者の視線方向を検出し、この視線方向に基づいて使用者が注目する表示画面の位置を検出し、この位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
このため、使用者が注目する対象物に基づいて出力画像の表示領域を変化させることができるので、対象物の移動速度を最適に制御して出力画像の表示領域を変化させることができる。したがって、自然な動きの画像を出力し、従来のような使用者のストレスを低減することができる。 According to the present invention, the user's line-of-sight direction is detected based on the user's face images captured by two cameras, and the position of the display screen on which the user pays attention is detected based on the line-of-sight direction. The object of the output image displayed at this position is detected, and the display area of the output image is changed based on this object.
For this reason, since the display area of the output image can be changed based on the object that the user pays attention to, the display area of the output image can be changed by optimally controlling the moving speed of the object. Therefore, it is possible to output a natural motion image and reduce the stress of the user as in the conventional case.

上記目的を達成するため、表示装置の水平方向に設けられた２台のカメラにより使用者の顔画像を撮影し、撮影された顔画像に基づいて使用者の視線方向を検出する。次に、この視線方向に基づいて使用者が注目する表示画面の位置を検出する。次に、この位置に表示された出力画像の対象物を検出し、この対象物に基づいて出力画像の表示領域を変更する。
例えば、対象物が画面の中央に位置するように出力画像の表示領域を変更する。また、対象物が移動するときには、その動きの方向および大きさ（速さ）を検出し、これらを考慮して出力画像の表示領域を変更する。
なお、対象物がステータス情報のような画面に固定される情報や、移動にふさわしくない物の場合には、出力画像の表示領域は変更しないようにする。 In order to achieve the above object, a user's face image is photographed by two cameras provided in the horizontal direction of the display device, and the user's line-of-sight direction is detected based on the photographed face image. Next, the position of the display screen on which the user pays attention is detected based on the line-of-sight direction. Next, the object of the output image displayed at this position is detected, and the display area of the output image is changed based on this object.
For example, the display area of the output image is changed so that the object is positioned at the center of the screen. When the object moves, the direction and size (speed) of the movement are detected, and the display area of the output image is changed in consideration of these directions.
Note that the display area of the output image is not changed when the object is information fixed on the screen such as status information or an object that is not suitable for movement.

以下、本発明の画像出力方法および装置について図面を参照して説明する。
実施例１は、本発明の画像出力装置を適用したゲーム機を例に説明する。
図１は、実施例１のゲーム機の構成を示す図である。
図１に示すように、実施例１のゲーム機は、テレビ受像機にゲームコンテンツを出力するものであり、本体１０、コントローラ２０、カメラ３１、カメラ３２および画像処理部４０を備える。 Hereinafter, an image output method and apparatus according to the present invention will be described with reference to the drawings.
In the first embodiment, a game machine to which the image output apparatus of the present invention is applied will be described as an example.
FIG. 1 is a diagram illustrating the configuration of the game machine according to the first embodiment.
As shown in FIG. 1, the game machine of the first embodiment outputs game content to a television receiver, and includes a main body 10, a controller 20, a camera 31, a camera 32, and an image processing unit 40.

コントローラ２０は、図示しない操作キー等を有し、ユーザの操作情報を入力する。本体１０は、ゲームプログラムを実行して映像および音声を含むビデオ信号をテレビ受像機に出力する。
カメラ３１および３２は、テレビ受像機の表示画面５０の水平方向の両側に取り付けられ、テレビ受像機の表示画面５０の水平方向の略中央の手前に位置するユーザ中の顔Ａを撮影する。カメラ３１は、ユーザの左側からの顔Ａを撮影し、カメラ３２は、ユーザ右側からの顔Ａを撮影することになる。
なお、本発明で用いる視線検出手段および装置は2台のカメラに限定されるものではない。 The controller 20 has operation keys and the like (not shown), and inputs user operation information. The main body 10 executes the game program and outputs a video signal including video and audio to the television receiver.
The cameras 31 and 32 are attached to both sides in the horizontal direction of the display screen 50 of the television receiver, and photograph the face A in the user located in front of the approximate center in the horizontal direction of the display screen 50 of the television receiver. The camera 31 captures the face A from the left side of the user, and the camera 32 captures the face A from the right side of the user.
Note that the line-of-sight detection means and device used in the present invention are not limited to two cameras.

図２は、図１に示される画像処理部４０およびゲーム機本体１０の構成を示すブロック図である。
図２に示すように、画像処理部４０は、カメラ３１および３２により撮影された画像を取得し、取得された画像に基づいてユーザが注目するテレビ受像機の表示画面５０の位置を検出するものであり、画像取得部４１、顔検出部４２、顔方向検出部４３、目検出部４４、視線方向検出部４５および注目位置検出部４６を備える。 FIG. 2 is a block diagram showing the configuration of the image processing unit 40 and the game machine body 10 shown in FIG.
As shown in FIG. 2, the image processing unit 40 acquires images taken by the cameras 31 and 32, and detects the position of the display screen 50 of the television receiver that the user pays attention to based on the acquired images. The image acquisition unit 41, the face detection unit 42, the face direction detection unit 43, the eye detection unit 44, the line-of-sight direction detection unit 45, and the attention position detection unit 46 are provided.

画像取得部４１は、カメラ３１および３２により撮影された左右の画像を取得する。顔検出部４２は、画像取得部４１により取得されたカメラ３１および３２（左右）の画像に基づいてそれぞれのユーザの顔を検出する。顔方向検出部４３は、顔検出部４２により検出された左右の顔に基づいて顔の向きを検出する。目検出部４４は、顔検出部４２により検出された左右の顔に基づいて左右の顔のそれぞれの眼球（白目）および虹彩（黒目）を検出する。
視線方向検出部４５は、顔方向検出部４３により検出された顔方向および目検出部４４により検出された左右の顔のそれぞれの眼球および虹彩に基づいてユーザの視線方向を検出する。注目位置検出部４６は、視線方向検出部４５により検出された視線方向に基づいてユーザが注目するテレビ受像機の表示画面５０における注目位置を検出する。 The image acquisition unit 41 acquires the left and right images taken by the cameras 31 and 32. The face detection unit 42 detects each user's face based on the images of the cameras 31 and 32 (left and right) acquired by the image acquisition unit 41. The face direction detection unit 43 detects the face direction based on the left and right faces detected by the face detection unit 42. The eye detection unit 44 detects the eyes (white eyes) and iris (black eyes) of the left and right faces based on the left and right faces detected by the face detection unit 42.
The gaze direction detection unit 45 detects the gaze direction of the user based on the face direction detected by the face direction detection unit 43 and the respective eyeballs and irises of the left and right faces detected by the eye detection unit 44. The attention position detection unit 46 detects the attention position on the display screen 50 of the television receiver that the user pays attention to based on the line-of-sight direction detected by the line-of-sight direction detection unit 45.

本体１０は、対象物検出部５１、注目対象物検出部５２、注目対象物選択部５３、属性検出部５４、動きベクトル検出部５５および表示領域変更部５６を備える。
対象物検出部５１は、注目位置検出部４６により検出された注目位置に基づいて出力画像の対象物を検出する。ここで、対象物とは、ゲームに登場する人物等のキャラククタや、キャラクタの背景の物や、ゲームのステータスを表示する表示領域などをいう。
注目対象物検出部５２は、対象物検出部５１により検出された対象物が表示画面５０の第１の所定時間以上（所定フレーム数以上）継続して検出された場合、この対象物を注目対象物として検出する。
注目対象物選択部５３は、注目対象物検出部５２により検出された注目対象物の中から第１の所定時間より長い第２の所定時間内に最も注目時間の長い注目対象物を選択する。 The main body 10 includes an object detection unit 51, an attention object detection unit 52, an attention object selection unit 53, an attribute detection unit 54, a motion vector detection unit 55, and a display area change unit 56.
The object detection unit 51 detects the object of the output image based on the attention position detected by the attention position detection unit 46. Here, the object refers to a character such as a person appearing in a game, a character background object, a display area for displaying a game status, or the like.
When the target object detected by the target object detection unit 51 is detected continuously for a first predetermined time or more (a predetermined number of frames or more) on the display screen 50, the target object detection unit 52 selects the target object as the target of attention. Detect as an object.
The target object selection unit 53 selects the target object having the longest attention time within the second predetermined time longer than the first predetermined time from the target objects detected by the target object detection unit 52.

ユーザは、表示画面５０に表示される出力画像の複数の点に一瞬だけ注目する場合がある。このような場合、その点の対象物を注目対象物として検出して出力画像の表示領域を変更すると、様々な方向に頻繁に出力画像の表示領域が変更されてしまい落ち着きの無い映像が表示されてしまう。表示画面５０に表示される出力画像の表示領域は、ユーザにとって顔の向きに相当する。ユーザの視線の動きに応じて表示領域を変更すると、ユーザは顔の向きが変わったように錯覚してしまう。
このような不自然な表示領域の変更を防止するため、対象物検出部５１により検出された対象物が一定時間継続して検出されるかどうかを注目対象物検出部５２よりに判定し、さらに、注目対象物検出部５２により認識された注目対象物の中から最も注目時間の長い注目対象物を注目対象物選択部５３により選択する。 The user may pay attention to a plurality of points on the output image displayed on the display screen 50 for a moment. In such a case, if the target object at that point is detected as the target object and the display area of the output image is changed, the display area of the output image is frequently changed in various directions, and a calm video is displayed. End up. The display area of the output image displayed on the display screen 50 corresponds to the face orientation for the user. When the display area is changed according to the movement of the user's line of sight, the user has the illusion that the orientation of the face has changed.
In order to prevent such an unnatural display area change, the attention object detection unit 52 determines whether or not the object detected by the object detection unit 51 is continuously detected for a certain period of time. Then, the target object selection unit 53 selects the target object having the longest attention time from the target objects recognized by the target object detection unit 52.

注目対象物属性検出部５４は、実行されるゲームプログラムに含まれる対象物の属性情報に基づいて注目対象物選択部５３により選択された注目対象物の属性情報を検出する。この属性情報は、例えば、キャラククタのように自由な方向に自由な大きさで移動させてもよい物や、背景のように移動させてもよいが動きの方向が制限される物、ステータス表示のように表示位置が固定される物などがある。このような対象物の属性情報により表示領域の変更方法が制限される。
動きベクトル検出部５５は、注目対象物属性検出部５４により検出された属性情報が移動させてもよい物であった場合、出力画像に基づいてその対象物の動きベクトル（動きの方向および大きさ）を検出する。
表示領域変更部５６は、注目対象物属性検出部５４により検出された対象物の属性情報よび動きベクトル検出部５５により検出された対象物の動きベクトルに基づいて出力画像の表示領域を変更する。表示領域変更部５６は、対象物に基づいてゆっくりとした自然な動きで表示領域を変更する。 The target object attribute detection unit 54 detects the attribute information of the target object selected by the target object selection unit 53 based on the attribute information of the target object included in the game program to be executed. This attribute information can be, for example, an object that can be moved in any direction, such as a character, or an object that can be moved like a background but whose direction of movement is restricted, status display As shown in FIG. The method for changing the display area is limited by the attribute information of the object.
When the attribute information detected by the target object attribute detection unit 54 is an object that may be moved, the motion vector detection unit 55 determines the motion vector (direction and magnitude of the motion) of the object based on the output image. ) Is detected.
The display area changing unit 56 changes the display area of the output image based on the object attribute information detected by the target object attribute detecting unit 54 and the motion vector of the object detected by the motion vector detecting unit 55. The display area changing unit 56 changes the display area with a slow natural movement based on the object.

図３は、実施例１のゲーム機の動作を示すフローチャートである。
ゲームが開始されると、２台のカメラ３１および３２によりユーザの左右の顔が撮影され、画像取得部４１により左右の顔の画像が取得される（ステップＳ１）。次に、顔検出部４２により、画像取得部４１により取得された左右の画像に基づいてそれぞれの左右それぞれのユーザの顔が検出される（ステップＳ２）。
次に、顔方向検出部４３により、顔検出部４２により検出された左右の顔に基づいて顔の向きが検出される（ステップＳ３）。同時に、目検出部４４により、顔検出部４２により検出された左右の顔に基づいて左右それぞれの眼球および虹彩が検出される（ステップＳ４）。
次に、視線方向検出部４５により、顔方向検出部４３により検出された顔方向および目検出部４４により検出された左右の顔のそれぞれの眼球および虹彩に基づいて顔の視線の方向が検出される（ステップＳ５）。次に、注目位置検出部４６により、視線方向検出部４５により検出された視線方向に基づいてユーザが注目するテレビ受像機の表示画面５０における注目位置が検出される（ステップＳ６）。 FIG. 3 is a flowchart illustrating the operation of the game machine according to the first embodiment.
When the game is started, the left and right faces of the user are photographed by the two cameras 31 and 32, and the left and right face images are obtained by the image obtaining unit 41 (step S1). Next, the left and right user faces are detected by the face detection unit 42 based on the left and right images acquired by the image acquisition unit 41 (step S2).
Next, the face direction detection unit 43 detects the face direction based on the left and right faces detected by the face detection unit 42 (step S3). At the same time, the left and right eyeballs and irises are detected by the eye detection unit 44 based on the left and right faces detected by the face detection unit 42 (step S4).
Next, the gaze direction detection unit 45 detects the gaze direction of the face based on the face direction detected by the face direction detection unit 43 and the respective eyeballs and irises of the left and right faces detected by the eye detection unit 44. (Step S5). Next, the attention position detection unit 46 detects the attention position on the display screen 50 of the television receiver to which the user pays attention based on the line-of-sight direction detected by the line-of-sight direction detection unit 45 (step S6).

次に、対象物検出部５１により、視線方向検出部４５により検出された視線方向に基づいて表示画面５０に表示された出力画像の対象物が検出される（ステップＳ７）。
次に、注目対象物検出部５２により、対象物検出部５１により検出された対象物の継続検出時間がカウントされ、第１の所定時間以上カウントされた場合、その対象物が注目対象物として検出される（ステップＳ８）。
次に、注目対象物選択部５３により、注目対象物検出部５２により検出された注目対象物の中から第２の所定時間内に最も注目時間の長い注目対象物が選択される(ステップＳ９)。
次に、注目対象物属性検出部５４により、注目対象物選択部５３により選択された注目対象物の属性が検出される（ステップＳ１０）。
ここで、注目対象物属性検出部５４により対象物の属性が動く物として検出された場合、動きベクトル検出部５５によりその対象物の動きベクトルが検出される（ステップＳ１１）。
次に、表示領域変更部５６により、注目対象物属性検出部５４により属性が検出された対象物および動きベクトル検出部５５により検出された動きベクトルに基づいて出力画像の表示領域が変更される(ステップＳ１２)。 Next, the target object of the output image displayed on the display screen 50 is detected by the target object detection part 51 based on the gaze direction detected by the gaze direction detection part 45 (step S7).
Next, the target object detection unit 52 counts the continuous detection time of the target object detected by the target object detection unit 51. When the target target time is counted for a first predetermined time or more, the target object is detected as the target object. (Step S8).
Next, the target object selection unit 53 selects the target object having the longest target time within the second predetermined time from the target objects detected by the target object detection unit 52 (step S9). .
Next, the attention object attribute detection unit 54 detects the attribute of the attention object selected by the attention object selection unit 53 (step S10).
Here, when the target object attribute detecting unit 54 detects the attribute of the target object as a moving object, the motion vector detecting unit 55 detects the motion vector of the target object (step S11).
Next, the display area changing unit 56 changes the display area of the output image based on the object whose attribute is detected by the target object attribute detecting unit 54 and the motion vector detected by the motion vector detecting unit 55 ( Step S12).

図４は、出力画像の表示領域の変更方法の一例を示す図である。
図４（Ａ）に示すように、窓ＯＢＪ３のある背景の下方に位置する台ＯＢＪ２の上に人物ＯＢＪ１が矢印Ａ方向に歩いている場面を想定する。ここで、ＡＢＣは、ゲームのステータス情報ＯＢＪ４を意味する。
図４（Ａ）中、人物ＯＢＪ１は、自由は方向に自由な大きさで移動可能な対象物である。台ＯＢＪ２および窓ＯＢＪ３は、上下方向の移動が禁止された移動可能な対象物である。ステータス情報ＯＢＪ４は、固定された対象物である。注目対象物を×印で表す。 FIG. 4 is a diagram illustrating an example of a method for changing the display area of the output image.
As shown in FIG. 4A, a scene is assumed in which a person OBJ1 is walking in the direction of arrow A on a table OBJ2 positioned below a background with a window OBJ3. Here, ABC means game status information OBJ4.
In FIG. 4A, a person OBJ1 is an object that can move freely in a direction with a free size. The table OBJ2 and the window OBJ3 are movable objects that are prohibited from moving in the vertical direction. The status information OBJ4 is a fixed object. The target object is indicated by a cross.

図４（Ｂ）は、注目対象物ＯＢＪ１が画面中央に位置するように出力画像の表示領域を変更する例である。
図４（Ｃ）は、注目対象物ＯＢＪ１の動きベクトルを検出し、検出された動きベクトルに基づいて出力画像の表示領域を変更する例である。この場合、注目対象物ＯＢＪ１が画面中央から移動方向の反対側に少しずれた位置に注目対象物ＯＢＪ１を移動するように出力画像の表示領域を変更すると、ユーザにとって見やすい自然な映像となる。
図４（Ｄ）は、ステータス情報ＯＢＪ４が注目対象物として検出された例である。この場合、注目対象物ＯＢＪ４は固定された対象物であるため、出力画像の表示領域が変更されない。
なお、表示領域変更処理は表示する位置の変更処理に限られるものではない。例えば、注目対象物検出部５２において検出された注目対象の分布範囲に応じてズームイン・ズームアウトなど大きさを変更する処理を行う。
また、本発明の表示領域変更処理は2次元空間の表示領域変更に限られるものではない。3次元空間における視線や視点の変更処理も含まれる。 FIG. 4B shows an example in which the display area of the output image is changed so that the target object OBJ1 is positioned at the center of the screen.
FIG. 4C is an example in which the motion vector of the target object OBJ1 is detected and the display area of the output image is changed based on the detected motion vector. In this case, if the display area of the output image is changed so that the target object OBJ1 is moved slightly to the position opposite to the moving direction from the center of the screen, a natural image that is easy to see for the user is obtained.
FIG. 4D shows an example in which the status information OBJ4 is detected as the target object. In this case, since the target object OBJ4 is a fixed object, the display area of the output image is not changed.
The display area changing process is not limited to the process for changing the display position. For example, a process of changing the size such as zooming in / out according to the distribution range of the target of interest detected by the target of interest detection unit 52 is performed.
Further, the display area changing process of the present invention is not limited to changing the display area of the two-dimensional space. Also included is a process of changing the line of sight and viewpoint in a three-dimensional space.

このように実施例１によれば、２台のカメラ３１および３２により撮影された画像に基づいてユーザの視線方向を検出し、この視線方向に基づいてテレビ受像機の表示画面５０の注目位置を検出し、この注目位置の対象物に基づいて出力画像の表示領域を変更するので、表示領域の変更をユーザに意識させることなく自然な動きで行うことができる。また、ユーザは、装着体を装着する煩わしさもなく、快適にゲームを行うことができる。   As described above, according to the first embodiment, the user's line-of-sight direction is detected based on the images taken by the two cameras 31 and 32, and the position of interest on the display screen 50 of the television receiver is determined based on the line-of-sight direction. Since the detection is performed and the display area of the output image is changed based on the object at the target position, the change of the display area can be performed with natural movement without making the user aware of it. In addition, the user can play the game comfortably without the trouble of wearing the wearing body.

なお、本発明の注目対象物検出部５２における注目対象物の検出の際に、対象物検出部５１により検出された対象物情報にユーザの操作情報やゲームの進行情報を組み合わせてもよい。
また、本発明の注目対象物選択部５３における注目対象物の選択の際に、注目対象物検出部５２により検出された注目対象物情報にユーザの操作情報やゲームの進行情報を組み合わせてもよい。
また、本発明の表示領域変更部５６に従来のユーザの操作情報やゲームの進行情報を用いた従来の出力画像の表示領域の変更方法と組み合わせてもよい。
また、本発明の画像出力方法および装置は、ゲーム機に限り適用されるものではない。例えば、展示場などで表示装置にシミュレーション情報を表示する場合などに好適である。 Note that when the target object detection unit 52 of the present invention detects the target object, the target object information detected by the target object detection unit 51 may be combined with user operation information or game progress information.
In addition, when selecting a target object in the target object selection unit 53 of the present invention, user's operation information or game progress information may be combined with the target object information detected by the target object detection unit 52. .
The display area changing unit 56 of the present invention may be combined with a conventional method for changing the display area of an output image using user operation information or game progress information.
Further, the image output method and apparatus of the present invention are not applied only to game machines. For example, it is suitable for displaying simulation information on a display device in an exhibition hall or the like.

実施例１のゲーム機の構成を示す図である。It is a figure which shows the structure of the game machine of Example 1. FIG. 図１に示される画像処理部４０および本体１０の構成を示すブロック図である。FIG. 2 is a block diagram illustrating configurations of an image processing unit 40 and a main body 10 illustrated in FIG. 1. 実施例１のゲーム機の動作を示すフローチャートである。3 is a flowchart illustrating the operation of the game machine according to the first embodiment. 出力画像の表示領域の変更方法の一例を示す図である。It is a figure which shows an example of the change method of the display area of an output image.

符号の説明Explanation of symbols

１０……ゲーム機本体、２０……コントローラ、３１および３２……カメラ、４０……画像処理部、４１……画像取得部、４２……顔検出部、４３……顔方向検出部、４４……目検出部、４５……視線方向検出部、４６……注目位置検出部、５１……対象物検出部、５２……注目対象物検出部、５３……注目対象物選択部、５４……注目対象物属性検出部、５５……動きベクトル検出部、５６……表示領域変更部   DESCRIPTION OF SYMBOLS 10 ... Game machine body, 20 ... Controller, 31 and 32 ... Camera, 40 ... Image processing part, 41 ... Image acquisition part, 42 ... Face detection part, 43 ... Face direction detection part, 44 ... ... eye detection unit, 45 ... gaze direction detection unit, 46 ... attention position detection unit, 51 ... object detection unit, 52 ... attention object detection unit, 53 ... attention object selection unit, 54 ... Object-of-interest attribute detection unit, 55... Motion vector detection unit, 56.

Claims (6)

表示装置に表示される出力画像の表示領域を変更する画像出力方法であって、
前記表示装置の水平方向の両側に設けられた２台のカメラにより前記表示装置を見る使用者の顔画像を撮影する撮影ステップと、
前記撮影ステップで撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出ステップと、
前記注目位置検出ステップで検出された位置に表示された前記出力画像の対象物を検出する対象物検出ステップと、
前記対象物検出ステップで検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更ステップと、
を含むことを特徴とする画像出力方法。 An image output method for changing a display area of an output image displayed on a display device,
A photographing step of photographing a face image of a user viewing the display device with two cameras provided on both sides in the horizontal direction of the display device;
A line-of-sight direction detecting step for detecting a line-of-sight direction of the user based on the face image photographed in the photographing step;
Attention position detection step for detecting the position of the display screen of the display device to which the user pays attention based on the gaze direction detected at the gaze direction detection step;
An object detection step of detecting an object of the output image displayed at the position detected in the attention position detection step;
A display area changing step for changing a display area of the output image based on the object detected in the object detecting step;
An image output method comprising: 前記表示領域変更ステップは、前記対象物検出ステップで検出された対象物が前記表示画面の中央に位置するように前記出力画像の表示領域を変更することを特徴とする請求項１記載の画像出力方法。   2. The image output according to claim 1, wherein the display area changing step changes the display area of the output image so that the object detected in the object detecting step is positioned at the center of the display screen. Method. 前記出力画像は、動画像であり、
前記表示領域変更ステップは、
前記動画像に基づいて前記対象物検出ステップで検出された対象物の移動の方向および大きさを検出する動き検出ステップを含み、
前記動き検出ステップで検出された対象物の移動の方向および大きさに基づいて前記出力画像の表示領域を変更することを特徴とする請求項３記載の画像出力方法。 The output image is a moving image,
The display area changing step includes:
A motion detection step of detecting a direction and a magnitude of the movement of the object detected in the object detection step based on the moving image;
4. The image output method according to claim 3, wherein the display area of the output image is changed based on the direction and magnitude of the movement of the object detected in the motion detection step. 表示装置に表示される出力画像の表示領域を変更する画像出力装置であって、
前記表示装置の水平方向の両側に設けられ、前記表示装置を見る使用者の顔画像を撮影する２台のカメラと、
前記２台のカメラにより撮影された顔画像に基づいて前記使用者の視線方向を検出する視線方向検出手段と、
前記視線方向検出手段により検出された視線方向に基づいて前記使用者が注目する前記表示装置の表示画面の位置を検出する注目位置検出手段と、
前記注目位置検出手段により検出された位置に表示された前記出力画像の対象物を検出する対象物検出手段と、
前記対象物検出手段により検出された対象物に基づいて前記出力画像の表示領域を変更する表示領域変更手段と、
を備えたことを特徴とする画像出力装置。 An image output device for changing a display area of an output image displayed on a display device,
Two cameras that are provided on both sides of the display device in the horizontal direction and that capture a face image of a user viewing the display device;
Gaze direction detecting means for detecting the gaze direction of the user based on face images taken by the two cameras;
Attention position detection means for detecting the position of the display screen of the display device to which the user pays attention based on the gaze direction detected by the gaze direction detection means;
Object detection means for detecting the object of the output image displayed at the position detected by the attention position detection means;
Display area changing means for changing the display area of the output image based on the object detected by the object detecting means;
An image output apparatus comprising: 前記表示領域変更手段は、前記対象物検出手段により検出された対象物が前記表示画面の中央になるように前記視野を変化させることを特徴とする請求項５記載の画像出力装置。   6. The image output apparatus according to claim 5, wherein the display area changing unit changes the visual field so that the object detected by the object detecting unit is in the center of the display screen. 前記出力画像は、動画像であり、
前記表示領域変更手段は、前記動画像に基づいて前記対象物検出手段により検出された前記対象物の移動方向を検出する移動方向検出手段を有し、
前記移動方向検出手段により検出された前記移動方向に基づいて前記表示領域を変更することを特徴とする請求項４記載の画像出力方法。 The output image is a moving image,
The display area changing means includes a moving direction detecting means for detecting a moving direction of the object detected by the object detecting means based on the moving image,
5. The image output method according to claim 4, wherein the display area is changed based on the movement direction detected by the movement direction detection means.
JP2005015185A 2005-01-24 2005-01-24 Image output method and device Pending JP2006202181A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005015185A JP2006202181A (en) 2005-01-24 2005-01-24 Image output method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005015185A JP2006202181A (en) 2005-01-24 2005-01-24 Image output method and device

Publications (1)

Publication Number Publication Date
JP2006202181A true JP2006202181A (en) 2006-08-03

Family

ID=36960112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005015185A Pending JP2006202181A (en) 2005-01-24 2005-01-24 Image output method and device

Country Status (1)

Country Link
JP (1) JP2006202181A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086336A (en) * 2008-09-30 2010-04-15 Fujitsu Ltd Image control apparatus, image control program, and image control method
WO2011071267A2 (en) * 2009-12-09 2011-06-16 Shin Hyo Sang Method for playing dynamic english graphics of english sentences for speed reading
WO2011093588A2 (en) * 2010-01-27 2011-08-04 Shin Hyo Sang Method for playing dynamic english graphics optimized to visual processing patterns of brain
US8107771B2 (en) 2007-03-19 2012-01-31 Sony Corporation Image processing apparatus and image processing method
US8363910B2 (en) 2007-03-08 2013-01-29 Sony Corporation Image processing device, image processing method, and program
JP2013094437A (en) * 2011-11-01 2013-05-20 Konami Digital Entertainment Co Ltd Game device, control method of the same, and program
US8456536B2 (en) 2007-03-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method and program with sightline detection
US8482651B2 (en) 2007-02-15 2013-07-09 Sony Corporation Image processing device and image processing method
US8852003B2 (en) 2008-12-22 2014-10-07 Nintendo Co., Ltd. Storage medium storing a game program, game apparatus and game controlling method
US8872929B2 (en) 2007-06-25 2014-10-28 Sony Corporation Picture imaging apparatus and imaging control method
CN104680560A (en) * 2015-02-28 2015-06-03 东华大学 Fast sports venues detection method based on image line element correspondence
US9261958B2 (en) 2009-07-29 2016-02-16 Samsung Electronics Co., Ltd. Apparatus and method for navigation in digital object using gaze information of user

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482651B2 (en) 2007-02-15 2013-07-09 Sony Corporation Image processing device and image processing method
US8363910B2 (en) 2007-03-08 2013-01-29 Sony Corporation Image processing device, image processing method, and program
US8107771B2 (en) 2007-03-19 2012-01-31 Sony Corporation Image processing apparatus and image processing method
US8456536B2 (en) 2007-03-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method and program with sightline detection
US8872929B2 (en) 2007-06-25 2014-10-28 Sony Corporation Picture imaging apparatus and imaging control method
JP2010086336A (en) * 2008-09-30 2010-04-15 Fujitsu Ltd Image control apparatus, image control program, and image control method
US8852003B2 (en) 2008-12-22 2014-10-07 Nintendo Co., Ltd. Storage medium storing a game program, game apparatus and game controlling method
US9421462B2 (en) 2008-12-22 2016-08-23 Nintendo Co., Ltd. Storage medium storing a game program, game apparatus and game controlling method
US9261958B2 (en) 2009-07-29 2016-02-16 Samsung Electronics Co., Ltd. Apparatus and method for navigation in digital object using gaze information of user
US8310505B2 (en) 2009-12-09 2012-11-13 Hyo Sang Shin Method for playing dynamic english graphics of english sentences for speed reading
GB2488005A (en) * 2009-12-09 2012-08-15 Hyo Sang Shin Method for playing dynamic english graphics of english sentences for speed reading
WO2011071267A3 (en) * 2009-12-09 2011-09-15 Shin Hyo Sang Method for playing dynamic english graphics of english sentences for speed reading
WO2011071267A2 (en) * 2009-12-09 2011-06-16 Shin Hyo Sang Method for playing dynamic english graphics of english sentences for speed reading
WO2011093588A3 (en) * 2010-01-27 2011-10-20 Shin Hyo Sang Method for playing dynamic english graphics optimized to visual processing patterns of brain
WO2011093588A2 (en) * 2010-01-27 2011-08-04 Shin Hyo Sang Method for playing dynamic english graphics optimized to visual processing patterns of brain
JP2013094437A (en) * 2011-11-01 2013-05-20 Konami Digital Entertainment Co Ltd Game device, control method of the same, and program
CN104680560A (en) * 2015-02-28 2015-06-03 东华大学 Fast sports venues detection method based on image line element correspondence
CN104680560B (en) * 2015-02-28 2017-10-24 东华大学 Based on the corresponding sports place quick determination method of image line element

Similar Documents

Publication Publication Date Title
JP2006202181A (en) Image output method and device
JP6576536B2 (en) Information processing device
JP6112878B2 (en) Wearable display device and program
JP2014238731A (en) Image processor, image processing system, and image processing method
CN107844190B (en) Image display method and device based on virtual reality VR equipment
JP2007052304A (en) Video display system
WO2016163183A1 (en) Head-mounted display system and computer program for presenting real space surrounding environment of user in immersive virtual space
WO2012124150A1 (en) Video display device
US7940295B2 (en) Image display apparatus and control method thereof
JP2014106888A (en) Work assistance system, and program
JP2011010126A (en) Image processing apparatus, and image processing method
CN109219795A (en) page switching method, device, terminal and storage medium
JP5348114B2 (en) Information display system, apparatus, method and program
JP2012173683A (en) Display control device, information display apparatus, and display control method
JP2017046065A (en) Information processor
WO2020105269A1 (en) Information processing device, information processing method, and program
JP5212521B2 (en) Image display device
CN115016752A (en) Image display method and equipment
JP5718502B2 (en) Image creating apparatus and image creating method
JP2006287813A (en) Three-dimensional image display device
JP7341674B2 (en) Information processing device, information processing method and program
JP6837031B2 (en) Stereoscopic image display device, stereoscopic image display method and program
JP6725999B2 (en) Information processing apparatus, information processing apparatus control method, and program
WO2022255058A1 (en) Information processing device and image generation method
JP2022140421A (en) Imaging system, imaging apparatus, display unit, control method, and program