JP2013122553A

JP2013122553A - Display system, display program and display method

Info

Publication number: JP2013122553A
Application number: JP2011271485A
Authority: JP
Inventors: Yuji Kunigome; 祐司國米; Yutaka Iwasaki; 豊岩崎; Tomomi Takashina; 知巳高階; Hideki Sasaki; 秀貴佐々木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-12-12
Filing date: 2011-12-12
Publication date: 2013-06-20
Anticipated expiration: 2031-12-12
Also published as: JP6007490B2

Abstract

PROBLEM TO BE SOLVED: To solve the problem in which: in the conventional display system, an image of an object such as a document is copied but the image cannot be displayed at an optional position and at an optional time of a user in a real space.SOLUTION: The display system includes: an object specification section for specifying an object from the movement of a user, an object image input section for inputting an image in which the object is imaged; and an image output section for outputting the image of the object when a condition to display the object is satisfied. The display system further includes a display position specification section for specifying a display position to display the image of the object from the movement of the user. In the display system, the image output section outputs the image of the object and displays the image at a display position when the condition to display the object is satisfied.

Description

本発明は、表示システム、表示プログラムおよび表示方法に関する。 The present invention relates to a display system, a display program, and a display method.

特許文献１には、コピー対象を正確に選択するための方法が記載されている。特許文献２には、マルチタッチパネルにおいて、指のジェスチャーにより情報を入力する方法が記載されている。特許文献３には、対象物を含む領域に注釈画像を表示する方法が記載されている。
［特許文献１］特許第４０５６４７７号明細書
［特許文献２］特表２０１０−５３２０５５号公報
［特許文献３］特開２００９−２９０４８８号公報 Patent Document 1 describes a method for accurately selecting a copy target. Patent Document 2 describes a method of inputting information by a finger gesture on a multi-touch panel. Patent Document 3 describes a method for displaying an annotation image in a region including an object.
[Patent Document 1] Japanese Patent No. 4056477 [Patent Document 2] Japanese Translation of PCT International Publication No. 2010-532055 [Patent Document 3] Japanese Patent Application Laid-Open No. 2009-290488

しかし、従来、例えば書類等の対象物の画像をコピーして、実空間内のユーザの指定する任意の位置に、任意のタイミングで表示させることはできなかった。 However, conventionally, for example, an image of an object such as a document cannot be copied and displayed at an arbitrary timing in an arbitrary position designated by the user in the real space.

本発明の第１の態様においては、ユーザの動きから対象物を特定する対象特定部と、対象物を撮像した画像を入力する対象画像入力部と、対象物を表示すべき条件が満たされたことに応じて、対象物の画像を出力する画像出力部と、を備える表示システムを提供する。 In the first aspect of the present invention, a target specifying unit that specifies a target from a user's movement, a target image input unit that inputs an image of the target, and a condition for displaying the target are satisfied. Accordingly, a display system including an image output unit that outputs an image of an object is provided.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

第１の実施形態に係る表示システム１０の構成を示す。1 shows a configuration of a display system 10 according to a first embodiment. 本実施形態に係る制御装置３０の機能構成の一例を示す。An example of a functional structure of the control apparatus 30 which concerns on this embodiment is shown. 本実施形態に係る制御装置３０における、対象物を撮像する際の処理フローを示す。The processing flow at the time of imaging the target object in the control apparatus 30 which concerns on this embodiment is shown. 本実施形態に係る制御装置３０における、対象物を撮像する際の処理フローを示す。The processing flow at the time of imaging the target object in the control apparatus 30 which concerns on this embodiment is shown. 本実施形態に係る制御装置３０における、出力画像を表示させる際の処理フローを示す。The processing flow at the time of displaying an output image in control device 30 concerning this embodiment is shown. 本実施形態に係る表示システム１０において、「案内状」を表示対象とした場合の例を示す。In the display system 10 according to the present embodiment, an example in the case where “Guidance” is displayed is shown. 第２の実施形態に係る制御装置３００の機能構成の一例を示す。An example of a functional structure of the control apparatus 300 which concerns on 2nd Embodiment is shown. 本実施形態に係るコンピュータ１９００のハードウエア構成の一例を示す。2 shows an exemplary hardware configuration of a computer 1900 according to the present embodiment.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図１は、本実施形態に係る表示システム１０の構成を示す。表示システム１０は、実空間内の対象物１４をユーザの指定に応じて特定し、その画像を撮像して保存する。そして、表示システム１０は、指定された日時となったこと等の予め定められた条件が満たされたことに応じて、対象物１４の画像を表示する。このように、表示システム１０は、実空間内の対象物１４をあたかも"コピー"し、条件に応じて表示することによりあたかも"ペースト"することができる。これにより、必要な画像を必要なときに得られる環境を提供することができる。 FIG. 1 shows a configuration of a display system 10 according to the present embodiment. The display system 10 specifies the object 14 in the real space according to the user's designation, and captures and stores the image. Then, the display system 10 displays an image of the object 14 in response to the fact that a predetermined condition such as the designated date and time has been satisfied. In this way, the display system 10 can “paste” the object 14 in the real space as if it was “copied” and displayed according to the conditions. Thereby, it is possible to provide an environment where necessary images can be obtained when necessary.

例えば、図１に示されるように、表示システム１０は、ユーザが持つハガキを対象物１４として特定し、ハガキの画像を撮像して保存する。次に、表示システム１０は、ハガキの画像を表示させたいタイミングの指定をユーザから受ける。その後、指定されたタイミングとなったとき、表示システム１０は、対象物１４であるハガキの出力画像２０を部屋の壁に表示する。このように表示システム１０は、ユーザが表示させたい対象物１４を、ユーザの望むタイミングで表示させることができる。 For example, as illustrated in FIG. 1, the display system 10 specifies a postcard held by the user as the object 14, captures and stores a postcard image. Next, the display system 10 receives a designation of timing for displaying a postcard image from the user. Thereafter, when the designated timing is reached, the display system 10 displays the output image 20 of the postcard as the object 14 on the wall of the room. In this way, the display system 10 can display the object 14 that the user wants to display at a timing desired by the user.

表示システム１０は、１または複数の動作撮像部２２と、１または複数の対象撮像部２４と、１または複数の画像表示部２６と、制御装置３０とを備える。本実施形態のように、表示システム１０は部屋内に設けられてよい。なお、表示システム１０は、一つの部屋内のみならず複数の部屋にまたがって設けられてもよく、各部屋に動作撮像部２２、対象撮像部２４、および画像表示部２６の少なくとも１つを設けて部屋をまたがったコピーアンドペーストを実現してもよい。 The display system 10 includes one or more motion imaging units 22, one or more target imaging units 24, one or more image display units 26, and a control device 30. As in the present embodiment, the display system 10 may be provided in a room. Note that the display system 10 may be provided not only in one room but also across a plurality of rooms, and at least one of the motion imaging unit 22, the target imaging unit 24, and the image display unit 26 is provided in each room. Copy and paste across rooms may be realized.

１または複数の動作撮像部２２のそれぞれは、ユーザの動きを撮像する。動作撮像部２２は、スチルカメラまたはビデオカメラであってよい。ユーザの動作をより広い範囲で捉えるように、動作撮像部２２は対象撮像部２４に対して焦点距離の小さいレンズを備えてもよい。また、動作撮像部２２は、移動するユーザに合わせて、位置および／または撮影方向等を変更するために駆動部を有してよい。動作撮像部２２は、ユーザの動きを３次元で検出すべく、ステレオカメラ等の多眼カメラであってよく、これに代えて赤外線発光部および赤外線カメラを有する深度センサ等を有していてもよい。 Each of the one or more motion imaging units 22 images a user's movement. The motion imaging unit 22 may be a still camera or a video camera. The motion imaging unit 22 may include a lens having a small focal length with respect to the target imaging unit 24 so as to capture the user's motion in a wider range. Further, the motion imaging unit 22 may have a drive unit in order to change the position and / or shooting direction according to the moving user. The motion imaging unit 22 may be a multi-lens camera such as a stereo camera in order to detect a user's movement in three dimensions, and may include a depth sensor having an infrared light emitting unit and an infrared camera instead. Good.

１または複数の対象撮像部２４のぞれぞれは、ユーザが指定する対象物１４の画像（対象画像）を撮像する。対象撮像部２４は、例えば、スチルカメラまたはビデオカメラである。離れた対象画像を鮮明に撮像できるように、対象撮像部２４は、動作撮像部２２と比較して高倍率のレンズまたはズームレンズを備えてもよく、および／または、より高解像度の画像を撮像可能であってもよい。対象撮像部２４は、位置および／または撮影方向等を変更するために駆動部を有してよく、これにより指定された場所を撮像することができる。 Each of the one or more target imaging units 24 captures an image (target image) of the target 14 specified by the user. The target imaging unit 24 is, for example, a still camera or a video camera. The target imaging unit 24 may include a high-magnification lens or zoom lens and / or capture a higher-resolution image so that a remote target image can be clearly captured. It may be possible. The target imaging unit 24 may include a driving unit to change the position and / or the shooting direction and the like, thereby imaging a designated place.

１または複数の画像表示部２６のそれぞれは、実空間に画像を表示する。例えば、画像表示部２６は、部屋内に画像を投影表示するプロジェクタ等である。なお、画像表示部２６がプロジェクタである場合、画像表示部２６は位置および／または投影方向等を変更するために駆動部を有してよく、これにより指定された場所に画像を投影表示することができる。これに代えて、画像表示部２６は、ディスプレイ等の表示装置であってもよい。 Each of the one or more image display units 26 displays an image in the real space. For example, the image display unit 26 is a projector that projects and displays an image in a room. In the case where the image display unit 26 is a projector, the image display unit 26 may have a drive unit for changing the position and / or projection direction and the like, thereby projecting and displaying an image at a designated place. Can do. Instead of this, the image display unit 26 may be a display device such as a display.

制御装置３０は、動作撮像部２２のそれぞれ、対象撮像部２４のそれぞれ、および画像表示部２６のそれぞれに対して、有線または無線により接続され、これらの動作を制御する。より具体的には、制御装置３０は、各動作撮像部２２が撮像した画像を取得して、ユーザの動きを認識する。 The control device 30 is connected to each of the motion imaging unit 22, each of the target imaging unit 24, and each of the image display unit 26 by wired or wireless, and controls these operations. More specifically, the control device 30 acquires an image captured by each motion imaging unit 22 and recognizes the movement of the user.

次に、制御装置３０は、各対象撮像部２４が撮像したユーザの動きから対象物１４を特定して、対象画像を取得する。次に、制御装置３０は、対象画像および／またはユーザから対象画像を表示させるための条件を取得する。そして、制御装置３０は、対象画像を表示させる条件が満たされたときに、画像表示部２６に対象画像を所定の表示位置に表示させる。 Next, the control device 30 specifies the target object 14 from the movement of the user imaged by each target imaging unit 24 and acquires the target image. Next, the control device 30 acquires a condition for displaying the target image from the target image and / or the user. Then, the control device 30 causes the image display unit 26 to display the target image at a predetermined display position when the condition for displaying the target image is satisfied.

なお、表示システム１０は、実空間における対象物１４の３次元位置を検出する位置検出装置を、動作撮像部２２および対象撮像部２４とは別に備えてもよい。位置検出装置は、例えば、右側カメラと左側カメラとを有するステレオカメラである。このような位置検出装置は、右側カメラにより撮像された画像と左側カメラにより撮像された画像との間の視差により、画面内の対象物１４までの距離を検出する。そして、表示システム１０は、位置検出装置によって検出された対象物１４の位置および距離情報を用いて、対象撮像部２４の向きおよびピント位置等を調整し、対象撮像部２４に鮮明な対象画像を撮像させる。また、表示システム１０は、外部に設けられた動作撮像部２２および対象撮像部２４および画像表示部２６を着脱可能な制御装置３０により構成されてもよい。 Note that the display system 10 may include a position detection device that detects the three-dimensional position of the object 14 in the real space separately from the motion imaging unit 22 and the target imaging unit 24. The position detection device is, for example, a stereo camera having a right camera and a left camera. Such a position detection device detects the distance to the object 14 in the screen based on the parallax between the image captured by the right camera and the image captured by the left camera. Then, the display system 10 adjusts the orientation and focus position of the target imaging unit 24 using the position and distance information of the target 14 detected by the position detection device, and displays a clear target image on the target imaging unit 24. Let's take an image. Further, the display system 10 may be configured by a control device 30 that can attach and detach the motion imaging unit 22, the target imaging unit 24, and the image display unit 26 that are provided outside.

図２は、本実施形態に係る制御装置３０の機能構成の一例を、動作撮像部２２、対象撮像部２４、および画像表示部２６とともに示す。制御装置３０は、対象特定部４０と、対象画像入力部４２と、条件入力部４６と、表示位置特定部４８と、記憶部５０と、ユーザ検出部５２と、動作検出部５４と、画像出力部５６とを有する。 FIG. 2 shows an example of the functional configuration of the control device 30 according to the present embodiment, together with the motion imaging unit 22, the target imaging unit 24, and the image display unit 26. The control device 30 includes a target specifying unit 40, a target image input unit 42, a condition input unit 46, a display position specifying unit 48, a storage unit 50, a user detection unit 52, a motion detection unit 54, and an image output. Part 56.

対象特定部４０は、動作撮像部２２が撮像した画像又は動画等を受け取り、動作撮像部２２が撮像したユーザの動きから対象物１４を特定する。具体的には、対象特定部４０は、動作撮像部２２が撮像した画像等から、ユーザの体の部分の動きを検出して、ユーザが予め定められた動きをしたかを判断する。ユーザが予め定められた動きをした場合は、対象特定部４０は、その動きから対象物１４を特定する。 The target specifying unit 40 receives an image, a moving image, or the like captured by the motion imaging unit 22 and identifies the target 14 from the user's motion captured by the motion imaging unit 22. Specifically, the target specifying unit 40 detects the movement of the body part of the user from the image captured by the motion imaging unit 22 and determines whether the user has made a predetermined movement. When the user makes a predetermined movement, the object specifying unit 40 specifies the object 14 from the movement.

次に、対象特定部４０は、対象撮像部２４を制御して対象物１４の方向に向けさせ、対象画像を撮像させる。具体的には、対象特定部４０は、動作撮像部２２および対象撮像部２４の両方から対象画像を取得して、対象物１４を画像の中心で鮮明に撮像するように対象撮像部２４の向きおよびピント位置等を制御する。そして、対象特定部４０は、対象撮像部２４の向きおよびピント位置等を対象物１４に合わせた後、対象画像入力部４２に対象画像を取得するよう指示する。 Next, the target specifying unit 40 controls the target imaging unit 24 to point in the direction of the target object 14 to capture the target image. Specifically, the target specifying unit 40 acquires the target image from both the motion imaging unit 22 and the target imaging unit 24, and the orientation of the target imaging unit 24 so as to capture the target 14 clearly at the center of the image. Control the focus position. Then, the target specifying unit 40 instructs the target image input unit 42 to acquire the target image after matching the orientation and focus position of the target imaging unit 24 with the target object 14.

対象画像入力部４２は、対象特定部４０の指示に応じて、対象撮像部２４が対象物１４を撮像した対象画像を入力する。対象画像入力部４２は、対象画像を条件入力部４６および記憶部５０に供給する。 The target image input unit 42 inputs a target image in which the target imaging unit 24 images the target object 14 in accordance with an instruction from the target specifying unit 40. The target image input unit 42 supplies the target image to the condition input unit 46 and the storage unit 50.

条件入力部４６は、対象画像を表示する条件を入力し、記憶部５０に格納する。例えば、条件入力部４６は、制御装置３０の外部のキーボード等の入力機器と接続されて、入力機器を介してユーザが入力した条件を記憶部５０に格納する。条件入力部４６は、指定された日時になったこと、指定された人物が検出されたこと、および／または指定された特定の動きを検出したことを、対象画像を表示する条件としてよい。また、条件入力部４６は、ユーザから「指定された人物」の顔画像等を入力して、人物特定用の画像としてユーザ検出部５２に供給してよい。 The condition input unit 46 inputs a condition for displaying the target image and stores it in the storage unit 50. For example, the condition input unit 46 is connected to an input device such as a keyboard outside the control device 30, and stores the condition input by the user via the input device in the storage unit 50. The condition input unit 46 may set a condition for displaying the target image that the designated date and time have been reached, that the designated person has been detected, and / or that the designated specific movement has been detected. Further, the condition input unit 46 may input a face image of “designated person” from the user and supply it to the user detection unit 52 as an image for specifying a person.

これに代えて、および／またはこれに加えて、条件入力部４６は、対象画像入力部４２から受け取った対象画像から日時の情報を取得し、取得した日時または日時よりも予め定められた時間前の日時を、対象画像を表示する条件としてもよい。条件入力部４６は、対象画像を表示する条件を、対象画像に対応付けて記憶部５０に格納する。 Instead of this, and / or in addition to this, the condition input unit 46 acquires date and time information from the target image received from the target image input unit 42, and is obtained a predetermined time before the acquired date and time or date and time. May be a condition for displaying the target image. The condition input unit 46 stores the conditions for displaying the target image in the storage unit 50 in association with the target image.

表示位置特定部４８は、ユーザが撮像された画像等を動作撮像部２２から取得して、画像等におけるユーザの動きから対象画像を表示すべき表示位置を特定する。具体的には、表示位置特定部４８は、動作撮像部２２が撮像した画像等から、ユーザの体の部分の動きを検出する。そして、検出したユーザの動きから、対象画像を表示すべき位置を特定する。表示位置特定部４８は、特定した表示位置を対象画像に対応付けて記憶部５０に格納する。 The display position specifying unit 48 acquires an image captured by the user from the motion imaging unit 22 and specifies a display position where the target image is to be displayed based on the user's movement in the image. Specifically, the display position specifying unit 48 detects the movement of the user's body part from the image captured by the motion imaging unit 22 or the like. And the position which should display a target image is specified from the detected user's motion. The display position specifying unit 48 stores the specified display position in the storage unit 50 in association with the target image.

記憶部５０は、例えばハードディスク装置等の記憶装置であり、対象画像入力部４２から対象画像を取得し、条件入力部４６から対象画像を表示すべき条件を取得し、表示位置特定部４８から対象画像の表示位置を取得して、これらを対応付けて記憶する。 The storage unit 50 is a storage device such as a hard disk device, for example, acquires a target image from the target image input unit 42, acquires a condition for displaying the target image from the condition input unit 46, and acquires a target from the display position specifying unit 48. Image display positions are acquired and stored in association with each other.

ユーザ検出部５２は、動作撮像部２２から画像等を取得して、予め定められた範囲内に予め定められたユーザが存在するか否かを検出する。例えば、ユーザ検出部５２は、動作撮像部２２の撮像範囲内または室内等において撮像された人物と、予め登録された人物の顔等を比較する。そして、ユーザ検出部５２は、その比較結果から、画像中に予め定められたユーザが存在するかの情報を画像出力部５６に供給する。また、ユーザ検出部５２は、条件入力部４６から新しく登録する人物の顔画像等を取得した場合は、人物と顔画像等を対応付けて保存し、以後のユーザ検出で使用する。 The user detection unit 52 acquires an image or the like from the motion imaging unit 22 and detects whether or not a predetermined user exists within a predetermined range. For example, the user detection unit 52 compares a person captured in the imaging range of the motion imaging unit 22 or in a room with a face of a person registered in advance. Then, the user detection unit 52 supplies the image output unit 56 with information as to whether or not a predetermined user exists in the image from the comparison result. In addition, when a face image or the like of a person to be newly registered is acquired from the condition input unit 46, the user detection unit 52 stores the person and the face image or the like in association with each other and uses it for subsequent user detection.

動作検出部５４は、動作撮像部２２の画像から、対象物１４の表示を指示するユーザの動きを検出する。具体的には、動作検出部５４は、動作撮像部２２が撮像した画像等から、ユーザの体の部分の動きを検出する。そして、ユーザの動きが予め定められた動きのパターンに該当する場合は、動作検出部５４は、ユーザの動きのパターンを示す情報を画像出力部５６に入力する。 The motion detection unit 54 detects the movement of the user who instructs the display of the object 14 from the image of the motion imaging unit 22. Specifically, the motion detection unit 54 detects the movement of the body part of the user from the image captured by the motion imaging unit 22. When the user motion corresponds to a predetermined motion pattern, the motion detection unit 54 inputs information indicating the user motion pattern to the image output unit 56.

画像出力部５６は、対象物１４を表示すべき条件が満たされたことに応じて、対象画像を、画像出力部５６に接続された画像表示部２６に出力する。具体的には、画像出力部５６は、記憶部５０にアクセスして、各対象画像に対応付けられた条件のうち、ユーザ検出部５２が検出したユーザ、動作検出部５４が検出したユーザの動きのパターン、および現在時刻に適合する条件が存在するか否か検索する。記憶部５０内のいずれかの条件が成立している場合には、画像出力部５６は、条件に対応付けられた対象画像を表示位置とともに、画像出力部５６に接続された画像表示部２６に出力する。そして、画像表示部２６は、受け取った表示位置の情報に基づき投影方向および出力画像２０の大きさ等を変更し、対象画像を指定された表示位置に表示する。 The image output unit 56 outputs the target image to the image display unit 26 connected to the image output unit 56 when the condition for displaying the target object 14 is satisfied. Specifically, the image output unit 56 accesses the storage unit 50, and among the conditions associated with each target image, the user detected by the user detection unit 52 and the user motion detected by the motion detection unit 54 And whether there is a condition that matches the pattern and the current time. When any condition in the storage unit 50 is satisfied, the image output unit 56 displays the target image associated with the condition together with the display position on the image display unit 26 connected to the image output unit 56. Output. Then, the image display unit 26 changes the projection direction and the size of the output image 20 based on the received display position information, and displays the target image at the specified display position.

このような構成により、制御装置３０は、対象画像および対象画像を表示すべき条件を取得して保存する。そして、制御装置３０は、動作撮像部２２が撮像したユーザの画像等および日時等から対象画像を表示すべき条件が満たされたか否かを判断する。そして、対象画像を表示する条件が満たされたときに、制御装置３０は、保存した対象画像を表示させることができる。 With such a configuration, the control device 30 acquires and stores the target image and the conditions for displaying the target image. And the control apparatus 30 judges whether the conditions which should display a target image were satisfy | filled from the user's image etc. which the motion imaging part 22 imaged, and a date. Then, when the condition for displaying the target image is satisfied, the control device 30 can display the stored target image.

図３および図４は、本実施形態に係る制御装置３０における、対象物を撮像する際の処理フローを示す。制御装置３０は、対象物１４を撮像する場合において、図３のステップＳ１０１からＳ１０６および図４のＳ１０７からＳ１１３までの処理を実行する。 3 and 4 show a processing flow when the target device is imaged in the control device 30 according to the present embodiment. When imaging the object 14, the control device 30 performs the processing from steps S101 to S106 in FIG. 3 and S107 to S113 in FIG.

まず、ステップＳ１０１において、動作撮像部２２がユーザを撮像する。次に、ステップＳ１０２において、対象特定部４０は、動作撮像部２２が撮像した画像または動画からユーザの動きを認識する。例えば、対象特定部４０は、撮像された画像等における対象物１４を特定するための指示を認識するために検出すべき体の部分（例えば、手、指、または腕等）の動きを追跡し、動きの方向、動きの量、および／または大きさの変化等を検出する。 First, in step S101, the motion imaging unit 22 images the user. Next, in step S 102, the target specifying unit 40 recognizes the user's movement from the image or moving image captured by the motion imaging unit 22. For example, the target specifying unit 40 tracks the movement of a body part (for example, a hand, a finger, or an arm) to be detected in order to recognize an instruction for specifying the target object 14 in a captured image or the like. , Detecting a change in the direction of movement, the amount of movement, and / or the magnitude.

次に、ステップＳ１０３において、対象特定部４０は、ユーザが予め定められた動きをしたことを検出したか否か判断する。対象特定部４０は、例えば、図１に示すようにユーザが手に持った物体を対象撮像部２４に近づける動作、ユーザが部屋内にある物体を指差す動作、またはユーザが部屋内のある物体に片手で触れるとともにもう一方の手を回す動作等のジェスチャーを検出してよい。 Next, in step S103, the target specifying unit 40 determines whether it is detected that the user has made a predetermined movement. For example, as illustrated in FIG. 1, the target specifying unit 40 is an operation in which an object held by a user is brought close to the target imaging unit 24, an operation in which the user points an object in the room, or an object in the room It is also possible to detect a gesture such as a movement of touching the hand with one hand and turning the other hand.

また、例えば、ホワイトボード、壁面またはテーブル上に記載され、または置かれた書類等を対象物１４とする場合、対象特定部４０は、ホワイトボード上の書類等をユーザが手のひら等で塗りつぶすようになぞる動作を検出してよい。対象特定部４０が予め定められた動きを検出できたとき（ステップＳ１０３のＹ）は、処理はステップＳ１０４に進み、検出できないとき（ステップＳ１０３のＮ）は、処理はステップＳ１０１に戻る。 In addition, for example, when a document or the like written on or placed on a whiteboard, a wall surface, or a table is used as the object 14, the target specifying unit 40 causes the user to paint the document or the like on the whiteboard with a palm or the like. A tracing action may be detected. When the target specifying unit 40 can detect a predetermined movement (Y in step S103), the process proceeds to step S104, and when it cannot be detected (N in step S103), the process returns to step S101.

次に、ステップＳ１０４において、対象特定部４０は、検出されたユーザの動きから、対象物１４を特定する。例えば、ユーザが手に持った物体を対象撮像部２４に近づける動作を検出した場合は、ユーザが手に持った物体を対象物１４として特定する。図１に示す例では、対象特定部４０は、ユーザが手に持って対象撮像部２４に近づけているハガキを対象物１４として特定している。 Next, in step S104, the target specifying unit 40 specifies the target object 14 from the detected user movement. For example, when an operation of bringing an object held by the user close to the target imaging unit 24 is detected, the object held by the user is specified as the target object 14. In the example illustrated in FIG. 1, the target specifying unit 40 specifies, as the target object 14, a postcard that the user holds in his hand and is close to the target imaging unit 24.

ここで、対象特定部４０は、以下に示すようなユーザの動きをもとに、対象物１４を特定してよい。例えば、対象特定部４０は、ユーザが部屋内にある物体を指差す動作を検出した場合は、ユーザが指差した対象の物体を対象物１４として特定する。また、例えば、対象特定部４０は、ユーザが部屋内のある物体に片手で触れるとともにもう一方の手を回す動作を検出した場合には、ユーザが触れている物体を対象物１４として特定する。また、例えば、対象特定部４０は、ユーザがホワイトボード上の書類等をユーザが手のひら等で塗りつぶすようになぞる動作を検出した場合は、ホワイトボード上のユーザがなぞった範囲を対象物１４として特定する。 Here, the object specifying unit 40 may specify the object 14 based on the user's movement as described below. For example, when the operation of pointing the object in the room is detected by the user, the target specifying unit 40 specifies the target object pointed by the user as the target object 14. Further, for example, when the user detects an operation of touching an object in the room with one hand and turning the other hand, the target specifying unit 40 specifies the object touched by the user as the target object 14. Further, for example, when the user detects an operation of tracing the document on the whiteboard so that the user paints it with a palm or the like, the target specifying unit 40 specifies the range traced by the user on the whiteboard as the target 14. To do.

続いて、ステップＳ１０５において、対象特定部４０は、対象撮像部２４に対象物１４の撮像を指示する。具体的には、対象特定部４０は、まず、対象撮像部２４から画像を取得した後、対象撮像部２４からの画像中における、対象物１４の占める範囲を画定する。対象撮像部２４からの画像に対象物１４が含まれていない場合には、対象撮像部２４の撮影範囲に対象物１４が含まれるように、対象特定部４０は対象撮像部２４の向きを変更させる。 Subsequently, in step S 105, the target specifying unit 40 instructs the target imaging unit 24 to image the target 14. Specifically, the target specifying unit 40 first acquires an image from the target imaging unit 24, and then defines a range occupied by the target object 14 in the image from the target imaging unit 24. When the target 14 is not included in the image from the target imaging unit 24, the target specifying unit 40 changes the orientation of the target imaging unit 24 so that the target 14 is included in the shooting range of the target imaging unit 24. Let

次に、対象特定部４０は、対象物１４を画像の中心で捉えるように対象撮像部２４の向きを変更する。対象物１４を画像の中心で捉えたときに、対象特定部４０は対象画像入力部４２に対象画像の取得を指示する。 Next, the target specifying unit 40 changes the direction of the target imaging unit 24 so that the target 14 is captured at the center of the image. When the target 14 is captured at the center of the image, the target specifying unit 40 instructs the target image input unit 42 to acquire the target image.

次に、ステップＳ１０６において、対象画像入力部４２が、対象撮像部２４から対象画像を取得する。ここで、鮮明な対象画像を取得する目的で、対象画像入力部４２は、対象撮像部２４に対象物１４を中心に入れたままズームして拡大して撮像させてもよい。 Next, in step S 106, the target image input unit 42 acquires a target image from the target imaging unit 24. Here, for the purpose of obtaining a clear target image, the target image input unit 42 may cause the target imaging unit 24 to zoom in and zoom in on the target object 14 in the center.

次に、図４に示すステップＳ１０７において、対象画像入力部４２は対象物１４を撮像した対象画像を入力して、条件入力部４６および記憶部５０に供給する。対象画像入力部４２は、対象物１４を撮像した画像の全体を供給してもよく、これに代えて、対象物１４が含まれる一部範囲を切り出した画像を供給してもよい。 Next, in step S 107 illustrated in FIG. 4, the target image input unit 42 inputs a target image obtained by capturing the target 14 and supplies the target image to the condition input unit 46 and the storage unit 50. The target image input unit 42 may supply the entire image obtained by capturing the target object 14, or may supply an image obtained by cutting out a partial range including the target object 14 instead.

次にステップＳ１０８において、条件入力部４６は、対象画像入力部４２から入力された対象画像を認識することにより、対象画像を表示するタイミングを決定して入力する。例えば、対象物１４が日付の記載された書類である場合、条件入力部４６は、書類に記載された日付および／または時刻を認識して、当該日付の予め定められた時間、当該時刻、または当該時刻から所定の時間を差し引いた時刻を、対象画像を表示すべきタイミングであると決定する。条件入力部４６は、対象画像を表示するタイミングを、対象画像を表示すべき条件として、対象画像と対応付けて記憶部５０に格納する。 In step S108, the condition input unit 46 recognizes the target image input from the target image input unit 42, thereby determining and inputting the timing for displaying the target image. For example, when the object 14 is a document in which a date is described, the condition input unit 46 recognizes the date and / or time described in the document, and the predetermined time, the time, or the time of the date The time obtained by subtracting a predetermined time from the time is determined as the timing for displaying the target image. The condition input unit 46 stores the timing of displaying the target image in the storage unit 50 in association with the target image as a condition for displaying the target image.

次にステップＳ１０９において、条件入力部４６は、ステップＳ１０８において画像表示タイミングを決定したか否かについて判断する。画像表示タイミングを決定した場合（ステップＳ１０９のＹ）、処理はステップＳ１１０に進み、決定できなかった場合（ステップＳ１０９のＮ）、処理はステップＳ１１１に進む。 Next, in step S109, the condition input unit 46 determines whether or not the image display timing has been determined in step S108. If the image display timing is determined (Y in step S109), the process proceeds to step S110. If the image display timing cannot be determined (N in step S109), the process proceeds to step S111.

処理がステップＳ１１０に進んだ場合、条件入力部４６は、ユーザが対象画像を表示させるための条件入力を指示したか否かについて判断する。ユーザが条件入力をした場合（ステップＳ１１０のＹ）、処理はステップＳ１１１に進む。ユーザが条件入力をしなかった場合（ステップＳ１１０のＮ）、ステップＳ１０８で決定したタイミングのみが、対象画像を表示するための条件となる。この場合、処理はステップＳ１１２へ進む。 When the process proceeds to step S110, the condition input unit 46 determines whether or not the user has instructed the condition input for displaying the target image. If the user inputs a condition (Y in step S110), the process proceeds to step S111. When the user does not input a condition (N in step S110), only the timing determined in step S108 is a condition for displaying the target image. In this case, the process proceeds to step S112.

処理がステップＳ１１１に進んだ場合、条件入力部４６は、対象画像を表示する条件を入力し、入力した条件を記憶部５０に格納する。例えば、条件入力部４６は、入力機器を介してユーザの指示を取得し、ユーザの指示に基づいて「所定の日時および／または時刻になったこと」、「所定の人物が部屋内に存在すること」、および「ユーザが所定の動作を行ったこと」、またはこれらのＡＮＤ条件、およびＯＲ条件等による組み合わせを対象画像を表示する条件として入力する。ユーザの指示がない場合、条件入力部４６は、「ステップＳ１０１〜１０４で、対象物１４を特定したユーザが部屋内に存在すること」等の予め定められた条件を、対象画像を表示するための条件としてよい。 When the process proceeds to step S 111, the condition input unit 46 inputs a condition for displaying the target image, and stores the input condition in the storage unit 50. For example, the condition input unit 46 acquires a user instruction via an input device, and “a predetermined date and / or time has been reached” or “a predetermined person exists in the room based on the user instruction. ”And“ the user has performed a predetermined operation ”, or a combination of these AND conditions, OR conditions, etc., is input as a condition for displaying the target image. When there is no user instruction, the condition input unit 46 displays the target image under a predetermined condition such as “the user who specified the target object 14 is present in the room in steps S101 to S104”. It is good as the condition.

ステップＳ１１１において、「所定の日時および／または時刻になったこと」を条件とする場合、条件入力部４６は、入力機器を介してユーザが指定する日時等を条件として入力してよい。この場合、条件入力部４６は、ユーザが指定した日時と他の条件の組み合わせを、対象画像を表示する条件としてよい。 In step S111, when the condition is that “the predetermined date and / or time has been reached”, the condition input unit 46 may input the date and time specified by the user via the input device as a condition. In this case, the condition input unit 46 may use a combination of the date and time specified by the user and other conditions as a condition for displaying the target image.

「所定の人物が部屋内に存在すること」を条件とする場合、条件入力部４６は、予め用意された人物の選択肢の中からユーザが選択した「所定の人物」が部屋内に存在することを、条件として入力してよい。これに代えて、条件入力部４６は、ユーザが指定する予め用意された人物以外の人物を「所定の人物」として新しく登録してもよい。この場合、条件入力部４６は、ユーザから新しく登録する人物の顔画像または全身画像等を取得し、ユーザ検出部５２に供給する。ユーザ検出部５２は、入力された人物の顔画像等を新しく登録する。 When “predetermined person is present in the room” is a condition, the condition input unit 46 indicates that the “predetermined person” selected by the user from the choices of persons prepared in advance is present in the room. May be input as a condition. Instead, the condition input unit 46 may newly register a person other than the person prepared in advance designated by the user as a “predetermined person”. In this case, the condition input unit 46 acquires a face image or a whole body image of a person to be newly registered from the user, and supplies it to the user detection unit 52. The user detection unit 52 newly registers an input person's face image or the like.

なお、「所定の人物」は、対象物１４を指定したユーザ自身であってもよく、別の人物であってもよい。「所定の人物」が対象物１４を指定したユーザ自身の場合、表示システム１０は、自分へのリマインダとして対象画像を表示させることができる。「所定の人物」が対象物１４を指定したユーザ自身でない場合、表示システム１０は、指定したユーザから「所定の人物」宛のメッセージとして対象画像を表示させることができる。 The “predetermined person” may be the user himself / herself who specified the object 14 or may be another person. In the case where the “predetermined person” is the user himself / herself who specified the object 14, the display system 10 can display the target image as a reminder to himself / herself. If the “predetermined person” is not the user himself / herself who specified the object 14, the display system 10 can display the target image as a message addressed to the “predetermined person” from the specified user.

ステップＳ１１１において、「ユーザが所定の動作を行ったこと」を条件とする場合、条件入力部４６は、予め用意された動きの選択肢の中からユーザが選択した「所定の動作」を条件として入力する。例えば、図１の例では、条件入力部４６は、ユーザが壁を指さす動作を「所定の動作」として入力している。これに代えて、条件入力部４６は、ユーザがジャンプする動作、ユーザがその場で回転する動作、またはユーザが動作撮像部２２の前を通過する動作等を「所定の動作」として入力してよい。 In step S111, when the condition is “the user has performed a predetermined action”, the condition input unit 46 inputs the “predetermined action” selected by the user from the motion options prepared in advance. To do. For example, in the example of FIG. 1, the condition input unit 46 inputs an operation in which the user points to the wall as a “predetermined operation”. Instead, the condition input unit 46 inputs, as a “predetermined operation”, an operation in which the user jumps, an operation in which the user rotates on the spot, or an operation in which the user passes in front of the operation imaging unit 22. Good.

次に、ステップＳ１１２において、表示位置特定部４８は、動作撮像部２２が撮像したユーザの動きから、対象画像を表示すべき表示位置を特定する。表示位置特定部４８は、撮像された画像等における表示位置を特定するための指示を入力するために動かすべき体の部分（例えば、手、指、または腕等）の動きを追跡し、動きの方向、動きの量、および／または大きさの変化等を検出する。 Next, in step S 112, the display position specifying unit 48 specifies the display position where the target image is to be displayed from the user's movement imaged by the motion imaging unit 22. The display position specifying unit 48 tracks the movement of a body part (for example, a hand, a finger, or an arm) to be moved in order to input an instruction for specifying a display position in a captured image. Changes in direction, amount of movement, and / or magnitude are detected.

例えば、テーブルの上を手のひらで触れるまたはたたく等の動作を検出した場合、表示位置特定部４８は、そのテーブルを表示位置として特定する。また、例えば、ユーザの指先が部屋の壁を指し、または壁の領域を四角く画定する動きを検出した場合、表示位置特定部４８は、その物体の壁の画定された領域を表示位置として特定する。表示位置は、部屋の壁以外でもよく、例えば、部屋の床、天井、および家具等であってよい。 For example, when an operation such as touching or tapping the table with a palm is detected, the display position specifying unit 48 specifies the table as the display position. Further, for example, when the movement of the user's fingertip pointing to the wall of the room or defining the area of the wall as a square is detected, the display position specifying unit 48 specifies the area where the wall of the object is defined as the display position. . The display position may be other than the wall of the room, and may be, for example, the floor, ceiling, furniture, or the like of the room.

なお、ユーザが表示位置を特定する動きは、ユーザが対象物１４を指定する動きと同じであってもよいが、誤検出を防ぐためにこれらは異なる動きであることが望ましい。ユーザが表示位置を特定する動きを検出できなかったときは、表示位置特定部４８は、予め定められた位置を表示位置として特定してよい。表示位置特定部４８は、特定された表示位置を、対象画像と対応付けて記憶部５０に格納する。 In addition, although the movement which a user specifies a display position may be the same as the movement which a user designates the target object 14, in order to prevent a misdetection, it is desirable that these are different movements. When the user cannot detect the movement for specifying the display position, the display position specifying unit 48 may specify a predetermined position as the display position. The display position specifying unit 48 stores the specified display position in the storage unit 50 in association with the target image.

次に、ステップＳ１１３において、記憶部５０は、条件入力部４６から入力された対象画像を表示するための条件および表示位置特定部４８から入力された対象画像の表示位置を、対象画像に対応付けて記憶する。例えば、記憶部５０は、複数のレコードからなるテーブルを備え、対象画像、対象画像を表示するための条件、および対象画像の表示位置を同一のレコードに対応させて格納することで、これらを記憶する。 Next, in step S113, the storage unit 50 associates the condition for displaying the target image input from the condition input unit 46 and the display position of the target image input from the display position specifying unit 48 with the target image. Remember. For example, the storage unit 50 includes a table including a plurality of records, and stores the target image, the conditions for displaying the target image, and the display position of the target image in association with the same record, thereby storing these. To do.

以上により、ステップＳ２０１からＳ２０７を経ることにより、表示システム１０は、ユーザが指定する対象画像、対象画像を表示する条件、および対象画像の表示位置を取得して保存することができる。 As described above, through steps S201 to S207, the display system 10 can acquire and store the target image designated by the user, the condition for displaying the target image, and the display position of the target image.

図５は、本実施形態に係る制御装置３０における、出力画像を表示させる際の処理フローを示す。制御装置３０は、対象物１４の表示する場合において、図５のステップＳ２０１からＳ２０７の処理を実行する。 FIG. 5 shows a processing flow when the output image is displayed in the control device 30 according to the present embodiment. The control device 30 executes the processing of steps S201 to S207 in FIG. 5 when displaying the object 14.

まず、ステップＳ２０１において、動作撮像部２２がユーザを撮像する。次に、ステップＳ２０２において、ユーザ検出部５２は、動作撮像部２２が撮像した画像等を取得して、予め定められた範囲内に予め定められたユーザが存在するか否かを検出する。 First, in step S201, the motion imaging unit 22 images the user. Next, in step S202, the user detection unit 52 acquires an image or the like captured by the motion imaging unit 22, and detects whether or not a predetermined user exists within a predetermined range.

例えば、ユーザ検出部５２は、動作撮像部２２の画像中の一定範囲内に存在する人物の顔の特徴と、予め登録されている人物の顔の特徴とを顔認証技術を用いて比較する。顔の特徴は、例えば、目、鼻、および／または口等の位置、形状、顔面中に占める面積割合、および／または皮膚の色等であってよい。ユーザ検出部５２は、撮像された人物の特徴と、予め登録されている人物の特徴とを比較する。これに代えて、および／またはこれに加えて、ユーザ検出部５２は、ユーザの画像のうち顔以外の体のパーツおよび体型等の特徴を比較しても良い。 For example, the user detection unit 52 compares a facial feature of a person existing within a certain range in the image of the motion imaging unit 22 with a facial feature of a person registered in advance using a face authentication technique. The facial features may be, for example, the position, shape, area ratio of the face, and / or skin color, such as eyes, nose, and / or mouth. The user detection unit 52 compares the characteristics of the captured person with the characteristics of the person registered in advance. Instead of and / or in addition to this, the user detection unit 52 may compare features such as body parts and body shape other than the face in the user image.

そして、ユーザ検出部５２は、両者の特徴が完全に一致するか、または一定程度以上一致する場合、ユーザ検出部５２は撮像された人物と予め登録された人物を同一ユーザと判断する。そして、ユーザ検出部５２は、その判断結果から画像中に予め定められたユーザが存在するかの情報を画像出力部５６に供給する。 Then, if the features of the two match completely or match a certain degree or more, the user detection unit 52 determines that the imaged person and the person registered in advance are the same user. Then, the user detection unit 52 supplies information indicating whether or not a predetermined user exists in the image from the determination result to the image output unit 56.

次に、ステップＳ２０３において、動作検出部５４が、動作撮像部２２から撮像した画像を取得して、対象物１４の表示を指示するユーザの動きを検出する。例えば、動作検出部５４は、撮像された画像等におけるユーザの体の全体または部分（例えば、顔、手、または足等）の動きを追跡し、動きの方向、動きの量、および／または大きさの変化等を検出する。例えば、図１の例では「ユーザが壁を指さす動作」を検出している。ユーザが予め定められたパターンの動きしたことを検出した場合は、動作検出部５４は、ユーザの動きのパターン等の情報を画像出力部５６に供給する。 Next, in step S 203, the motion detection unit 54 acquires an image captured from the motion imaging unit 22, and detects a user's movement instructing display of the target 14. For example, the motion detection unit 54 tracks the movement of the whole or part of the user's body (eg, face, hand, or foot) in the captured image or the like, and the direction of movement, the amount of movement, and / or the magnitude. Changes in height are detected. For example, in the example of FIG. 1, “the operation of the user pointing at the wall” is detected. When it is detected that the user has moved in a predetermined pattern, the motion detection unit 54 supplies information such as the user's movement pattern to the image output unit 56.

次に、ステップＳ２０４において、画像出力部５６が、記憶部５０から条件を満たす対象画像の有無を検索する。具体的には、画像出力部５６は、現在時刻、ステップＳ２０２で得られたユーザの検出結果、およびステップＳ２０３で得られた動作の検出結果と、記憶部５０に記憶された対象画像の表示すべき条件とを対比して、表示すべき条件を満たす対象画像が記憶部５０に存在するか検索する。例えば、図１の例では、画像出力部５６は、「ユーザが壁を指さす動作をしたこと」を条件とする対象画像が記憶部５０に存在するか検索し、条件を満たすハガキの画像を発見する。 Next, in step S 204, the image output unit 56 searches the storage unit 50 for the presence or absence of target images that satisfy the conditions. Specifically, the image output unit 56 displays the current time, the user detection result obtained in step S202, the motion detection result obtained in step S203, and the target image stored in the storage unit 50. In contrast to the power condition, the storage unit 50 is searched for a target image satisfying the condition to be displayed. For example, in the example of FIG. 1, the image output unit 56 searches the storage unit 50 for a target image on the condition that “the user has performed an action pointing at a wall”, and finds a postcard image that satisfies the condition. To do.

次に、ステップＳ２０５において、条件を満たす対象画像が発見された場合（ステップＳ２０５のＹ）、処理はステップＳ２０６に進む。条件を満たす対象画像が発見されなかった場合（ステップＳ２０５のＮ）、処理はステップＳ２０１に戻る。 Next, when a target image satisfying the condition is found in step S205 (Y in step S205), the process proceeds to step S206. If no target image satisfying the condition is found (N in step S205), the process returns to step S201.

ステップＳ２０６において、画像出力部５６は、画像表示部２６を指定方向に向ける。具体的には、画像出力部５６は、記憶部５０から条件を満たす対象画像およびその対象画像の表示位置を取得する。そして、画像出力部５６は、表示位置に対象画像を表示させることができるように、画像表示部２６の投影方向、および投影画像の大きさを変更する。 In step S206, the image output unit 56 directs the image display unit 26 in the designated direction. Specifically, the image output unit 56 acquires the target image that satisfies the condition and the display position of the target image from the storage unit 50. Then, the image output unit 56 changes the projection direction of the image display unit 26 and the size of the projection image so that the target image can be displayed at the display position.

次に、ステップＳ２０７において、画像出力部５６は、条件を満たす対象画像を画像表示部２６に出力して、画像表示部２６に条件を満たす対象画像を表示させる。例えば、画像出力部５６は、指定された条件に基づいて対象物１４の表示を指示するユーザの動きが検出されたことに応じて、対象画像を出力する。図１の例では、「ユーザが壁を指さす動作をしたこと」が検出されたことに応じて、画像出力部５６が対象画像としてハガキの画像を出力している。 Next, in step S207, the image output unit 56 outputs a target image that satisfies the condition to the image display unit 26, and causes the image display unit 26 to display the target image that satisfies the condition. For example, the image output unit 56 outputs a target image in response to detection of a user's movement that instructs display of the target 14 based on a designated condition. In the example of FIG. 1, the image output unit 56 outputs a postcard image as a target image in response to the detection that “the user has made an action pointing at the wall”.

また、例えば、画像出力部５６は、指定された条件に基づいてユーザ検出部５２が予め定められたユーザを検出したことに応じて、対象画像を出力する。また、例えば、画像出力部５６は、指定された条件に基づいて条件入力部４６が入力したタイミングに対象画像を出力する。 For example, the image output unit 56 outputs the target image in response to the user detection unit 52 detecting a predetermined user based on the designated condition. Further, for example, the image output unit 56 outputs the target image at the timing input by the condition input unit 46 based on the designated condition.

なお、画像出力部５６は、記憶部５０からの対象画像をそのまま出力してもよく、これに代えて、対象画像を含む画像、または対象画像を元に対象物１４の機能を付加した画像を出力してもよい。 Note that the image output unit 56 may output the target image from the storage unit 50 as it is, or instead, an image including the target image or an image to which the function of the target 14 is added based on the target image. It may be output.

例えば、対象画像に文字が含まれる場合、文字の内容をテキストデータに変換して文字以外の対象画像とともに出力する。また、対象物１４に時計の文字盤などの時刻を示す情報が含まれる場合、表示された時刻を時刻データに変換して時刻以外の対象画像とともに出力してよい。対象画像を含む画像、対象画像を元に対象物１４の機能を付加した画像は、コンピュータグラフィックス等により生成されてよい。 For example, when a character is included in the target image, the content of the character is converted into text data and output together with the target image other than the character. When the target 14 includes information indicating time such as a clock face, the displayed time may be converted into time data and output together with a target image other than the time. An image including the target image and an image to which the function of the target 14 is added based on the target image may be generated by computer graphics or the like.

以上により、ステップＳ２０１からＳ２０７を経ることにより、表示システム１０は、ユーザの指定する条件が満たされたことに応じて、対象画像を任意の位置に表示することができる。 As described above, through steps S201 to S207, the display system 10 can display the target image at an arbitrary position in accordance with the condition specified by the user being satisfied.

図６は、本実施形態に係る表示システム１０において、「案内状」を対象物１４とした場合の例を示す。例えば、対象物１４が結婚式の案内状である場合、案内状には結婚式の日時が記載されている。そこで、表示システム１０は、案内状に記載された日付を認識して、結婚式の当日の朝などの予め定められた時刻に案内状の画像を表示させる。 FIG. 6 shows an example in the case where the “guide” is the object 14 in the display system 10 according to the present embodiment. For example, when the object 14 is a wedding guide, the date of the wedding is described in the guide. Therefore, the display system 10 recognizes the date described in the guide letter and displays the guide letter image at a predetermined time such as the morning of the wedding day.

他の例として、対象特定部４０は、ユーザが指定した請求書または納税通知書等の書類を対象物１４として特定してよい。画像出力部５６は、書類に記載された期限から予め定められた期間前になったことに応じて、書類の対象画像を出力してよい。このように、表示システム１０は、日付が記載される書類の対象画像を当該日付が徒過する前に表示させることができる。 As another example, the target specifying unit 40 may specify a document such as an invoice or a tax payment notice designated by the user as the target 14. The image output unit 56 may output the target image of the document in accordance with a predetermined period before the deadline described in the document. Thus, the display system 10 can display the target image of the document on which the date is written before the date passes.

さらに他の例として、表示システム１０は、時刻を表す画像を当該時刻に合わせて表示してもよい。時刻を表す画像は、「午前１１時１０分」または「ＡＭ１１：１０」等の時刻を表す文字列であってよく、時刻を表示する時針、分針、および秒針等のアナログ時計の画像であってもよい。また、表示システム１０は、時刻を表す画像を、当該時刻に表示されるべき他の画像（例えば、服用する時間が決まっている薬の画像および収納場所等）とともに表示してもよい。このように、表示システム１０は、対象物が表す日付・時刻に関連したタイミングで対象物を表示させることができる。 As yet another example, the display system 10 may display an image representing time according to the time. The image representing the time may be a character string representing the time such as “11:10 am” or “AM11: 10”, and is an image of an analog clock such as an hour hand, a minute hand, and a second hand for displaying the time. Also good. Further, the display system 10 may display an image representing the time together with other images to be displayed at the time (for example, a medicine image and a storage location where the time to take is determined). In this way, the display system 10 can display the object at a timing related to the date / time represented by the object.

図７は、第２の実施形態に係る制御装置３００の機能構成の一例を示す。本実施形態においては、対象撮像部２４０が動作撮像部２２および対象撮像部２４を兼ねる点が、第１の実施形態と異なっている。本実施形態によれば、対象撮像部２４０を全て同一の機器で構成できるので、機器の設置および管理の費用および煩雑さ等を低減することができる。この場合、対象撮像部２４０は、広い範囲を移動するユーザおよび細かい文字等を含む対象物１４の両方を捉えることが求められる。したがって、対象撮像部２４０は、ユーザの動きを撮像する間は広角で撮像し、対象物１４を撮像する際にはより望遠に撮像するべく、画角を調整できるズームレンズを備えてよい。 FIG. 7 shows an example of a functional configuration of the control device 300 according to the second embodiment. The present embodiment is different from the first embodiment in that the target imaging unit 240 serves as the motion imaging unit 22 and the target imaging unit 24. According to the present embodiment, since all the target imaging units 240 can be configured by the same device, it is possible to reduce the cost and complexity of device installation and management. In this case, the target imaging unit 240 is required to capture both the user who moves over a wide range and the target object 14 including fine characters. Therefore, the target imaging unit 240 may include a zoom lens that can adjust the angle of view so that the user's movement is imaged at a wide angle while the object 14 is imaged, and the object 14 is imaged more telescopically.

図８は、本実施形態に係るコンピュータ１９００のハードウエア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、および表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、およびＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、および入出力チップ２０７０を有するレガシー入出力部とを備える。 FIG. 8 shows an example of a hardware configuration of a computer 1900 according to the present embodiment. A computer 1900 according to this embodiment is connected to a CPU peripheral unit having a CPU 2000, a RAM 2020, a graphic controller 2075, and a display device 2080 that are connected to each other by a host controller 2082, and to the host controller 2082 by an input / output controller 2084. Input / output unit having communication interface 2030, hard disk drive 2040, and CD-ROM drive 2060, and legacy input / output unit having ROM 2010, flexible disk drive 2050, and input / output chip 2070 connected to input / output controller 2084 With.

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００およびグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０およびＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。 The host controller 2082 connects the RAM 2020 to the CPU 2000 and the graphic controller 2075 that access the RAM 2020 at a high transfer rate. The CPU 2000 operates based on programs stored in the ROM 2010 and the RAM 2020 and controls each unit. The graphic controller 2075 acquires image data generated by the CPU 2000 or the like on a frame buffer provided in the RAM 2020 and displays it on the display device 2080. Instead of this, the graphic controller 2075 may include a frame buffer for storing image data generated by the CPU 2000 or the like.

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。例えば、通信インターフェイス２０３０は、対象特定部４０、対象画像入力部４２、条件入力部４６、表示位置特定部４８、記憶部５０、ユーザ検出部５２、動作検出部５４、および画像出力部５６にネットワークを介して接続され、ネットワーク経由で画像および制御信号を授受してもよい。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。 The input / output controller 2084 connects the host controller 2082 to the communication interface 2030, the hard disk drive 2040, and the CD-ROM drive 2060, which are relatively high-speed input / output devices. The communication interface 2030 communicates with other devices via a network. For example, the communication interface 2030 is connected to the target specifying unit 40, the target image input unit 42, the condition input unit 46, the display position specifying unit 48, the storage unit 50, the user detection unit 52, the operation detection unit 54, and the image output unit 56. And images and control signals may be exchanged via a network. The hard disk drive 2040 stores programs and data used by the CPU 2000 in the computer 1900. The CD-ROM drive 2060 reads a program or data from the CD-ROM 2095 and provides it to the hard disk drive 2040 via the RAM 2020.

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、および入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。 The input / output controller 2084 is connected to the ROM 2010, the flexible disk drive 2050, and the relatively low-speed input / output device of the input / output chip 2070. The ROM 2010 stores a boot program that the computer 1900 executes at startup and / or a program that depends on the hardware of the computer 1900. The flexible disk drive 2050 reads a program or data from the flexible disk 2090 and provides it to the hard disk drive 2040 via the RAM 2020. The input / output chip 2070 connects the flexible disk drive 2050 to the input / output controller 2084 and inputs / outputs various input / output devices via, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like. Connect to controller 2084.

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。 A program provided to the hard disk drive 2040 via the RAM 2020 is stored in a recording medium such as the flexible disk 2090, the CD-ROM 2095, or an IC card and provided by the user. The program is read from the recording medium, installed in the hard disk drive 2040 in the computer 1900 via the RAM 2020, and executed by the CPU 2000.

コンピュータ１９００にインストールされ、コンピュータ１９００を制御装置３０として機能させるプログラムは、画像取得モジュールと、動作検出モジュールと、特定モジュールと、表示制御モジュールと、機能実行モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、対象特定部４０、対象画像入力部４２、条件入力部４６、表示位置特定部４８、記憶部５０、ユーザ検出部５２、動作検出部５４、および画像出力部５６としてそれぞれ機能させる。 The program installed in the computer 1900 and causing the computer 1900 to function as the control device 30 includes an image acquisition module, an operation detection module, a specific module, a display control module, and a function execution module. These programs or modules work with the CPU 2000 or the like to change the computer 1900 into the target specifying unit 40, the target image input unit 42, the condition input unit 46, the display position specifying unit 48, the storage unit 50, the user detection unit 52, and the operation detection. The unit 54 and the image output unit 56 function.

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウエア資源とが協働した具体的手段である対象特定部４０、対象画像入力部４２、条件入力部４６、表示位置特定部４８、記憶部５０、ユーザ検出部５２、動作検出部５４、および画像出力部５６として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の制御装置３０が構築される。 The information processing described in these programs is read into the computer 1900, whereby the target specifying unit 40, the target image input unit 42, which are specific means in which the software and the various hardware resources described above cooperate. It functions as a condition input unit 46, a display position specifying unit 48, a storage unit 50, a user detection unit 52, an operation detection unit 54, and an image output unit 56. And the specific control apparatus 30 according to the intended use is constructed | assembled by implement | achieving the calculation or processing of the information according to the intended use of the computer 1900 in this embodiment by these specific means.

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。 As an example, when communication is performed between the computer 1900 and an external device or the like, the CPU 2000 executes a communication program loaded on the RAM 2020 and executes a communication interface based on the processing content described in the communication program. A communication process is instructed to 2030. Under the control of the CPU 2000, the communication interface 2030 reads transmission data stored in a transmission buffer area or the like provided on a storage device such as the RAM 2020, the hard disk drive 2040, the flexible disk 2090, or the CD-ROM 2095, and sends it to the network. The reception data transmitted or received from the network is written into a reception buffer area or the like provided on the storage device. As described above, the communication interface 2030 may transfer transmission / reception data to / from the storage device by a DMA (direct memory access) method. Instead, the CPU 2000 transfers the storage device or the communication interface 2030 as a transfer source. The transmission / reception data may be transferred by reading the data from the data and writing the data to the communication interface 2030 or the storage device of the transfer destination.

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。 The CPU 2000 is all or necessary from among files or databases stored in an external storage device such as a hard disk drive 2040, a CD-ROM drive 2060 (CD-ROM 2095), and a flexible disk drive 2050 (flexible disk 2090). This portion is read into the RAM 2020 by DMA transfer or the like, and various processes are performed on the data on the RAM 2020. Then, CPU 2000 writes the processed data back to the external storage device by DMA transfer or the like. In such processing, since the RAM 2020 can be regarded as temporarily holding the contents of the external storage device, in the present embodiment, the RAM 2020 and the external storage device are collectively referred to as a memory, a storage unit, or a storage device. Various types of information such as various programs, data, tables, and databases in the present embodiment are stored on such a storage device and are subjected to information processing. Note that the CPU 2000 can also store a part of the RAM 2020 in the cache memory and perform reading and writing on the cache memory. Even in such a form, the cache memory bears a part of the function of the RAM 2020. Therefore, in the present embodiment, the cache memory is also included in the RAM 2020, the memory, and / or the storage device unless otherwise indicated. To do.

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。 In addition, the CPU 2000 performs various operations, such as various operations, information processing, condition determination, information search / replacement, etc., described in the present embodiment, specified for the data read from the RAM 2020 by the instruction sequence of the program. Is written back to the RAM 2020. For example, when performing the condition determination, the CPU 2000 determines whether the various variables shown in the present embodiment satisfy the conditions such as large, small, above, below, equal, etc., compared to other variables or constants. When the condition is satisfied (or not satisfied), the program branches to a different instruction sequence or calls a subroutine.

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。 Further, the CPU 2000 can search for information stored in a file or database in the storage device. For example, in the case where a plurality of entries in which the attribute value of the second attribute is associated with the attribute value of the first attribute are stored in the storage device, the CPU 2000 displays the plurality of entries stored in the storage device. The entry that matches the condition in which the attribute value of the first attribute is specified is retrieved, and the attribute value of the second attribute that is stored in the entry is read, thereby associating with the first attribute that satisfies the predetermined condition The attribute value of the specified second attribute can be obtained.

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。 The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the flexible disk 2090 and the CD-ROM 2095, an optical recording medium such as DVD or CD, a magneto-optical recording medium such as MO, a tape medium, a semiconductor memory such as an IC card, and the like can be used. Further, a storage device such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1900 via the network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

１０表示システム
１４対象物
２０出力画像
２２動作撮像部
２４対象撮像部
２６画像表示部
３０制御装置
４０対象特定部
４２対象画像入力部
４６条件入力部
４８表示位置特定部
５０記憶部
５２ユーザ検出部
５４動作検出部
５６画像出力部
２４０対象撮像部
３００制御装置
１９００コンピュータ
２０００ＣＰＵ
２０１０ＲＯＭ
２０２０ＲＡＭ
２０３０通信インターフェイス
２０４０ハードディスクドライブ
２０５０フレキシブルディスク・ドライブ
２０６０ＣＤ−ＲＯＭドライブ
２０７０入出力チップ
２０７５グラフィック・コントローラ
２０８０表示装置
２０８２ホスト・コントローラ
２０８４入出力コントローラ
２０９０フレキシブルディスク
２０９５ＣＤ−ＲＯＭ DESCRIPTION OF SYMBOLS 10 Display system 14 Target object 20 Output image 22 Motion imaging part 24 Target imaging part 26 Image display part 30 Control apparatus 40 Target specific part 42 Target image input part 46 Condition input part 48 Display position specific part 50 Storage part 52 User detection part 54 Operation detection unit 56 Image output unit 240 Target imaging unit 300 Control device 1900 Computer 2000 CPU
2010 ROM
2020 RAM
2030 Communication interface 2040 Hard disk drive 2050 Flexible disk drive 2060 CD-ROM drive 2070 Input / output chip 2075 Graphic controller 2080 Display device 2082 Host controller 2084 Input / output controller 2090 Flexible disk 2095 CD-ROM

Claims

An object identification unit that identifies an object from a user's movement;
A target image input unit for inputting an image obtained by imaging the target;
An image output unit that outputs an image of the object in response to a condition for displaying the object being satisfied;
A display system comprising:

A display position specifying unit for specifying a display position for displaying an image of the object from a user's movement;
The display system according to claim 1, wherein the image output unit outputs an image of the object and displays the image at the display position in response to a condition for displaying the object being satisfied.

A target imaging unit that captures an image of the target and inputs the target image to the target image input unit;
An image display unit connected to the image output unit and displaying an image of the object;
The display system according to claim 1, further comprising:

An operation detecting unit for detecting a movement of a user instructing display of the object;
The display system according to any one of claims 1 to 3, wherein the image output unit outputs an image of the object in response to detection of a motion of a user instructing display of the object.

A condition input unit for inputting a condition for displaying an image of the object;
The display system according to any one of claims 1 to 4, wherein the image output unit outputs an image of the object in response to the condition input by the condition input unit being satisfied.

The condition input unit inputs a timing for displaying an image of the object,
The display system according to claim 5, wherein the image output unit outputs an image of the object at the timing.

A user detection unit for detecting whether or not a predetermined user exists within a predetermined range;
The display system according to any one of claims 1 to 6, wherein the image output unit outputs an image of the object in response to the user detection unit detecting the predetermined user.

The target specifying unit specifies a document designated by a user as the target,
The display system according to any one of claims 1 to 7, wherein the image output unit outputs an image of the document in response to a predetermined period before a time limit described in the document. .

It further includes an operation imaging unit that images the movement of the user,
The display system according to any one of claims 1 to 8, wherein the target specifying unit specifies the target from a user's movement imaged by the motion imaging unit.

Computer
An object identification unit that identifies an object from a user's movement;
A target image input unit for inputting an image obtained by imaging the target;
An image output unit that outputs an image of the object in response to a condition for displaying the object being satisfied;
A display program that functions as a control device.

An object identification step for identifying an object from a user's movement;
A target image input step of inputting an image obtained by imaging the target;
An image output step for outputting an image of the object in response to a condition for displaying the object being satisfied;
A display method comprising: