JP2007004427A - Image display system, image display device, and program - Google Patents

Image display system, image display device, and program Download PDF

Info

Publication number
JP2007004427A
JP2007004427A JP2005183120A JP2005183120A JP2007004427A JP 2007004427 A JP2007004427 A JP 2007004427A JP 2005183120 A JP2005183120 A JP 2005183120A JP 2005183120 A JP2005183120 A JP 2005183120A JP 2007004427 A JP2007004427 A JP 2007004427A
Authority
JP
Japan
Prior art keywords
image
subject
display
movement
clothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005183120A
Other languages
Japanese (ja)
Inventor
Kenji Katayama
健志 片山
Yoshio Sato
芳男 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fujifilm Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Holdings Corp filed Critical Fujifilm Holdings Corp
Priority to JP2005183120A priority Critical patent/JP2007004427A/en
Publication of JP2007004427A publication Critical patent/JP2007004427A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display an unpredictable display image to provide a great impact to people who view the display image. <P>SOLUTION: When a subject is photographed using a photographing means 2, the face information FD of the subject S is extracted from an image P1 of the subject S obtained by the photographing. Thereafter, the subject is specified using the face information FD extracted and the movement of the subject specified is detected. Based on the detected movement of the subject S, a material image CP of clothing for use in a display image AP is selected from a material storage means 8b and is synthesized with the extracted face information FD to create the display image AP. The display image AP created is displayed in a display device 100 and provided to the subject S. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、たとえば屋外に設置された表示装置に合成画像である表示画像を表示させる画像表示システムならびに画像表示装置およびプログラムに関するものである。   The present invention relates to an image display system, an image display device, and a program for displaying a display image that is a composite image on a display device installed outdoors, for example.

従来、現実の映像と仮想空間の映像とを合成した映像を表示することが広く行われており、その一例として合成した画像を広告表示として用いることにより広告効果を向上させる方法が提案されている(たとえば特許文献1参照)。特許文献1の広告提示システムにおいては、対象者が鏡を見たときにその鏡に映るであろう周辺風景の鏡像と、たとえばCMタレント等の広告情報とを重ね合わせて鏡像表示媒体に表示させる。そして、現実の視界映像と鏡像表示媒体に表示された鏡像とが一致しないことによる意外性により広告効果を向上させるようになっている。
特開2004−198452号公報
Conventionally, it has been widely performed to display a composite image of a real image and a virtual space image. As an example, a method for improving the advertising effect by using the combined image as an advertisement display has been proposed. (For example, refer to Patent Document 1). In the advertisement presentation system disclosed in Patent Document 1, a mirror image of a surrounding landscape that will be reflected in the mirror when the subject looks at the mirror and advertisement information such as a CM talent are superimposed and displayed on the mirror image display medium. . The advertisement effect is improved due to the unexpectedness caused by the fact that the actual view image and the mirror image displayed on the mirror image display medium do not match.
JP 2004-198452 A

上述した広告提示システムに限らず表示した合成画像の注目度を高めるときには、合成画像の内容とともに表示方法の意外性が重要になる。たとえば特許文献1に示すような広告提示方法の場合には、周辺風景と広告画像との合成画像を静的に表示しているものであるため、必ずしも合成画像の注目度が高いとはいえない。   When increasing the attention level of the displayed composite image, not limited to the advertisement presentation system described above, the unexpectedness of the display method is important along with the content of the composite image. For example, in the case of the advertisement presentation method as shown in Patent Document 1, since the composite image of the surrounding scenery and the advertisement image is statically displayed, it cannot be said that the degree of attention of the composite image is necessarily high. .

そこで、本発明は、意外性のある表示画像を表示し表示画像を見た者に大きなインパクトを与えることができる画像表示システムおよび画像表示装置ならびにプログラムを提供することを目的とするものである。   SUMMARY OF THE INVENTION An object of the present invention is to provide an image display system, an image display device, and a program that can display a surprising display image and give a large impact to a person who has viewed the display image.

本発明の画像表示システムは、人物被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することを特徴とするものである。   An image display system according to the present invention includes a photographing unit for photographing a human subject, a face extracting unit for extracting face information of the subject from an image of the subject photographed by the photographing unit, and an image of the subject photographed by the photographing unit. Motion detection means for detecting the movement of the subject, material storage means for storing a plurality of material images of the clothing, which is the material of the clothing when generating a display image to be displayed on the display device corresponding to the motion of the subject, and movement Based on the movement of the subject detected by the detection means, the material image selection means for selecting the material image of the clothes used for generating the display image from the material storage means, and the material image of the clothes selected by the material image selection means By combining the face information extracted by the face extracting means, an image generating means for generating a display image in which the subject wears a material image of clothing, and an image generating means It is characterized in that it has a display control means for displaying the generated display image on the display device Ri.

ここで、被服の素材画像は静止画であってもよいし動画であってもよく、それに伴い表示画像も静止画・動画のいずれであってもよい。ここで、画像生成手段が表示画像として動画を生成する場合、表示制御手段が、動き検出手段により検出された動きの速さに応じて表示画像の再生速度を調整するようにしてもよい。   Here, the material image of the clothes may be a still image or a moving image, and the display image may be either a still image or a moving image. Here, when the image generation unit generates a moving image as the display image, the display control unit may adjust the reproduction speed of the display image according to the speed of the motion detected by the motion detection unit.

また、素材記憶手段は、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶されたものであればよく、さらには1つの被写体の動きに対し、たとえば色の違う被服や種類の違う被服等の複数の被服の素材画像が記憶されていても良い。このとき、素材画像選択手段は、被写体の動きに対応した複数の被服の素材画像を選択するものであってもよい。さらに、画像生成手段は、各被服の素材画像毎に表示画像を生成し、表示制御手段はたとえば一定時間毎に各表示画像を切り換えて表示装置に表示するようにしてもよい。   Further, the material storage means may be any one that stores a plurality of material images of clothes that are materials of clothes when generating a display image to be displayed on the display device corresponding to the movement of the subject. For example, a plurality of clothing material images such as clothing of different colors or clothing of different types may be stored for the movement of the subject. At this time, the material image selecting means may select a plurality of clothing material images corresponding to the movement of the subject. Further, the image generation means may generate a display image for each material image of each clothing, and the display control means may switch each display image and display it on the display device at regular time intervals, for example.

なお、表示装置の大きさは問わないが、ショーウィンドウの光透過面に被写体のほぼ等身大の前記表示画像を表示可能なものであることが好ましい。そして、表示制御手段は、顔抽出手段が顔情報を抽出したときにショーウィンドウを見ている被写体の目の前に表示画像を表示させるようにしてもよい。   The size of the display device is not limited, but it is preferable that the display image that is substantially the same size as the subject can be displayed on the light transmission surface of the show window. The display control means may display the display image in front of the subject looking at the show window when the face extraction means extracts the face information.

さらに、表示制御手段は、動き検出手段において検出された被写体の移動に合わせて被写体にほぼ正対する位置に表示画像が表示されるように、表示装置における表示画像の位置を移動させるものであってもよい。特に、動き検出手段が被写体の歩く動きを検出するものであり、このとき、表示制御手段は、被写体の歩く動きに合わせて被写体にほぼ正対する位置に該被写体とほぼ同一の大きさを有する表示画像を表示装置に表示するものであってもよい。   Further, the display control means moves the position of the display image on the display device so that the display image is displayed at a position substantially facing the subject in accordance with the movement of the subject detected by the motion detection means. Also good. In particular, the motion detecting means detects the walking movement of the subject. At this time, the display control means displays the display having a size substantially the same as that of the subject at a position almost facing the subject in accordance with the walking movement of the subject. An image may be displayed on a display device.

また、撮影手段は、1つのカメラからなるものであってもよいし、複数のカメラからなるものであってもよい。撮影手段が第1カメラと第2カメラとを有する場合、顔抽出手段は第1カメラにより得られた第1画像から被写体の顔情報を抽出するものであってもよい。また、動き検出手段は第2カメラにより得られた第2画像から被写体の動きを検出するものであってもよい。   Further, the photographing unit may be composed of one camera or may be composed of a plurality of cameras. When the photographing unit has the first camera and the second camera, the face extracting unit may extract the face information of the subject from the first image obtained by the first camera. Further, the motion detection means may detect the motion of the subject from the second image obtained by the second camera.

さらに、第2画像内に複数の顔が存在するときに、顔抽出手段により抽出された顔情報を第2画像内において検索することにより、表示画像を提供する被写体を特定する被写体特定手段をさらに有し、動き検出手段が、被写体特定手段により特定された被写体の動きを第2画像から検出するものであってもよい。   Furthermore, when there are a plurality of faces in the second image, the subject specifying means for specifying the subject providing the display image by searching the second image for the face information extracted by the face extracting means is further provided. And the motion detection means may detect the movement of the subject specified by the subject specification means from the second image.

また、本発明の画像表示装置は、人物被写体を撮影手段により撮影したときの該被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と、顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することを特徴とするものである。   In addition, the image display device of the present invention includes a face extracting unit that extracts face information of a subject from the image of the subject when the human subject is photographed by the photographing unit, and a subject image from the subject image captured by the photographing unit. Motion detection means for detecting movement, material storage means for storing a plurality of clothing material images as clothing materials when generating a display image to be displayed on a display device corresponding to the movement of the subject, and motion detection means The material image selecting means for selecting the material image of the clothes to be used for generating the display image from the material storage means based on the movement of the subject detected by the method, the material image of the clothes selected by the material image selecting means, and the face By combining the face information extracted by the extraction means, an image generation means for generating a display image in which the subject wears a material image of clothing, and an image generation means It is characterized in that it has a display control means for displaying a display image on the display device.

さらに、本発明の画像表示プログラムは、コンピュータに、人物被写体を撮影したときの該被写体の画像から該被写体の顔情報を抽出し、撮影した被写体の画像から被写体の動きを検出し、検出した被写体の動きに基づいて、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段から表示画像の生成に使用する被服の素材画像を選択し、選択した被服の素材画像と抽出した顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成し、生成した表示画像を表示装置に表示することを実行させることを特徴とするものである。   Further, the image display program of the present invention extracts the face information of the subject from the image of the subject when the human subject is photographed, detects the movement of the subject from the photographed subject image, and detects the detected subject. Based on the movement of the object, it is used to generate a display image from the material storage means that stores a plurality of material images of the clothing as the material of the clothing when generating the display image to be displayed on the display device corresponding to the movement of the subject. A material image of the clothing is selected, and the selected clothing material image and the extracted face information are combined to generate a display image in which the subject wears the material image of the clothing, and the generated display image is displayed on the display device. It is characterized in that it is executed.

本発明の画像表示システムによれば、人物被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することにより、被写体の動作に合わせて動くような意外性のある動きをする被写体の顔情報が含まれた意外性のある表示画像を被写体に提供することができるため、表示画像の注目度を高めることができる。   According to the image display system of the present invention, a photographing unit for photographing a human subject, a face extracting unit for extracting face information of the subject from an image of the subject photographed by the photographing unit, and a subject photographed by the photographing unit. A motion detection means for detecting the movement of the subject from the image, and a material storage means for storing a plurality of material images of the clothing as a clothing material when generating a display image to be displayed on the display device corresponding to the movement of the subject; The material image selecting means for selecting the material image of the clothing used for generating the display image from the material storage means based on the motion of the subject detected by the motion detecting means, and the material of the clothing selected by the material image selecting means Image generation means for generating a display image in which a subject wears a material image of clothing by combining the image and face information extracted by the face extraction means; and image generation Display control means for displaying the display image generated by the stage on the display device, and it is surprising that the face information of the subject that moves unexpectedly in accordance with the motion of the subject is included. Since the display image can be provided to the subject, the degree of attention of the display image can be increased.

なお、表示装置が、ほぼ等身大の被写体を表示することができる大きさを有したショーウィンドウの光透過面に表示画像を表示させるものであり、顔抽出手段が顔情報を抽出したときに、表示制御手段がショーウィンドウを見ている被写体の目の前に表示画像を表示させるものであれば、ショーウィンドウを見ている被写体にとって意外性のある場所に表示画像を表示させることができるため、表示画像の注目度を高めることができる。   The display device displays a display image on a light transmission surface of a show window having a size capable of displaying a substantially life-size subject, and when the face extraction unit extracts face information, If the display control means can display a display image in front of the subject watching the show window, the display image can be displayed in a place that is unexpected for the subject watching the show window. The degree of attention of the display image can be increased.

さらに、表示制御手段が、動き検出手段において検出された被写体の移動に合わせて被写体にほぼ正対する位置に表示画像が表示されるように、表示装置における表示画像の位置を移動させるものであれば、表示画像の意外性を高め表示画像の注目度を向上させることができる。   Further, if the display control means moves the position of the display image on the display device so that the display image is displayed at a position substantially facing the subject in accordance with the movement of the subject detected by the motion detection means. The unexpectedness of the display image can be increased and the degree of attention of the display image can be improved.

特に、動き検出手段が被写体の歩く動きを検出するものであり、表示制御手段が、被写体の歩く動きに合わせて表示画像を表示装置に表示するものであれば、たとえばショーウィンドウ沿いを歩いている被写体の隣に表示画像が被写体とともに移動するため、表示画像の意外性を高め表示画像の注目度を向上させることができる。   In particular, if the motion detecting means detects the walking movement of the subject and the display control means displays the display image on the display device in accordance with the walking movement of the subject, for example, it is walking along a show window. Since the display image moves along with the subject next to the subject, the unexpectedness of the display image can be increased and the degree of attention of the display image can be improved.

さらに、画像生成手段が、表示画像として動画を生成するものであり、表示制御手段が、動き検出手段により検出された動きの速さに応じて表示画像の再生速度を調整するものであれば、表示装置に表示される表示画像の動きを被写体の動きにより忠実に再現することができるため、表示画像の注目度をより向上させることができる。   Further, if the image generation means generates a moving image as the display image, and the display control means adjusts the reproduction speed of the display image according to the speed of the motion detected by the motion detection means, Since the movement of the display image displayed on the display device can be faithfully reproduced by the movement of the subject, the degree of attention of the display image can be further improved.

また、撮影手段が第1カメラと第2カメラとを有し、顔抽出手段が第1カメラにより得られた第1画像から被写体の顔情報を抽出するものであり、動き検出手段が第2カメラにより得られた第2画像から被写体の動きを検出するものであれば、第1カメラついては顔抽出に適した撮影条件により撮影を行うとともに、第2カメラについて動き検出に適した撮影条件により撮影を行うことができるため、顔情報の抽出および動き検出を効率的に精度良く行うことができる。   The photographing means has a first camera and a second camera, the face extracting means extracts face information of the subject from the first image obtained by the first camera, and the motion detecting means is the second camera. If the movement of the subject is detected from the second image obtained by the above, the first camera is shot under shooting conditions suitable for face extraction, and the second camera is shot under shooting conditions suitable for motion detection. Therefore, face information extraction and motion detection can be performed efficiently and accurately.

また、顔抽出手段により第1画像から抽出された顔情報を第2画像内において検出して表示画像を提供する被写体を特定する被写体特定手段をさらに有し、動き検出手段が、被写体特定手段により特定された被写体の動きを第2画像から検出する構成にすれば、複数人が第2画像に含まれている場合であっても、顔を抽出した被写体を特定し表示画像を提供することができる。   Further, the image processing apparatus further includes subject specifying means for detecting the face information extracted from the first image by the face extracting means in the second image and specifying a subject for providing a display image, and the motion detecting means is provided by the subject specifying means. If the configuration is such that the movement of the identified subject is detected from the second image, even if multiple people are included in the second image, the subject from which the face is extracted can be identified and a display image can be provided. it can.

また、本発明の画像表示装置およびプログラムによれば、表示画像を提供する被写体を撮影したときに得られた被写体の画像から被写体の顔情報を抽出する顔抽出手段と、被写体の画像から被写体の動きを検出する動き検出手段と、表示画像を生成する際の素材となる被服の素材画像が被写体の動き毎に複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像として使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と、顔抽出手段により抽出された顔情報とを合成することにより表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することにより、被写体の顔情報が含まれた被写体の動作に合わせて動く動的な表示画像を被写体に提供することができるため、被写体に対する表示画像の注目度を高めることができる。   Further, according to the image display device and the program of the present invention, the face extracting means for extracting the face information of the subject from the image of the subject obtained when the subject providing the display image is photographed, and the subject's image from the subject image. Based on motion detection means for detecting motion, material storage means for storing a plurality of material images of clothes as materials for generating a display image for each movement of the subject, and movement of the subject detected by the motion detection means The material image selection means for selecting the material image of the clothing to be used as the display image from the material storage means, the material image of the clothing selected by the material image selection means, and the face information extracted by the face extraction means By having an image generation means for generating a display image by displaying and a display control means for displaying the display image generated by the image generation means on the display device, It is possible to provide a dynamic display moving images in accordance with the operation of an object face information is contained in the body subject, it is possible to increase the prominence of the displayed image with respect to the subject.

以下、図面を参照して本発明の画像表示システムの実施の形態を詳細に説明する。図1は、本発明の画像表示システムの好ましい実施の形態を示す概略図である。図1における画像表示システム1は、たとえばショーウィンドウ10に展示された被服DLの宣伝広告に用いられる表示画像APの生成・表示に用いたものである。画像表示システム1は、ショーウィンドウ10を見ている人物被写体Sを撮影する撮影手段2と、撮影手段により撮影された被写体Sの顔とショーウィンドウ10に飾られた被服とを合成し表示画像APを生成する画像表示装置50と、生成した表示画像APを表示する表示装置100とを有している。   Hereinafter, embodiments of an image display system of the present invention will be described in detail with reference to the drawings. FIG. 1 is a schematic diagram showing a preferred embodiment of the image display system of the present invention. The image display system 1 in FIG. 1 is used for generating and displaying a display image AP used for advertising of clothes DL exhibited in a show window 10, for example. The image display system 1 combines a photographing unit 2 that photographs a human subject S looking at a show window 10, a face of the subject S photographed by the photographing unit, and clothes displayed on the show window 10 to display a display image AP. And the display device 100 that displays the generated display image AP.

撮影手段2は、図1に示すように、ショーウィンドウ10を見ている被写体Sを撮影する第1カメラ2Aと、表示装置100の前を通り過ぎる被写体Sを撮影する第2カメラ2Bとを有している。そして、第1カメラ2Aおよび第2カメラ2Bは、それぞれ第1画像および第2画像を画像表示装置に出力するようになっている。表示装置100は、被服DLが展示されているショーウィンドウ10のガラス面(光透過面)10aに表示画像APを表示させるものであり、表示画像APはショーウィンドウ10に飾られた被服DLと被写体Sとの間に表示されるようになっている。   As shown in FIG. 1, the photographing unit 2 includes a first camera 2A that photographs the subject S looking at the show window 10, and a second camera 2B that photographs the subject S passing in front of the display device 100. ing. Then, the first camera 2A and the second camera 2B output the first image and the second image to the image display device, respectively. The display device 100 displays the display image AP on the glass surface (light transmission surface) 10a of the show window 10 on which the clothes DL are displayed. The display image AP is displayed on the clothes DL and the subject displayed on the show window 10. It is displayed between S.

次に、図2は本発明の画像表示システムの好ましい実施の形態を示すブロック図であり、
図1と図2を参照して画像表示装置50について説明する。なお、図2のような画像表示装置50の構成は、ハードディスク装置等の補助記憶装置に読み込まれた表示画像生成プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現される。また、この表示画像生成プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
Next, FIG. 2 is a block diagram showing a preferred embodiment of the image display system of the present invention.
The image display device 50 will be described with reference to FIGS. 1 and 2. The configuration of the image display device 50 as shown in FIG. 2 is realized by executing a display image generation program read into an auxiliary storage device such as a hard disk device on a computer (for example, a personal computer). The display image generation program is stored in an information storage medium such as a CD-ROM or distributed via a network such as the Internet and installed in a computer.

図2の画像表示装置50は、撮影手段2により撮影より得られた画像に含まれる被写体の顔情報を抽出する顔抽出手段3と、顔抽出手段3により抽出された顔情報FDを用いて画像に含まれる被写体Sの中から表示画像APを提供する被写体Sを特定する被写体特定手段5と、被写体特定手段5により特定された被写体Sの動きを検出する動き検出手段6と、被写体Sの動きに応じた被服の素材画像CPが複数記憶された素材記憶手段8bと、動き検出手段6により検出された被写体Sの動きに基づいて、素材記憶手段8bから表示画像として使用する被服の素材画像CPを選択する素材画像選択手段8aと、素材画像選択手段8aにより選択された被服の素材画像CPを用いて表示画像APを生成する画像生成手段7と、画像生成手段7により生成された表示画像APを表示装置100に表示する表示制御手段9とを有している。   The image display device 50 in FIG. 2 uses the face extraction unit 3 for extracting the face information of the subject included in the image obtained by the photographing by the photographing unit 2 and the face information FD extracted by the face extraction unit 3. The subject specifying means 5 for specifying the subject S that provides the display image AP from among the subjects S included in the subject, the motion detecting means 6 for detecting the movement of the subject S specified by the subject specifying means 5, and the movement of the subject S The material storage means 8b in which a plurality of material images CP of the clothes according to the condition are stored, and the material image CP of the clothes used as a display image from the material storage means 8b based on the movement of the subject S detected by the movement detection means 6. A material image selecting means 8a for selecting the image, an image generating means 7 for generating a display image AP using the material image CP of the clothing selected by the material image selecting means 8a, and an image generating means 7 And a display control unit 9 for displaying the generated display image AP on the display device 100 Ri.

ここで、顔抽出手段3は、第1カメラ2Aにより取得された第1画像P1に含まれる顔情報FDを抽出し顔情報記憶手段4に記憶するようになっている。また、顔抽出手段3は、第1画像P1に複数の顔情報FDが含まれている場合には各顔情報FDをそれぞれ抽出し、さらには異なる時間に取得された複数の第1画像P1について顔情報FDの抽出を行う。したがって、顔情報記憶手段4には顔抽出手段3により抽出された複数の顔情報FDが記憶されることになる。   Here, the face extraction means 3 extracts the face information FD included in the first image P1 acquired by the first camera 2A and stores it in the face information storage means 4. Further, the face extracting means 3 extracts each face information FD when the first image P1 includes a plurality of face information FD, and further, for the plurality of first images P1 acquired at different times. The face information FD is extracted. Accordingly, the face information storage unit 4 stores a plurality of pieces of face information FD extracted by the face extraction unit 3.

なお、顔抽出手段3における顔抽出する手法として、たとえば第1画像P1における顔のおおよその位置および大きさを検出し、この位置および大きさにより示される領域の画像を第1画像から顔情報FDを抽出する方法や、その他の公知の技術を用いることができる。   As a method for extracting a face in the face extracting means 3, for example, an approximate position and size of the face in the first image P1 is detected, and an image of an area indicated by the position and size is detected from the first image as face information FD. Or other known techniques can be used.

被写体特定手段5は、第2カメラ2Bにより取得された第2画像P2内の顔情報FDと顔情報記憶手段4に記憶された顔情報FDとを照合することにより、顔情報記憶手段4から表示画像APとして用いる顔情報FDを選択するようになっている。すなわち、たとえば図1に示すようなショーウィンドウ10に画像表示システム1を用いる場合、第2カメラ2Bにより撮影された画像には複数の被写体Sが撮影されてしまうことがあり、表示画像APに用いる顔情報FDを正しく選択することができない場合がある。そこで、被写体特定手段5において顔認証を行うことにより被写体特定精度を高め、効果的に被写体Sに表示画像APを提供するようになっている。   The subject specifying means 5 displays the face information from the face information storage means 4 by comparing the face information FD in the second image P2 acquired by the second camera 2B with the face information FD stored in the face information storage means 4. The face information FD used as the image AP is selected. That is, for example, when the image display system 1 is used for a show window 10 as shown in FIG. 1, a plurality of subjects S may be photographed in an image photographed by the second camera 2B, which is used for the display image AP. The face information FD may not be correctly selected. Therefore, subject identification means 5 performs face authentication to improve subject identification accuracy and effectively provide the display image AP to the subject S.

動き検出手段6は、第2カメラ2Bにより取得された第2画像P2から被写体Sの動きを検出し、たとえば「歩く」、「回る」、「振り向く」といった検出した動き情報を素材画像選択手段8aに出力するようになっている。顔抽出手段3が第1カメラ2Aにより得られた第1画像P1から被写体Sの顔情報FDを抽出し、動き検出手段6が第2カメラ2Bにより得られた第2画像P2から被写体Sの動きを検出することにより、第1カメラ2Aついては顔抽出に適した撮影条件により撮影を行うとともに、第2カメラ2Bについて動き検出に適した撮影条件により撮影を行うことができるため、顔情報FDの抽出および動き検出を効率的に精度良く行うことができる。   The motion detection means 6 detects the motion of the subject S from the second image P2 acquired by the second camera 2B, and the detected motion information such as “walking”, “turning”, and “turning around” is detected as the material image selection means 8a. To output. The face extraction means 3 extracts the face information FD of the subject S from the first image P1 obtained by the first camera 2A, and the motion detection means 6 moves the subject S from the second image P2 obtained by the second camera 2B. Since the first camera 2A can be photographed under photographing conditions suitable for face extraction and the second camera 2B can be photographed under photographing conditions suitable for motion detection, the face information FD can be extracted. In addition, motion detection can be performed efficiently and accurately.

ここで、動き検出手段6における動きの検出手法として、たとえば所定の大きさを有する注目領域の範囲での時刻t、時刻t+αにおける画像を切り出し、この2つの画像に含まれる被写体の輪郭線を検出し、この輪郭線の差分を求めることにより画像の面内平行方向、面内回転方向および/または放射方向の動きを検出し、この画像の動きに基づいて背景の動きを補償し、背景とは異なる動きをする物体を検出する方法やその他公知の手法を用いることができる。なお、ショーウィンドウ10の前の被写体Sの動作を検出する赤外線センサ等を配置しておき、動き検出手段6が第2画像P2と赤外線センサ等とにより被写体の動作を検出するようにしてもよい。   Here, as a motion detection method in the motion detection means 6, for example, images at time t and time t + α in the range of the region of interest having a predetermined size are cut out, and the contour lines of the subjects included in these two images are detected. Then, by detecting the difference between the contour lines, the motion in the in-plane parallel direction, the in-plane rotation direction and / or the radial direction of the image is detected, and the background motion is compensated based on the motion of the image. A method for detecting an object that moves differently or other known methods can be used. In addition, an infrared sensor or the like that detects the motion of the subject S in front of the show window 10 may be disposed, and the motion detection unit 6 may detect the motion of the subject by the second image P2 and the infrared sensor or the like. .

素材画像選択手段8aは、動き検出手段6により検出された被写体Sの動きに基づいて、この動きに合った被服の素材画像CPを素材記憶手段8bから選択するものである。ここで、素材記憶手段8bには、図3に示すように、被写体Sの動き情報に関連づけされた複数の被服の素材画像CPが記憶されている。具体的には、動き情報「歩く」には商品を身につけたモデルが歩いている被服の素材画像CP1が関連づけられて記憶されており、動き情報「回る」には商品を身につけたモデルが回る被服の素材画像CP2が関連づけられて記憶されており、動き情報「振り向く」には商品を身につけたモデルが振り向く被服の素材画像CP3が関連づけられて記憶されている。   Based on the movement of the subject S detected by the movement detection unit 6, the material image selection unit 8a selects the material image CP of the clothing that matches the movement from the material storage unit 8b. Here, as shown in FIG. 3, a plurality of clothing material images CP associated with the movement information of the subject S are stored in the material storage unit 8b. Specifically, the movement information “walking” is stored in association with the material image CP1 of the clothing on which the model wearing the product is walking, and the movement information “turning” includes the model wearing the product. The material image CP2 of the rotating clothing is stored in association with each other, and the material information CP3 of the clothing in which the model wearing the product turns is stored in association with the movement information “turn around”.

なお、この被服の素材画像CPは、モデルの実写データであってもよいし、CG(コンピュータグラフィックス)により動く体の画像であってもよい。さらに、被服の素材画像CPは、被写体Sと同一の動作をしたときのモデル等の画像からなるものであってもよいし、表示装置100に表示したときに被写体Sの鏡像となるような画像からなるものであってもよい。   Note that the material image CP of the clothes may be model real-life data, or may be an image of a body that moves by CG (computer graphics). Further, the material image CP of the clothes may be an image of a model or the like when the same operation as the subject S is performed, or an image that is a mirror image of the subject S when displayed on the display device 100. It may consist of.

画像生成手段7は、素材画像選択手段8aにより選択された被服の素材画像CPを用いて表示画像APを生成するものである。特に、画像生成手段7は、顔抽出手段3により抽出された顔情報FDと、選択された被服の素材画像CPとを合成することにより表示画像APを生成するようになっている。このように、表示画像APに被写体Sの顔情報を含ませることができるため、表示画像APの注目度を高めることができる。さらに、画像表示システム1により被写体Sに提供される表示画像APは、被写体Sの動きに応じて様々な被服の素材画像CPにより生成されたものであって動的なものであるため、従来のような静的な表示画像に比べて被写体Sの注意を引きやすく、これを広告表示に用いた場合には広告効果の向上を図ることができる。   The image generation means 7 generates the display image AP using the material image CP of the clothing selected by the material image selection means 8a. In particular, the image generation means 7 generates the display image AP by synthesizing the face information FD extracted by the face extraction means 3 and the material image CP of the selected clothing. Thus, since the face information of the subject S can be included in the display image AP, the degree of attention of the display image AP can be increased. Furthermore, since the display image AP provided to the subject S by the image display system 1 is generated by the material images CP of various clothes according to the movement of the subject S and is dynamic, Compared to such a static display image, it is easier to draw attention to the subject S, and when this is used for advertising display, the advertising effect can be improved.

表示制御手段9は、画像生成手段7により生成された表示画像APを表示装置100に表示するものである。具体的には、図4に示すように、表示装置100は、たとえば表示画像APをガラス面10a側に投射するプロジェクタ装置100Aと、ガラス面10aに設置された光透過性のスクリーン100Bとを有している。表示制御手段9はプロジェクタ装置100Aの動作を制御することによりスクリーン100B上に映し出される表示画像APの内容および表示位置を制御するようになっている。特に、表示制御手段9は、表示装置100が被写体Sと正対する位置に被写体とほぼ同一の大きさを有する表示画像APを表示装置100に表示するようになっている。このように、ショーウィンドウ10を見ている被写体Sの目の前に表示画像APを表示させることにより、ショーウィンドウ10を見ている被写体Sにとって意外性のある場所に表示画像APを表示させることができるため、表示画像APの注目度を高めることができる。   The display control unit 9 displays the display image AP generated by the image generation unit 7 on the display device 100. Specifically, as shown in FIG. 4, the display device 100 includes, for example, a projector device 100A that projects the display image AP on the glass surface 10a side, and a light-transmissive screen 100B that is installed on the glass surface 10a. is doing. The display control means 9 controls the content and display position of the display image AP displayed on the screen 100B by controlling the operation of the projector device 100A. In particular, the display control unit 9 displays a display image AP having substantially the same size as the subject on the display device 100 at a position where the display device 100 faces the subject S. Thus, by displaying the display image AP in front of the subject S looking at the show window 10, the display image AP is displayed at a place that is unexpected for the subject S looking at the show window 10. Therefore, the degree of attention of the display image AP can be increased.

さらに、被写体SがX方向に移動したときに、表示制御手段9は図5のようにプロジェクタ装置100Aを被写体Sの動きに合わせて揺動させる。すると、スクリーン100Bに映し出される表示画像APも被写体Sの移動に合わせて移動するようになる。これにより、たとえばショーウィンドウ沿いを歩いている被写体の隣に表示画像が被写体とともに移動するため、表示画像の意外性を高め表示画像の注目度を向上させることができる。   Further, when the subject S moves in the X direction, the display control means 9 swings the projector device 100A in accordance with the movement of the subject S as shown in FIG. Then, the display image AP displayed on the screen 100B also moves in accordance with the movement of the subject S. Thereby, for example, the display image moves with the subject next to the subject walking along the show window, so that the unexpectedness of the display image can be increased and the degree of attention of the display image can be improved.

ここで、表示画像APが動画であるとき、表示制御手段9は動き検出手段6により検出された動きの速さに基づいて再生速度を調整する機能を有している。たとえば、表示制御手段9は、被写体Sがゆっくり歩いているときには被写体Sのゆっくりした歩行速度に合わせて表示画像APを再生し、被写体Sが速く歩いているときには被写体Sの速い歩行速度に合わせて表示画像APを再生するようになっている。これにより、表示装置100の表示画像APが被写体Sの位置とずれることなくほぼ正対した状態で移動させることができる。   Here, when the display image AP is a moving image, the display control means 9 has a function of adjusting the reproduction speed based on the speed of motion detected by the motion detection means 6. For example, the display control means 9 reproduces the display image AP according to the slow walking speed of the subject S when the subject S is walking slowly, and matches the fast walking speed of the subject S when the subject S is walking fast. The display image AP is reproduced. As a result, the display image AP of the display device 100 can be moved in a substantially face-to-face state without shifting from the position of the subject S.

図6は本発明の画像表示システムおよび画像表示装置の動作例を示すフローチャートであり、図1から図6を参照して広告が像表示方法の一例について説明する。まず、たとえばショーウィンドウ10の被服DLを見ている通行人を被写体Sとして第1カメラ2Aによる撮影が行われる(ステップST1)。そして、図2の顔抽出手段3において第1カメラ2Aにより取得された第1画像P1から被写体Sの顔情報FDが抽出され顔情報記憶手段4に記憶される(ステップST2)。   FIG. 6 is a flowchart showing an operation example of the image display system and the image display apparatus of the present invention, and an example of an advertisement image display method will be described with reference to FIGS. First, for example, the first camera 2A takes a picture of a passerby looking at the clothes DL of the show window 10 as the subject S (step ST1). Then, the face information FD of the subject S is extracted from the first image P1 acquired by the first camera 2A in the face extraction means 3 of FIG. 2 and stored in the face information storage means 4 (step ST2).

一方で、第2カメラ2Bにおいても被写体Sの撮影が行われる。そして、被写体特定手段5において第2カメラ2Bにより取得された第2画像P2から顔情報FDの抽出が行われ、抽出された顔情報FDが顔情報記憶手段4に記憶されているか否かが判断される(ステップST3)。顔情報FDが顔情報記憶手段4に記憶されていない場合、第2カメラ2Bにより取得された第2画像P2に含まれる他の顔情報FDの抽出および照合が行われる。一方、抽出された顔情報FDが顔情報記憶手段4に存在する場合、顔情報記憶手段4に記憶されている顔情報FDが画像生成手段7に送られる。   On the other hand, the subject S is also photographed by the second camera 2B. Then, the subject specifying means 5 extracts face information FD from the second image P2 acquired by the second camera 2B, and determines whether or not the extracted face information FD is stored in the face information storage means 4. (Step ST3). When the face information FD is not stored in the face information storage unit 4, the other face information FD included in the second image P2 acquired by the second camera 2B is extracted and verified. On the other hand, when the extracted face information FD exists in the face information storage unit 4, the face information FD stored in the face information storage unit 4 is sent to the image generation unit 7.

また、被写体特定手段5において特定した被写体Sの動きが動き検出手段6により第2画像P2から検出される(ステップST4)。そして、検出した被写体Sの動きに基づいて素材記憶手段8bから被写体Sの動きに対応した被服の素材画像CPが表示画像APとして選択される(ステップST5)。その後、画像生成手段7において、選択した被服の素材画像CPと抽出した顔情報FDとの表示画像APが生成され(ステップST6)、表示制御手段9により生成した表示画像APが被写体Sの鏡像となるような位置に表示装置100に表示される。   Further, the movement of the subject S specified by the subject specifying means 5 is detected from the second image P2 by the motion detecting means 6 (step ST4). Based on the detected movement of the subject S, the material image CP of the clothing corresponding to the movement of the subject S is selected as the display image AP from the material storage unit 8b (step ST5). Thereafter, the image generation means 7 generates a display image AP of the selected clothing material image CP and the extracted face information FD (step ST6), and the display image AP generated by the display control means 9 is a mirror image of the subject S. Is displayed on the display device 100 at such a position.

具体的には、図7のように、被写体Sがショーウィンドウ10の被服DLを立ち止まって見ているとき、あるいはショーウィンドウ10を見ながら(ショーウィンドウ10側に顔を向けながら)歩いているとき、上述した顔検出および動き検出が行われて被写体Sの目の前に表示画像APが表示される。そして、矢印X方向に移動したとき、歩く素材画像CPに基づく表示画像APが生成され被写体Sの移動に伴って表示位置が変化する。その後、被写体Sが立ち止まってたとえば両手を挙げたとき、両手を挙げた素材画像CPに基づく表示画像APが生成・表示される。   Specifically, as shown in FIG. 7, when the subject S is standing still looking at the clothes DL of the show window 10 or walking while looking at the show window 10 (with the face facing the show window 10 side). The face detection and motion detection described above are performed, and the display image AP is displayed in front of the subject S. When moving in the arrow X direction, a display image AP based on the walking material image CP is generated, and the display position changes as the subject S moves. Thereafter, when the subject S stops and raises both hands, for example, a display image AP based on the material image CP with both hands raised is generated and displayed.

ショーウィンドウ10のガラス面10aという意外性な場所に、被写体Sの顔が含まれる意外な画像であって、被写体Sの動作に同期した意外な動きする表示画像APを表示させることができるため、被写体Sに大きなインパクトを与えることができる。さらに、驚いた被写体Sは立ち止まり振り向いたり回ったりしたときに、表示画像APもまた振り向いたり回ったりするため、さらに大きなインパクトを与えることができる。   Since it is possible to display a display image AP that is an unexpected image including the face of the subject S in an unexpected place of the glass surface 10a of the show window 10 and that moves unexpectedly in synchronization with the operation of the subject S, A great impact can be given to the subject S. Further, when the surprised subject S stops and turns around, the display image AP also turns around and turns, so that a greater impact can be given.

なお、図1のようにショーウィンドウ10に複数の被服DLが展示されている場合、各被服DL毎に画像表示システム1が設けられていてもよいし、あるいは、複数の第1カメラ2Aおよび第2カメラ2Bから得られた画像に基づいて1つの画像表示装置50において表示画像APの作成および表示制御を行うようにしてもよい。1つの画像表示装置50において表示画像APの作成および表示制御を行う場合、被写体Sが異なる被服DLの前に移動したときにシームレスに表示画像APの素材画像CPの変更を行うようにしてもよい。これによりさらに効果的な表示画像APの演出を行うことができる。このとき、素材記憶手段8bには1つの被写体の動きに対し、たとえば色の違う被服や種類の違う被服等の複数の被服の素材画像が記憶されるようになる。   When a plurality of clothes DL are displayed in the show window 10 as shown in FIG. 1, the image display system 1 may be provided for each clothes DL, or the plurality of first cameras 2A and the first The creation and display control of the display image AP may be performed in one image display device 50 based on the images obtained from the two cameras 2B. When the creation and display control of the display image AP is performed in one image display device 50, the material image CP of the display image AP may be changed seamlessly when the subject S moves in front of the different clothes DL. . As a result, a more effective display image AP can be produced. At this time, the material storage means 8b stores material images of a plurality of clothes such as clothes of different colors and clothes of different types with respect to the movement of one subject.

本発明の実施の形態は、上記実施の形態に限定されない。たとえば図2において第1カメラ2Aを用いて顔情報FDの抽出・記憶を行い、第2カメラ2Bを用いて被写体Sの特定・動きの検出を行うようにしているが、撮影手段2が1つのカメラからなり、このカメラによる撮影から得られた被写体Sの画像から顔情報FDの抽出および動きの検出を行うようにしてもよい。   The embodiment of the present invention is not limited to the above embodiment. For example, in FIG. 2, the face information FD is extracted and stored using the first camera 2A, and the subject S is specified and detected using the second camera 2B. It may consist of a camera, and the face information FD may be extracted from the image of the subject S obtained by photographing with this camera and the motion may be detected.

また、図1において、表示装置100が被写体Sの等身大の大きさの表示画像APを表示することができる大きさを有する場合について例示しているが、ショーウィンドウ10内に収容可能な大きさを有する表示装置100を用いるようにしても良い。このとき、撮影手段2は2つのカメラ2A、2Bを有するものであってもよいし、上述したような1つのカメラからなるものであってもよい。   1 illustrates the case where the display device 100 has a size capable of displaying a life-size display image AP of the subject S, the size that can be accommodated in the show window 10. You may make it use the display apparatus 100 which has. At this time, the photographing means 2 may include two cameras 2A and 2B, or may include one camera as described above.

また、図1においてショーウィンドウ10のガラス面10aに表示画像APを表示する場合について例示しているが、図8に示すように、表示装置100がショーウィンドウ10に隣接して配置されているものであってもよい。このとき、第1カメラ2Aがショーウィンドウ10を見ている被写体Sを撮影し、被写体Sが表示装置100側に歩いていったときに表示装置100に表示画像APが表示されるようになっている。このとき、第2カメラ2Bは表示装置100側に設置されており、表示装置100側にいる被写体Sの動きを検出することができるようになっている。この場合であっても、被写体Sに意外性のある画像であって意外性のある動きをする表示画像APを表示することができる。   1 illustrates the case where the display image AP is displayed on the glass surface 10a of the show window 10, the display device 100 is disposed adjacent to the show window 10 as shown in FIG. It may be. At this time, the first camera 2A takes a picture of the subject S looking at the show window 10, and the display image AP is displayed on the display device 100 when the subject S walks to the display device 100 side. Yes. At this time, the second camera 2B is installed on the display device 100 side, and can detect the movement of the subject S on the display device 100 side. Even in this case, it is possible to display the display image AP that is an unexpected image of the subject S and that moves unexpectedly.

さらに、図2の画像生成手段7において、顔情報FDと被服の素材画像CPとを合成することにより表示画像APを生成するようにしているが、顔情報FDと被服の素材画像CPとを合成せず被服の素材画像CPを表示画像APとして用い、表示装置100の表面に写る被写体Sの顔の位置に合わせて被服の素材画像CPを表示するようにしても良い。   Further, the image generation means 7 in FIG. 2 generates the display image AP by synthesizing the face information FD and the material image CP of the clothing, but the face information FD and the material image CP of the clothing are synthesized. Instead, the material image CP of the clothing may be used as the display image AP, and the material image CP of the clothing may be displayed in accordance with the position of the face of the subject S on the surface of the display device 100.

また、図2の顔抽出手段3において、抽出した顔情報FDを顔情報記憶手段4に記憶する際に、たとえばショーウィンドウ10に展示された被服等の広告対象年齢層・性別等により抽出した顔情報FDを記憶するか否かの判断を行うようにしても良い。これにより、たとえば女性用の被服の表示画像APとして男性の顔情報FDが合成されるといった不具合を防止することができる。   Further, when the extracted face information FD is stored in the face information storage means 4 in the face extraction means 3 of FIG. 2, for example, the face extracted by the age group / sex etc. of the advertisement such as clothes displayed in the show window 10 It may be determined whether to store the information FD. Thereby, for example, it is possible to prevent a problem that the male face information FD is synthesized as the display image AP of the female clothing.

さらに、上記実施の形態において、画像生成手段7において使用される顔情報FDは顔情報記憶手段4に記憶されているものを使用するようにしているが、被写体特定手段5において抽出される顔情報FDを用いるようにしても良い。   Further, in the above embodiment, the face information FD used in the image generation means 7 is the one stored in the face information storage means 4, but the face information extracted in the subject specifying means 5 is used. An FD may be used.

また、図4と図5において、表示装置100がプロジェクタ装置である場合について例示しているが、ガラス面に設置された光透過性を有するELパネル等により形成されていてもよい。   4 and 5 illustrate the case where the display device 100 is a projector device, the display device 100 may be formed of a light-transmitting EL panel or the like installed on a glass surface.

本発明の画像表示システムの好ましい実施の形態を示す概略図Schematic showing a preferred embodiment of the image display system of the present invention 本発明の画像表示システムの好ましい実施の形態を示すブロック図The block diagram which shows preferable embodiment of the image display system of this invention 図2の画像表示装置における素材記憶手段のデータ構造を示す模式図Schematic diagram showing the data structure of the material storage means in the image display device of FIG. 図2の画像表示システムにおける表示装置の一例を示す模式図Schematic diagram showing an example of a display device in the image display system of FIG. 図2の画像表示システムにおける表示装置の一例を示す模式図Schematic diagram showing an example of a display device in the image display system of FIG. 本発明の画像表示システムの動作例を示すフローチャートThe flowchart which shows the operation example of the image display system of this invention 表示装置に表示画像が表示されている様子を示す模式図Schematic diagram showing how the display image is displayed on the display device 本発明の画像表示システムの別の実施の形態を示す模式図Schematic diagram showing another embodiment of the image display system of the present invention

符号の説明Explanation of symbols

1 画像表示システム
2 撮影手段
2A 第1カメラ
2B 第2カメラ
3 顔抽出手段
4 顔情報記憶手段
5 被写体特定手段
6 動き検出手段
7 画像生成手段
8a 素材画像選択手段
8b 素材記憶手段
9 表示制御手段
10 ショーウィンドウ
50 画像表示装置
100 表示装置
AP 表示画像
CP 被服の素材画像
FD 顔情報
P1 第1画像
P2 第2画像
S 被写体
DESCRIPTION OF SYMBOLS 1 Image display system 2 Image | photographing means 2A 1st camera 2B 2nd camera 3 Face extraction means 4 Face information storage means 5 Subject identification means 6 Motion detection means 7 Image generation means 8a Material image selection means 8b Material storage means 9 Display control means 10 Show window 50 Image display device 100 Display device AP Display image CP Material image FD of clothing Face information P1 First image P2 Second image S Subject

Claims (9)

人物被写体を撮影する撮影手段と、
該撮影手段により撮影された前記被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、
前記撮影手段により撮影された前記被写体の画像から前記被写体の動きを検出する動き検出手段と、
前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材画像が複数記憶された素材記憶手段と、
前記動き検出手段により検出された前記被写体の動きに基づいて、前記素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択する素材画像選択手段と、
該素材画像選択手段により選択された前記被服の素材画像と前記顔抽出手段により抽出された前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成する画像生成手段と、
前記画像生成手段により生成された前記表示画像を前記表示装置に表示する表示制御手段と
を有することを特徴とする画像表示システム。
Photographing means for photographing a human subject;
Face extraction means for extracting face information of the subject from the image of the subject photographed by the photographing means;
Movement detecting means for detecting movement of the subject from the image of the subject photographed by the photographing means;
Material storage means for storing a plurality of material images of clothing when generating a display image to be displayed on a display device corresponding to the movement of the subject;
Material image selection means for selecting a material image of the clothing to be used for generation of the display image from the material storage means based on the movement of the subject detected by the motion detection means;
The display image in which the subject wears the material image of the clothing is generated by combining the material image of the clothing selected by the material image selection unit and the face information extracted by the face extraction unit. Image generating means;
An image display system comprising: display control means for displaying the display image generated by the image generation means on the display device.
前記表示装置が、ショーウィンドウの光透過面に前記被写体のほぼ等身大の前記表示画像を表示可能なものであり、前記表示制御手段がショーウィンドウを見ている前記被写体の目前に前記表示画像を表示させるものであることを特徴とする請求項1に記載の画像表示システム。 The display device is capable of displaying the display image that is substantially the same size as the subject on a light transmission surface of a show window, and the display control means displays the display image in front of the subject who is looking at the show window. The image display system according to claim 1, wherein the image display system is displayed. 前記表示制御手段が、前記動き検出手段において検出された前記被写体の移動に合わせて前記被写体にほぼ正対する位置に前記表示画像が表示されるように、前記表示装置における前記表示画像の位置を移動させるものであることを特徴とする請求項1に記載の画像表示システム。 The display control means moves the position of the display image on the display device so that the display image is displayed at a position substantially facing the subject in accordance with the movement of the subject detected by the motion detection means. The image display system according to claim 1, wherein: 前記動き検出手段が前記被写体の歩く動きを検出するものであり、前記表示制御手段が、前記被写体の歩く動きに合わせて前記表示画像を前記表示装置に表示するものであることを特徴とする請求項3に記載の画像表示システム。 The movement detecting means detects a walking movement of the subject, and the display control means displays the display image on the display device in accordance with the walking movement of the subject. Item 4. The image display system according to Item 3. 前記画像生成手段が前記表示画像として動画を生成するものであり、前記表示制御手段が前記動き検出手段により検出された動きの速さに応じて前記表示画像の再生速度を調整するものであることを特徴とする請求項1または4に記載の画像表示システム。 The image generation means generates a moving image as the display image, and the display control means adjusts the reproduction speed of the display image in accordance with the speed of motion detected by the motion detection means. The image display system according to claim 1, wherein: 前記撮影手段が第1カメラと第2カメラとを有し、前記顔抽出手段が前記第1カメラにより得られた第1画像から前記被写体の顔情報を抽出するものであり、前記動き検出手段が前記第2カメラにより得られた第2画像から前記被写体の動きを検出するものであることを特徴とする請求項1から5のいずれか1項に記載の画像表示システム。 The photographing means has a first camera and a second camera, the face extraction means extracts face information of the subject from a first image obtained by the first camera, and the motion detection means The image display system according to claim 1, wherein the movement of the subject is detected from a second image obtained by the second camera. 前記顔抽出手段により前記第1画像から抽出された前記顔情報を前記第2画像内において検索し前記表示画像を提供する前記被写体を特定する被写体特定手段をさらに有し、前記動き検出手段が、該被写体特定手段により特定された前記被写体の動きを前記第2画像から検出するものであることを特徴とする請求項6に記載の画像表示システム。 The apparatus further comprises subject specifying means for specifying the subject for searching the face information extracted from the first image by the face extracting means in the second image and providing the display image, and the motion detecting means, The image display system according to claim 6, wherein the movement of the subject specified by the subject specifying means is detected from the second image. 人物被写体を撮影手段により撮影したときの該被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、
前記被写体を撮影する撮影手段により撮影された前記被写体の画像から前記被写体の動きを検出する動き検出手段と、
前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、
前記動き検出手段により検出された前記被写体の動きに基づいて、前記素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択する素材画像選択手段と、
該素材画像選択手段により選択された前記被服の素材画像と、前記顔抽出手段により抽出された前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成する画像生成手段と、
前記画像生成手段により生成された前記表示画像を前記表示装置に表示する表示制御手段と
を有することを特徴とする画像表示装置。
Face extracting means for extracting face information of the subject from the image of the subject when the human subject is photographed by the photographing means;
A motion detecting means for detecting a movement of the subject from an image of the subject photographed by a photographing means for photographing the subject;
Material storage means for storing a plurality of clothing material images, which are clothing materials when generating a display image to be displayed on a display device, corresponding to the movement of the subject;
Material image selection means for selecting a material image of the clothing to be used for generation of the display image from the material storage means based on the movement of the subject detected by the motion detection means;
The display image in which the subject wears the material image of the clothing is generated by combining the material image of the clothing selected by the material image selection unit and the face information extracted by the face extraction unit. Image generating means for
An image display device comprising: a display control unit configured to display the display image generated by the image generation unit on the display device.
コンピュータに、
人物被写体を撮影したときの該被写体の画像から該被写体の顔情報を抽出し、
撮影した前記被写体の画像から前記被写体の動きを検出し、
検出した前記被写体の動きに基づいて、前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択し、
選択した前記被服の素材画像と抽出した前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成し、
生成した前記表示画像を前記表示装置に表示する
ことを実行させるための画像表示プログラム。
On the computer,
Extracting face information of the subject from the image of the subject when the human subject is photographed;
Detecting the movement of the subject from the photographed image of the subject,
Based on the detected movement of the subject, the display from the material storage means that stores a plurality of clothing material images that are used as clothing materials when generating a display image to be displayed on the display device corresponding to the movement of the subject. Select the material image of the clothing used to generate the image,
By synthesizing the selected material image of the clothing and the extracted face information, the subject generates the display image in which the material image of the clothing is worn,
An image display program for executing display of the generated display image on the display device.
JP2005183120A 2005-06-23 2005-06-23 Image display system, image display device, and program Withdrawn JP2007004427A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005183120A JP2007004427A (en) 2005-06-23 2005-06-23 Image display system, image display device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005183120A JP2007004427A (en) 2005-06-23 2005-06-23 Image display system, image display device, and program

Publications (1)

Publication Number Publication Date
JP2007004427A true JP2007004427A (en) 2007-01-11

Family

ID=37690007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005183120A Withdrawn JP2007004427A (en) 2005-06-23 2005-06-23 Image display system, image display device, and program

Country Status (1)

Country Link
JP (1) JP2007004427A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101527A (en) * 2011-11-09 2013-05-23 Sony Corp Information processing apparatus, display control method, and program
KR101464273B1 (en) * 2013-03-06 2014-11-24 (주)피엑스디 Apparatus for displaying interactive image using transparent display, method for displaying interactive image using transparent display and recording medium thereof
CN104683723A (en) * 2013-11-29 2015-06-03 卡西欧计算机株式会社 Display system, display device, projection device and program
WO2016133032A1 (en) * 2015-02-17 2016-08-25 ナブテスコ株式会社 Projection device and automatic door system
JP2016532197A (en) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー.EyesMatch Ltd. Virtualization device, system and method in mirror
KR20170021707A (en) * 2015-08-18 2017-02-28 삼성전자주식회사 Large format display apparatus and control method thereof
US11061533B2 (en) 2015-08-18 2021-07-13 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
KR102664008B1 (en) 2017-12-29 2024-05-09 삼성전자주식회사 Method and device to recommend customer item based on visual information

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101527A (en) * 2011-11-09 2013-05-23 Sony Corp Information processing apparatus, display control method, and program
CN103218506A (en) * 2011-11-09 2013-07-24 索尼公司 Information processing apparatus, display control method, and program
KR101464273B1 (en) * 2013-03-06 2014-11-24 (주)피엑스디 Apparatus for displaying interactive image using transparent display, method for displaying interactive image using transparent display and recording medium thereof
JP2016532197A (en) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー.EyesMatch Ltd. Virtualization device, system and method in mirror
CN104683723A (en) * 2013-11-29 2015-06-03 卡西欧计算机株式会社 Display system, display device, projection device and program
CN104683723B (en) * 2013-11-29 2018-10-16 卡西欧计算机株式会社 Display device, camera and display methods
WO2016133032A1 (en) * 2015-02-17 2016-08-25 ナブテスコ株式会社 Projection device and automatic door system
JPWO2016133032A1 (en) * 2015-02-17 2017-12-28 ナブテスコ株式会社 Projector and automatic door system
KR20170021707A (en) * 2015-08-18 2017-02-28 삼성전자주식회사 Large format display apparatus and control method thereof
KR102136223B1 (en) 2015-08-18 2020-07-21 삼성전자주식회사 Large format display apparatus and control method thereof
US11061533B2 (en) 2015-08-18 2021-07-13 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
KR102664008B1 (en) 2017-12-29 2024-05-09 삼성전자주식회사 Method and device to recommend customer item based on visual information

Similar Documents

Publication Publication Date Title
JP2007004427A (en) Image display system, image display device, and program
US7827488B2 (en) Image tracking and substitution system and methodology for audio-visual presentations
US8130330B2 (en) Immersive surround visual fields
KR102319423B1 (en) Context-Based Augmented Advertising
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
US20110273466A1 (en) View-dependent rendering system with intuitive mixed reality
US20180182171A1 (en) Systems and Methods for Real-time Multimedia Augmented Reality
KR20140082610A (en) Method and apaaratus for augmented exhibition contents in portable terminal
JP6672305B2 (en) Method and apparatus for generating extrapolated images based on object detection
JP2021103303A (en) Information processing device and image display method
CN101563698A (en) Personalizing a video
JP2018113616A (en) Information processing unit, information processing method, and program
JP2003264740A (en) Observation scope
KR101647969B1 (en) Apparatus for detecting user gaze point, and method thereof
US20160266543A1 (en) Three-dimensional image source for enhanced pepper&#39;s ghost illusion
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
KR102009400B1 (en) Method for providing realistic type image contents and server using the same
US20190377980A1 (en) Generating training data for machine learning classifier
JP2017538140A (en) Real-time 3D video multiple screen synchronization system
KR101925631B1 (en) Karaoke system using video recognition and method for dispaying background video on the same
JP6784363B2 (en) Television broadcasting system that generates extended images
JP7296735B2 (en) Image processing device, image processing method and program
JP2003298936A (en) Image compositing apparatus and method thereof, and image display apparatus and method thereof
CN105630170B (en) Information processing method and electronic equipment
JP2016131342A (en) Device, method, and program for model railroad appreciation, dedicated display monitor, and scene image data for synthesis

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080902