JP2014204289A - Image display device, image display system, and image display method - Google Patents
Image display device, image display system, and image display method Download PDFInfo
- Publication number
- JP2014204289A JP2014204289A JP2013078866A JP2013078866A JP2014204289A JP 2014204289 A JP2014204289 A JP 2014204289A JP 2013078866 A JP2013078866 A JP 2013078866A JP 2013078866 A JP2013078866 A JP 2013078866A JP 2014204289 A JP2014204289 A JP 2014204289A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- imaging
- angle
- shooting direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像表示装置、画像表示システム、および画像表示方法に関する。 The present invention relates to an image display device, an image display system, and an image display method.
例えば、姿見を用いて、後姿を労力少なく確認したいことがある。家庭においては、着替え時や化粧時、店頭における例では、ブティックや洋装店での試着、美容院での髪型確認、呉服店やレンタル和装店での試着の際などである。しかしながら、従来の姿見では無理な姿勢を強いられたり、見えない部分があったりして容易には確認できない。 For example, you may want to check the rear view with little effort using figure-viewing. At home, at the time of changing clothes, makeup, and in-store examples, such as when trying on a boutique or a clothing store, checking a hairstyle at a beauty salon, or trying on a kimono store or a rental kimono store. However, it cannot be easily confirmed because there is a part that cannot be seen by conventional postures or an invisible part.
このため、例えば、撮像装置によって撮像した後姿の映像を無線伝送し、姿見利用者の前方に電子的映像として表示させるようにした例が知られている。開き角度がほぼ90度である左右両反射平面鏡からなる反射用2面鏡と、反射用2面鏡の前方に置かれる直視用平面鏡とをそれぞれ直立した姿勢で相対向するように配置した例も知られている。この例においては、物体像を反射用2面鏡の中心線より反射用2面鏡の左右いずれか一方の反射平面鏡側の鏡面内に位置させ、その物体像の後ろ姿、横姿、前姿のそれぞれの虚像を直視用平面鏡に同時に映し出す(例えば、特許文献1、2参照)。 For this reason, for example, there is known an example in which a rear-view image captured by an imaging device is wirelessly transmitted and displayed as an electronic image in front of the appearance user. There is also an example in which a reflecting dihedral mirror composed of left and right reflecting plane mirrors having an opening angle of approximately 90 degrees and a direct viewing plane mirror placed in front of the reflecting diplexer are opposed to each other in an upright posture. Are known. In this example, the object image is positioned within the mirror surface on the reflection plane mirror side of either the left or right side of the reflecting dihedral mirror from the center line of the reflecting dihedral mirror, and the object image has a rear view, a side view, and a front view. Each virtual image is simultaneously projected on a direct viewing plane mirror (see, for example, Patent Documents 1 and 2).
自分を被写体とする被写体の前面に配設し、後面の像を表示する画像表示装置も知られている。この画像表示装置では、被写体を撮像するビデオカメラを被写体の後面に配設し、ビデオカメラが被写体の後面の像を撮像して得られた画像信号を画像表示装置へ伝送することで、画像表示装置に被写体の後面の像を表示する。別の例として、被写体を複数方向から撮影する画像撮影システムも知られている。この画像撮影システムでは、アクテュエータが、移動信号に応答して、カメラの位置および向きを変更し、カメラは、撮影タイミング信号に応答して被写体を撮影する(例えば、特許文献3、4参照)。 There is also known an image display device that is arranged in front of a subject whose subject is the subject and displays a rear image. In this image display device, a video camera that captures a subject is disposed on the rear surface of the subject, and the video camera transmits an image signal obtained by capturing an image of the rear surface of the subject to the image display device, thereby displaying an image. An image of the rear surface of the subject is displayed on the device. As another example, an image photographing system for photographing a subject from a plurality of directions is also known. In this image capturing system, the actuator changes the position and orientation of the camera in response to the movement signal, and the camera captures the subject in response to the capturing timing signal (see, for example, Patent Documents 3 and 4).
ビデオカメラとカメラ付タッチパネルディスプレイを組み合わせた例も知られている。このような例では、例えば、撮影した静止画を並べて表示してコーディネートの比較ができる。洋服を試着した際に後ろを向いて静止画撮影すれば、振り向いて確認する必要なく、自然な後ろ姿の印象を確認できる。試着した姿をフルハイビジョンで静止画として撮影、保存し、保存した画像を複数同時に表示、見比べることができる。さらに、鏡の前の光景を撮影した画像を常に3秒遅れで鏡に映し出すdelay Mirrorも知られている(例えば、非特許文献1〜3参照)。 An example in which a video camera and a touch panel display with a camera are combined is also known. In such an example, for example, the captured still images can be displayed side by side to compare the coordinates. If you try on clothes and take a still picture, you can check the impression of a natural back without having to turn around and check. You can shoot and save your try-on as a still image with full high-definition, and view and compare multiple saved images simultaneously. Furthermore, a delay mirror is also known in which an image obtained by photographing a scene in front of a mirror is always reflected on the mirror with a delay of 3 seconds (see, for example, Non-Patent Documents 1 to 3).
しかしながら、例えば、上記のように、静止画を撮影して見比べるような画像表示装置の場合には、角度を自由に変えて見ることはできない。被写体を複数方向から撮影する画像撮影システムでは、カメラ以外にアクテュエータが必要である。また、ディレイ映像の場合には、見たい角度でじっくり見ることはできない。 However, for example, as described above, in the case of an image display apparatus that takes a still image and compares it, the angle cannot be changed freely. An image capturing system that captures a subject from a plurality of directions requires an actuator in addition to the camera. In addition, in the case of a delay video, it is not possible to view it carefully at the desired angle.
ひとつの側面によれば、簡易な構成で、被写体を所望の方向から撮影した画像を見ることが可能な画像表示装置、画像表示システム、および画像表示方法を提供することを目的とする。 According to one aspect, an object is to provide an image display device, an image display system, and an image display method capable of viewing an image obtained by photographing a subject from a desired direction with a simple configuration.
ひとつの態様である画像表示装置は、記憶部、第1の算出部、設定部、画像選択部、表示部を有している。記憶部は、対象物が一方向に少なくとも一回転する間、所定位置に配置された撮影装置により撮影された前記対象物の複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶する。第1の算出部は、前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を算出する。また、第1の算出部は、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出する。設定部は、表示させる画像の第2の撮影方向を設定する。画像選択部は、前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択する。表示部は、選択された前記第1の画像を表示する。 An image display device according to one aspect includes a storage unit, a first calculation unit, a setting unit, an image selection unit, and a display unit. The storage unit captures the plurality of first images of the plurality of first images of the object captured by the imaging device disposed at a predetermined position while the object rotates at least once in one direction. Stored in association with the first shooting order. The first calculation unit extracts the position of the second image of the specific object on the object in at least two of the plurality of first images, thereby extracting the position of the object with respect to the object. A first photographing direction indicating a relative posture of the photographing apparatus is calculated. The first calculation unit calculates a first shooting direction of each of the plurality of first images based on the first shooting order and the calculated at least two first shooting directions. The setting unit sets a second shooting direction of an image to be displayed. The image selection unit selects an image in the first shooting direction corresponding to the second shooting direction from the plurality of first images. The display unit displays the selected first image.
別の態様である画像表示システムは、撮影装置、記憶部、第1の算出部、設定部、画像選択部、表示部を有している。撮影装置は、所定の位置に配置され、対象物が一方向に少なくとも一回転する間、前記対象物の複数の第1の画像を撮影する。記憶部は、撮影された前記複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶する。第1の算出部は、前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を少なくとも2つの前記第1の画像において算出する。また、第1の算出部は、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出する。設定部は、表示させる画像の第2の撮影方向を設定する。画像選択部は、前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択する。表示部は、選択された前記第1の画像を表示する。 An image display system according to another aspect includes an imaging device, a storage unit, a first calculation unit, a setting unit, an image selection unit, and a display unit. The imaging device is arranged at a predetermined position and captures a plurality of first images of the object while the object rotates at least once in one direction. The storage unit stores the plurality of photographed first images in association with a first photographing order in which the plurality of first images are photographed. The first calculation unit extracts the position of the second image of the specific object on the object in at least two of the plurality of first images, thereby extracting the position of the object with respect to the object. A first photographing direction indicating a relative posture of the photographing device is calculated in at least two of the first images. The first calculation unit calculates a first shooting direction of each of the plurality of first images based on the first shooting order and the calculated at least two first shooting directions. The setting unit sets a second shooting direction of an image to be displayed. The image selection unit selects an image in the first shooting direction corresponding to the second shooting direction from the plurality of first images. The display unit displays the selected first image.
上述した態様の画像表示装置、画像表示システム、および画像表示方法によれば、簡易な構成で、被写体を所望の方向から撮影した画像を見ることが可能である。 According to the image display device, the image display system, and the image display method of the above-described aspect, it is possible to view an image obtained by photographing a subject from a desired direction with a simple configuration.
(第1の実施の形態)
以下、図面を参照しながら、第1の実施の形態による画像表示システム1について説明する。図1は、第1の実施の形態による画像表示方法の概念を説明する図である。図1に示すように、第1の実施の形態による画像表示方法においては、画像表示システム1が用いられる。画像表示システム1は、カメラ3、表示装置5、ハーフミラー7を有している。カメラ3は、動画または静止画の連続撮影が可能な撮影装置である。表示装置5は、カメラ3で撮影した画像等を表示する装置である。ハーフミラー7は、表示装置5の表示面に備えられたハーフミラーである。表示装置5に表示される画像はハーフミラー7を通して見ることができる。また、表示装置5に画像が表示されていない場合には、ハーフミラー7は、鏡として機能する。
(First embodiment)
The image display system 1 according to the first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram for explaining the concept of the image display method according to the first embodiment. As shown in FIG. 1, in the image display method according to the first embodiment, an image display system 1 is used. The image display system 1 includes a camera 3, a display device 5, and a half mirror 7. The camera 3 is a photographing device capable of continuously photographing moving images or still images. The display device 5 is a device that displays an image taken by the camera 3. The half mirror 7 is a half mirror provided on the display surface of the display device 5. The image displayed on the display device 5 can be viewed through the half mirror 7. When no image is displayed on the display device 5, the half mirror 7 functions as a mirror.
本実施の形態において、撮影の対象物は人物11である。人物11は、カメラ3の視野の中で、体の中心を通り鉛直方向の軸を回転軸として回転方向13のように回転する。回転方向13は、双方向の矢印で記載されている。回転は、いずれの方向の回転でもよいが、一連の撮影時には、いずれか一方向に回転することが好ましい。回転は、人物11が自ら行なうことが好ましい。 In the present embodiment, the object to be photographed is a person 11. In the field of view of the camera 3, the person 11 passes through the center of the body and rotates in the rotation direction 13 with the vertical axis as the rotation axis. The rotation direction 13 is indicated by a bidirectional arrow. The rotation may be in any direction, but it is preferable to rotate in any one direction during a series of photographing. The rotation is preferably performed by the person 11 himself.
画像列100は、人物11が鉛直方向の軸を回転軸として一方向に一回転以上回転する間、固定されたカメラ3で、全身、半身、あるいは顔について、例えば複数回の静止画、または動画の撮影を行って得られた画像であり、後述する記憶部に記憶される。図1の例では、画像100−1〜100−11が、算出された撮影方向を示す角度と共に示されている。画像列100に含まれる任意の画像を、以下、画像100−nという。 The image sequence 100 is a fixed camera 3 while the person 11 rotates one axis or more about a vertical axis as a rotation axis, for example, a plurality of still images or moving images of the whole body, half body, or face. These images are obtained by shooting and stored in a storage unit to be described later. In the example of FIG. 1, images 100-1 to 100-11 are shown together with an angle indicating the calculated shooting direction. An arbitrary image included in the image sequence 100 is hereinafter referred to as an image 100-n.
再生時にも、カメラ3は、カメラ3の視野の中に立つ人物11を撮影する。カメラ3は、例えば、画像表示システム1のカメラ3の視野の中に立ち、表示装置5に表示された画像を見ながら、体の中心を通り鉛直方向の軸を中心として回転方向15のように回転する人物11を撮影する。このとき、画像表示システム1は、人物11の回転方向15の回転を検出し、検出した回転に応じて表示装置5に表示させる画像を選択する。 Even during reproduction, the camera 3 captures the person 11 standing in the field of view of the camera 3. For example, the camera 3 stands in the field of view of the camera 3 of the image display system 1 and looks at the image displayed on the display device 5 while passing through the center of the body and centering on the vertical axis as in the rotation direction 15. The rotating person 11 is photographed. At this time, the image display system 1 detects the rotation of the person 11 in the rotation direction 15 and selects an image to be displayed on the display device 5 according to the detected rotation.
図2は、表示装置5による表示例25を示す図である。図2に示すように、表示例25において、本体9の表示面は、ミラー部17と画面19とを含んでいる。表示例25では、ミラー部17には、人物11の鏡像が映っており、画面19には、人物11の後姿が映っている。人物11が回転方向23のように回転すると、画像表示システム1では回転を検知し、画面19に、検知された回転角度に対応する回転角度で撮影された画像を表示する。 FIG. 2 is a diagram illustrating a display example 25 by the display device 5. As shown in FIG. 2, in the display example 25, the display surface of the main body 9 includes a mirror unit 17 and a screen 19. In the display example 25, the mirror unit 17 shows a mirror image of the person 11, and the screen 19 shows the rear view of the person 11. When the person 11 rotates in the rotation direction 23, the image display system 1 detects the rotation, and displays an image captured at a rotation angle corresponding to the detected rotation angle on the screen 19.
図3は、画像表示システム1のハードウエア構成の一例を示すブロック図である。図3に示すように、画像表示システム1は、撮影装置31、画像表示装置33、演算処理装置35、記憶装置37、入力装置39を有している。撮影装置31は、例えばカメラ3などの動画または静止画を撮影する装置である。画像表示装置33は、例えば表示装置5など、画像を表示する装置である。 FIG. 3 is a block diagram illustrating an example of a hardware configuration of the image display system 1. As illustrated in FIG. 3, the image display system 1 includes a photographing device 31, an image display device 33, an arithmetic processing device 35, a storage device 37, and an input device 39. The photographing device 31 is a device that photographs a moving image or a still image such as the camera 3. The image display device 33 is a device that displays an image, such as the display device 5.
演算処理装置35は、画像表示システム1の動作を制御するための演算処理を行う装置である。記憶装置37は、Read Only Memory(ROM)、Random Access Memory(RAM)、外部記憶装置、可搬記憶媒体およびその駆動装置などである。図1の例では、演算処理装置35、記憶装置37は、例えば表示装置5に内蔵されるようにしてもよい。入力装置39は、例えば、キーボードやタッチパネル等、ユーザが操作することにより情報の入力が可能な入力装置である。入力装置39は、図1の例では、例えばハーフミラー7の表面に設けられるタッチパネルとすることができる。 The arithmetic processing device 35 is a device that performs arithmetic processing for controlling the operation of the image display system 1. The storage device 37 is a Read Only Memory (ROM), a Random Access Memory (RAM), an external storage device, a portable storage medium, and a driving device thereof. In the example of FIG. 1, the arithmetic processing device 35 and the storage device 37 may be incorporated in the display device 5, for example. The input device 39 is an input device capable of inputting information by a user operation, such as a keyboard and a touch panel. In the example of FIG. 1, the input device 39 can be a touch panel provided on the surface of the half mirror 7, for example.
図4は、画像表示システム1の機能の一例を示すブロック図である。図4に示すように、画像表示システム1は、撮影部51、画像列蓄積部52、蓄積画像角度算出部53、撮影画像角度算出部55、表示設定部57、画像表示部61の機能を有している。撮影部51は、カメラ3を制御して、例えば人物11を撮影する。画像列蓄積部52は、カメラ3で撮影された例えば人物11が一回転する間に撮影した複数の画像を、撮影順と対応付けて記憶装置37に記憶させる。蓄積画像角度算出部53は、画像列100において後述する所定の処理を行うことにより、各画像100−nの撮影時の人物11の回転角度をそれぞれ算出する。 FIG. 4 is a block diagram illustrating an example of functions of the image display system 1. As shown in FIG. 4, the image display system 1 has functions of an imaging unit 51, an image sequence storage unit 52, an accumulated image angle calculation unit 53, a captured image angle calculation unit 55, a display setting unit 57, and an image display unit 61. doing. The photographing unit 51 controls the camera 3 to photograph the person 11, for example. The image sequence storage unit 52 stores, in the storage device 37, a plurality of images captured by the camera 3, for example, while the person 11 rotates once in association with the imaging order. The accumulated image angle calculation unit 53 calculates a rotation angle of the person 11 at the time of photographing each image 100-n by performing predetermined processing described later on the image sequence 100.
撮影画像角度算出部55は、再生時に撮影される人物11の回転角度を算出する。表示設定部57は、表示装置5に表示させる画像の回転角度の中心とする表示中心角度を設定する。この設定では、例えば、入力装置39からユーザにより入力された角度を表示中心角度に設定することができる。画像選択部59は、画像列蓄積部52、撮影画像角度算出部55、表示設定部57からの情報に基づき、表示させる画像を選択する。画像の選択方法は、後述する。画像表示部61は、画像選択部59で選択された画像を表示装置5に表示させる。 The captured image angle calculation unit 55 calculates the rotation angle of the person 11 photographed at the time of reproduction. The display setting unit 57 sets the display center angle as the center of the rotation angle of the image displayed on the display device 5. In this setting, for example, the angle input by the user from the input device 39 can be set as the display center angle. The image selection unit 59 selects an image to be displayed based on information from the image sequence storage unit 52, the captured image angle calculation unit 55, and the display setting unit 57. A method for selecting an image will be described later. The image display unit 61 causes the display device 5 to display the image selected by the image selection unit 59.
図5は、蓄積画像角度算出部53の詳細な構成の一例を示すブロック図である。図5に示すように、蓄積画像角度算出部53は、概正面顔抽出部71、概正面顔角度算出部73、概正面顔角度設定部75、概正面顔隣接画像角度差算出部77、隣接画像画素移動量算出部79、単位角度差算出部81、概正面顔画像角度差合計部83を有している。蓄積画像角度算出部53は、背面画像抽出部85、背面隣接画像画素移動量算出部87、背面隣接画像角度差算出部89、背面隣接画像角度差合計部91、角度差合計部93、角度調整係数算出部95を有している。さらに、蓄積画像角度算出部53は、背面隣接画像調整角度差算出部、背面画像角度算出部99、背面画像角度設定部101を有している。 FIG. 5 is a block diagram illustrating an example of a detailed configuration of the accumulated image angle calculation unit 53. As shown in FIG. 5, the accumulated image angle calculation unit 53 includes an approximate front face extraction unit 71, an approximate front face angle calculation unit 73, an approximate front face angle setting unit 75, an approximate front face adjacent image angle difference calculation unit 77, and an adjacent An image pixel movement amount calculation unit 79, a unit angle difference calculation unit 81, and an approximate front face image angle difference summation unit 83 are included. The accumulated image angle calculation unit 53 includes a back image extraction unit 85, a back surface adjacent image pixel movement amount calculation unit 87, a back surface adjacent image angle difference calculation unit 89, a back surface adjacent image angle difference summation unit 91, an angle difference summation unit 93, and an angle adjustment. A coefficient calculation unit 95 is included. Furthermore, the accumulated image angle calculation unit 53 includes a back surface adjacent image adjustment angle difference calculation unit, a back surface image angle calculation unit 99, and a back surface image angle setting unit 101.
概正面顔抽出部71は、本実施の形態においては、画像列蓄積部52に蓄積された画像列100から、目、鼻、口等の顔部品がきれいに検出できる画像を抽出する。きれいに検出できるとは、例えば、画像100−nにおいて顔部品を検出することにより、後述する角度算出部73が、顔の角度を算出可能であることをいう。このときの顔画像を「概正面顔」といい、「概正面顔」を含む画像を「概正面顔画像」という。 In the present embodiment, the approximate front face extraction unit 71 extracts an image from which face parts such as eyes, nose and mouth can be detected cleanly from the image sequence 100 stored in the image sequence storage unit 52. “Precise detection” means that, for example, an angle calculation unit 73 (to be described later) can calculate the face angle by detecting a face part in the image 100-n. The face image at this time is referred to as a “substantially front face”, and an image including the “substantially front face” is referred to as a “substantially front face image”.
なお、「正面顔」とは、カメラ3に対して真正面を向いていると判断された顔画像のことをいう。「正面顔」は、撮影された顔画像の中で、「真正面」を向いている状態に最も近い顔画像としてもよい。例えば、正面顔を含む画像における人物11の回転角度は、0度とすることができる。 The “front face” refers to a face image that is determined to be facing directly in front of the camera 3. The “front face” may be a face image that is closest to the state of facing the “right front” among the photographed face images. For example, the rotation angle of the person 11 in the image including the front face can be 0 degree.
概正面顔角度算出部73は、抽出した顔画像の左右の回転角度(顔方位ともいう)を、顔部品の配置をもとに算出する。この回転角度は、例えば、顔を撮像した顔画像から、顔画像の中に存在する一つの顔の鼻腔と顔の端点とを検出し、検出された鼻腔と検出された端点とから求められる顔画像内の距離に関する情報に基づいて算出される。このとき、例えば真正面とは、顔の端点の中心に鼻腔がある状態や、顔の端点の中心が両目の中心である状態としてもよい。 The approximate front face angle calculation unit 73 calculates the left and right rotation angles (also referred to as face orientations) of the extracted face image based on the arrangement of the face parts. This rotation angle is obtained from, for example, a face image obtained by capturing a face by detecting a nasal cavity and a face end point of one face existing in the face image, and detecting the detected nasal cavity and the detected end point. It is calculated based on information about the distance in the image. At this time, for example, “frontal” may be a state in which the nasal cavity is at the center of the face end point, or a state in which the center of the face end point is the center of both eyes.
概正面顔角度設定部75は、画像列蓄積部52内の概正面顔抽出部71により抽出された概正面顔画像に、算出された回転角度を属性として設定する。すなわち、概正面顔角度設定部75は、画像列蓄積部52に、画像と回転角度とを関連付けて記憶する。概正面顔隣接画像角度差算出部77は、概正面顔画像の隣接画像間の角度差を算出する。隣接画像とは、撮影順が連続している画像100―nをいう。例えば、撮影順に所定数を間引いて画像を利用するような場合には、隣接画像とは、利用する画像の中で撮影順が連続している画像とする。 The approximate front face angle setting unit 75 sets the calculated rotation angle as an attribute to the approximate front face image extracted by the approximate front face extraction unit 71 in the image sequence storage unit 52. That is, the approximate front face angle setting unit 75 stores the image and the rotation angle in the image sequence storage unit 52 in association with each other. The approximate front face adjacent image angle difference calculation unit 77 calculates an angle difference between adjacent images of the approximate front face image. An adjacent image refers to an image 100-n in which the shooting order is continuous. For example, when an image is used by thinning a predetermined number in the shooting order, the adjacent image is an image in which the shooting order is continuous among the used images.
隣接画像画素移動量算出部79は、概正面顔の隣接画像間における顔部品の左右移動量を画素単位で算出する。この場合、なるべくカメラ3に正対する部分の顔部品を使用する。単位角度差算出部81は、隣接画像画素移動量算出部79で算出された移動量に基づき、「左右移動量の単位画素あたりの角度差」を算出する。 The adjacent image pixel movement amount calculation unit 79 calculates the left and right movement amount of the face part between adjacent images of the approximate front face in units of pixels. In this case, a facial part that faces the camera 3 as much as possible is used. The unit angle difference calculation unit 81 calculates “the angle difference per unit pixel of the left / right movement amount” based on the movement amount calculated by the adjacent image pixel movement amount calculation unit 79.
背面画像抽出部85は、画像列蓄積部52から、概正面顔画像以外の画像(以下、「背面画像」という)と、それに隣接する概正面顔を抽出する。隣接する概正面顔画像を抽出する代わりに、概正面顔が含まれる回転角度の範囲を、例えば、おおよそ正面顔の±30度程度と予め設定することもできる。背面隣接画像画素移動量算出部87は、背面画像の隣接画像間における、例えば、頭部分画像の左右移動量をオプティカルフロー技術を使って画素単位で算出する。例えば、2つの隣接画像間における輝度の空間的、時間的変化、および単位角度差算出部81により算出された単位角度に基づき、2つの隣接画像間の対象物の回転角度差を算出する。この場合、左右移動量を算出するための画像は、なるべくカメラに正対する部分(すなわち、この例では、画像の左右方向で回転軸の位置に近い部分)の画像を使用する。 The rear image extraction unit 85 extracts an image other than the approximate front face image (hereinafter referred to as “rear image”) and the adjacent approximate front face from the image sequence storage unit 52. Instead of extracting the adjacent frontal face images, the range of the rotation angle including the frontal face can be set in advance, for example, approximately ± 30 degrees of the front face. The back side adjacent image pixel movement amount calculation unit 87 calculates, for example, the left and right movement amount of the head portion image between adjacent images of the back image in units of pixels using the optical flow technique. For example, based on the spatial and temporal changes in luminance between two adjacent images and the unit angle calculated by the unit angle difference calculation unit 81, the rotation angle difference of the object between the two adjacent images is calculated. In this case, the image for calculating the amount of left-right movement uses an image of a portion facing the camera as much as possible (that is, a portion close to the position of the rotation axis in the left-right direction of the image in this example).
背面隣接画像角度差算出部89は、背面画像の隣接画像間の移動量に、単位角度差算出部81により算出される「左右移動量の単位画素あたりの角度差」を乗じることにより隣接画像間の角度差Δθを算出する。 The back side adjacent image angle difference calculation unit 89 multiplies the movement amount between adjacent images of the back image by the “angle difference per unit pixel of the left and right movement amount” calculated by the unit angle difference calculation unit 81. The angle difference Δθ is calculated.
概正面顔画像角度差合計部83は、「概正面顔画像」とされた画像における隣接画像間の角度差の合計を求める。背面隣接画像角度差合計部91は、「背面画像」の隣接画像間の角度差の合計を求める。角度差合計部93は、概正面顔画像の角度差合計と、背面画像の角度差合計の和を求める。理想的にはこの値は360度になるはずである。しかし、実際には誤差等により360度にはならない場合がある。そこで、誤差を「背面画像」の部分で吸収する。 The approximate front face image angle difference summation unit 83 obtains the sum of the angle differences between adjacent images in the image designated as the “substantially front face image”. The back side adjacent image angle difference summation unit 91 obtains the sum of the angle differences between the adjacent images of the “back side image”. The angle difference summation unit 93 obtains the sum of the angle difference sum of the approximate front face image and the angle difference sum of the back image. Ideally this value should be 360 degrees. However, in actuality, there are cases where the angle does not reach 360 degrees due to an error or the like. Therefore, the error is absorbed in the “back image” portion.
角度調整係数算出部95は、上記角度差の合計の360度に対する誤差を、背面画像の角度に分散させるための係数を算出する。たとえば、背面画像の合計角度が330度であり、概正面顔画像角度合計が40度である場合、誤差E=(330+40)−360(度)の誤差Eを330度に分散させて吸収する。この例では、調整係数は、係数C=(E+330)/330である。 The angle adjustment coefficient calculation unit 95 calculates a coefficient for dispersing the error with respect to the total 360 degrees of the angle differences to the angle of the back image. For example, when the total angle of the rear image is 330 degrees and the total approximate front face image angle is 40 degrees, the error E of error E = (330 + 40) −360 (degrees) is dispersed and absorbed by 330 degrees. In this example, the adjustment coefficient is coefficient C = (E + 330) / 330.
背面隣接画像調整角度差算出部97は、背面画像の隣接画像間の角度差に誤差吸収分の係数Cを乗じる計算を行う。すなわち、背面隣接画像調整角度差算出部97は、背面隣接画像角度差算出部89で算出された角度差に係数Cを乗じる。背面画像角度算出部99は、算出された隣接画像間の角度差を使用して、それぞれの画像における人物11の回転角度を算出する。背面画像角度設定部101は、画像列蓄積部52内のそれぞれの画像100−nに、算出された回転角度を関連付けて記憶させる。 The back side adjacent image adjustment angle difference calculation unit 97 performs calculation by multiplying the angle difference between adjacent images of the back image by a coefficient C for error absorption. That is, the back side adjacent image adjustment angle difference calculation unit 97 multiplies the angle difference calculated by the back side adjacent image angle difference calculation unit 89 by the coefficient C. The back image angle calculation unit 99 calculates the rotation angle of the person 11 in each image using the calculated angle difference between adjacent images. The rear image angle setting unit 101 stores the calculated rotation angle in association with each image 100-n in the image sequence storage unit 52.
図4に戻って、画像選択部59による再生画像に基づく画像選択方法について説明する。例えば、再生時に、人物11をカメラ3で撮影した際に、撮影画像角度算出部55により算出された回転角度をφ(度)とする。このとき、撮影画像角度算出部55は、再生時に撮影される画像において、概正面顔の角度から検出した顔方位による回転角度φ、または、背面画像における回転角度φを算出する。また、表示設定部57で設定された、表示角度の中心の角度を表示中心角度θc(度)とする。例えば、正背面を表示させる画像の中心とする場合には、θc=180度とすることができる。画像選択部59は、例えば、画像表示装置33に表示させる画像の回転角度である角度を、表示角度=θc−φ(度)とすることができる。なお、画像選択部59は、再生時に撮影された画像において検出された回転角度φに比例した角度を表示中心角度θcに加減した角度を、表示角度とすることが好ましい。例えば、再生角度θd=θc−Kφとすることができる。ここで、Kは、実数である。 Returning to FIG. 4, the image selection method based on the reproduced image by the image selection unit 59 will be described. For example, when the person 11 is photographed by the camera 3 during reproduction, the rotation angle calculated by the captured image angle calculation unit 55 is φ (degrees). At this time, the captured image angle calculation unit 55 calculates the rotation angle φ based on the face orientation detected from the angle of the frontal face or the rotation angle φ in the rear image in the image captured during reproduction. In addition, the center angle of the display angle set by the display setting unit 57 is set as a display center angle θc (degrees). For example, when the center of the image to be displayed is the front and back, θc = 180 degrees can be set. For example, the image selection unit 59 can set an angle that is a rotation angle of an image to be displayed on the image display device 33 to display angle = θc−φ (degrees). Note that the image selection unit 59 preferably uses, as the display angle, an angle obtained by adding or subtracting an angle proportional to the rotation angle φ detected in the image taken at the time of reproduction to the display center angle θc. For example, the reproduction angle θd = θc−Kφ can be set. Here, K is a real number.
図6は、画像列100から回転角度を算出する方法を概念的に示す図である。図6に示すように、画像列100は、人物11が少なくとも一回転する間に撮影された複数の画像100−nが撮影順に並べられたものである。画像列100において、範囲121、125は、顔部品を検出することにより顔方位を算出して、回転角度を算出可能な範囲を示す。範囲123は、範囲121、125から算出された顔部品の移動画素数と回転角度との関係に基づき、画像上でのある点または画像の移動画素数に対応する回転角度を算出する範囲である。また、範囲123では、誤差を均等に配分することにより、算出された回転角度を調整して回転角度が算出される。 FIG. 6 is a diagram conceptually illustrating a method for calculating the rotation angle from the image sequence 100. As illustrated in FIG. 6, the image sequence 100 includes a plurality of images 100-n captured while the person 11 rotates at least once, arranged in the order of capturing. In the image sequence 100, ranges 121 and 125 indicate ranges in which a face orientation can be calculated by detecting a face part and a rotation angle can be calculated. The range 123 is a range in which a rotation angle corresponding to a certain point on the image or the number of moving pixels of the image is calculated based on the relationship between the number of moving pixels of the face part calculated from the ranges 121 and 125 and the rotation angle. . In the range 123, the rotation angle is calculated by adjusting the calculated rotation angle by equally distributing the error.
図7は、第1の実施の形態による画像テーブル110を示す図である。画像テーブル110は、撮影された画像と、撮影順および回転角度を関連付けたデータである。図7に示すように、画像テーブル110では、撮影順111、画像データ113、回転角度115が互いに関連付けられている。撮影順111は、画像列100における画像100−nの撮影順である。画像データ113は、画像100−nの画像データを示す情報である。回転角度115は、対応する画像に関して算出された回転角度である。画像テーブル110には、例えば、概正面顔画像か、背面画像かを示す情報など、他の情報を含むようにしてもよい。 FIG. 7 is a diagram illustrating the image table 110 according to the first embodiment. The image table 110 is data in which a captured image is associated with a shooting order and a rotation angle. As shown in FIG. 7, in the image table 110, the shooting order 111, the image data 113, and the rotation angle 115 are associated with each other. The shooting order 111 is the shooting order of the images 100-n in the image sequence 100. The image data 113 is information indicating the image data of the image 100-n. The rotation angle 115 is a rotation angle calculated for the corresponding image. The image table 110 may include other information such as information indicating whether the image is a front face image or a back image.
以上の処理を、図8を参照しながらさらに説明する。図8は、第1の実施の形態による画像表示システム1の動作を示すフローチャートである。画像表示システム1においては、例えば記憶装置37に記憶されたプログラムを演算処理装置35が読み込んで実行することにより各処理が行われるが、ここでは、例えば図4、図5に示した各機能が処理を行うものとして説明する。 The above processing will be further described with reference to FIG. FIG. 8 is a flowchart showing the operation of the image display system 1 according to the first embodiment. In the image display system 1, for example, each processing is performed by the arithmetic processing device 35 reading and executing a program stored in the storage device 37. Here, for example, each function shown in FIGS. 4 and 5 is performed. It demonstrates as what performs a process.
図8に示すように、撮影部51は、カメラ3により例えば垂直軸周りに回転する人物11(利用者)を撮影し、画像列100を画像列蓄積部52に蓄積する(S131)。蓄積画像角度算出部53は、画像列蓄積部52に蓄積された各画像100−nにおける撮影された人物11の回転角度θiを計算し、各画像100−nの属性として互いに関連付けて例えば、画像テーブル110のように画像列蓄積部52に記憶させる。 As illustrated in FIG. 8, the photographing unit 51 photographs a person 11 (user) rotating, for example, around the vertical axis by the camera 3 and accumulates the image sequence 100 in the image sequence accumulation unit 52 (S131). The accumulated image angle calculation unit 53 calculates the rotation angle θi of the photographed person 11 in each image 100-n accumulated in the image sequence accumulation unit 52, and associates them with each other as an attribute of each image 100-n. The data is stored in the image sequence storage unit 52 as in the table 110.
画像列蓄積部52は、撮影が終了するまで上記処理を繰り返す(S133:NO)。撮影が終了すると(S133:YES)、表示設定部57は、再生中心画像の角度θcと再生倍率Kを設定する(S134)。 The image sequence storage unit 52 repeats the above processing until the photographing is finished (S133: NO). When shooting is completed (S133: YES), the display setting unit 57 sets the angle θc of the reproduction center image and the reproduction magnification K (S134).
撮影部51は、人物11を撮影する(S135)。撮影画像角度算出部55は、撮影した人物11の、回転角度φを算出する(S136)。人物11の回転角度φに基づき、再生する画像に対応する回転角度である再生角度θdを計算する。ここで、θd=θc−Kφである。画像選択部59は、画像テーブル110を参照することにより、再生角度θdに対応する画像列100−nを再生画像として選択する(S137)。画像表示部61は、選択された画像を表示する(S138)。演算処理装置35は、再生が終了したと判別されない場合には(S139:NO)、S135から処理を繰り返し、終了したと判別されると処理を終了する(S139)。 The photographing unit 51 photographs the person 11 (S135). The captured image angle calculation unit 55 calculates the rotation angle φ of the photographed person 11 (S136). Based on the rotation angle φ of the person 11, a reproduction angle θd that is a rotation angle corresponding to the image to be reproduced is calculated. Here, θd = θc−Kφ. The image selection unit 59 selects the image sequence 100-n corresponding to the reproduction angle θd as a reproduction image by referring to the image table 110 (S137). The image display unit 61 displays the selected image (S138). If it is not determined that the reproduction has ended (S139: NO), the arithmetic processing unit 35 repeats the processing from S135, and if it is determined that the reproduction has ended, the processing ends (S139).
以上詳細に説明したように、本実施の形態による画像表示システム1によれば、カメラ3は、例えば垂直軸を回転軸として回転する人物11を、少なくとも1周回転する間撮影する。画像列蓄積部52は、撮影順と撮影された画像100−nとを関連付けて記憶する。蓄積画像角度算出部53は、概正面顔を有する画像においては、顔部品により顔方位を算出する。画像列蓄積部52は、算出された顔方位を画像100−nと関連付けて記憶する。蓄積画像角度算出部53は、画像100−nと検出された顔方位とに基づき、画素移動量と回転角度との関係を算出する。また、蓄積画像角度算出部53は、背面画像において、例えばオプティカルフローにより算出される画素移動量と、蓄積画像角度算出部53により算出された画素移動量と回転角度との関係により、回転角度を算出する。蓄積画像角度算出部53は、さらに、1周の回転が360度となるように、背面画像における回転角を補正する。 As described above in detail, according to the image display system 1 according to the present embodiment, the camera 3 shoots, for example, the person 11 rotating around the vertical axis as at least one rotation. The image sequence storage unit 52 stores the shooting order and the shot image 100-n in association with each other. The accumulated image angle calculation unit 53 calculates the face orientation using a face component in an image having a generally front face. The image sequence storage unit 52 stores the calculated face orientation in association with the image 100-n. The accumulated image angle calculation unit 53 calculates the relationship between the pixel movement amount and the rotation angle based on the image 100-n and the detected face orientation. Further, the accumulated image angle calculation unit 53 determines the rotation angle in the rear image based on the relationship between the pixel movement amount calculated by, for example, the optical flow and the pixel movement amount calculated by the accumulated image angle calculation unit 53 and the rotation angle. calculate. The accumulated image angle calculation unit 53 further corrects the rotation angle in the back image so that the rotation of one rotation is 360 degrees.
撮影画像角度算出部55は、再生時にカメラ3で撮影された人物11における回転角度φを算出し、表示設定部57により設定された表示中心角度θc、および再生倍率Kに基づき、再生する画像の再生角度θdを算出する。画像選択部59は、撮影画像角度算出部55により算出された再生角度θdに基づき、画像列蓄積部52から画像を選択する。画像表示部61は、画像選択部59で選択された画像を表示する。 The captured image angle calculation unit 55 calculates the rotation angle φ of the person 11 captured by the camera 3 at the time of reproduction, and based on the display center angle θc set by the display setting unit 57 and the reproduction magnification K, the image to be reproduced The reproduction angle θd is calculated. The image selection unit 59 selects an image from the image sequence storage unit 52 based on the reproduction angle θd calculated by the captured image angle calculation unit 55. The image display unit 61 displays the image selected by the image selection unit 59.
以上のように、第1の実施の形態による画像表示システム1によれば、顔部品が検出可能な概正面顔を有する画像では、顔方位により撮影方向を示す回転角度を算出することができる。また、顔部品が検出可能な画像において、画素移動量と回転角度との関係を算出することにより、背面画像においても、回転角度を算出することができる。このように、本実施の形態では、撮影方向を得るために、回転台や、移動装置を用いる必要がない。よって、現場でカメラ3一体型の表示装置5を設置するという簡単な準備のみで、撮影された人物の撮影方向を示す回転角度を算出することが可能である。また、利用者に、回転台に乗ってもらう必要がないので、回転台の回転開始時等に、利用者がバランスを崩す等、安全面での問題が生じる懸念がない。 As described above, according to the image display system 1 according to the first embodiment, the rotation angle indicating the photographing direction can be calculated from the face orientation in the image having the almost front face that can be detected by the facial part. Further, by calculating the relationship between the pixel movement amount and the rotation angle in an image in which a facial part can be detected, the rotation angle can also be calculated in the rear image. Thus, in this embodiment, it is not necessary to use a turntable or a moving device in order to obtain the shooting direction. Therefore, it is possible to calculate the rotation angle indicating the photographing direction of the photographed person with only a simple preparation of installing the display device 5 integrated with the camera 3 at the site. In addition, since there is no need for the user to get on the turntable, there is no concern that a safety problem will occur such as the user breaking the balance at the start of rotation of the turntable.
人物11にその場回転を依頼して、それを撮影するが、回転時に支持脚の踏み替え等で等速回転はできず、角速度のばらつきが生じても、撮影された画像の特定物(または特定の点)の移動に基づき回転角度が算出できる。このため、被写体の実際の回転角度を正確に算出することが可能になる。よって、再生時の画像も滑らかになるとともに、所望の角度から撮影された画像を、確実に違和感なく、かつ容易に確認することができる。また、予め人物11の頭の寸法や、撮影時の距離などを計測する必要もなく、撮影された画像のみから回転角度の算出が可能である。よって、煩雑な手順を踏む必要がなく、簡易な使用が可能となる。隣接画像間の角度差の合計が、1回転で360度になるように、撮影方向を示す角度を調整するので、さらに正確に角度を算出することができる。 The person 11 is requested to rotate on the spot, and it is photographed. However, even if the angular velocity varies due to the rotation of the supporting leg during rotation, even if the angular velocity varies, the specific object of the photographed image (or The rotation angle can be calculated based on the movement of a specific point. For this reason, it is possible to accurately calculate the actual rotation angle of the subject. Therefore, the image at the time of reproduction can be smoothed, and an image taken from a desired angle can be surely confirmed without any sense of incongruity. In addition, it is not necessary to measure the head size of the person 11 or the distance at the time of photographing, and the rotation angle can be calculated only from the photographed image. Therefore, it is not necessary to go through complicated procedures, and simple use is possible. Since the angle indicating the shooting direction is adjusted so that the total angle difference between adjacent images is 360 degrees per rotation, the angle can be calculated more accurately.
再生時には、あらかじめ表示中心角度θcを設定することができる。また、再生時にカメラ3でさらに人物11を撮影して回転角度を求めることにより、表示中心角度θcから、求められた回転角度に比例した角度回転した方向の画像100−nを表示することが可能になる。よって、利用者の顔の回転など、自然な身振りを操作入力として、好きな角度からの外観を確認できる。さらに、ハーフミラー7を備えているため、鏡像と画像とをともに観察可能とするなど、さまざまな変形が可能となる。 At the time of reproduction, the display center angle θc can be set in advance. Further, by capturing the person 11 with the camera 3 and obtaining the rotation angle at the time of reproduction, it is possible to display the image 100-n in the direction rotated by an angle proportional to the obtained rotation angle from the display center angle θc. become. Therefore, the appearance from a favorite angle can be confirmed using natural gestures such as rotation of the user's face as an operation input. Furthermore, since the half mirror 7 is provided, various modifications such as enabling both a mirror image and an image to be observed are possible.
(第2の実施の形態)
以下、図9、図10を参照しながら、第2の実施の形態による画像表示システムについて説明する。図9は、第2の実施の形態による画像表示方法を概念的に示す図、図10は、第2の実施の形態による蓄積画像角度算出部の構成の一例を示すブロック図である。なお、第1の実施の形態による画像表示システム1と同様の構成および動作については、同一符号を付し、重複説明を省略する。
(Second Embodiment)
Hereinafter, an image display system according to the second embodiment will be described with reference to FIGS. 9 and 10. FIG. 9 is a diagram conceptually illustrating an image display method according to the second embodiment, and FIG. 10 is a block diagram illustrating an example of a configuration of an accumulated image angle calculation unit according to the second embodiment. In addition, about the structure and operation | movement similar to the image display system 1 by 1st Embodiment, the same code | symbol is attached | subjected and duplication description is abbreviate | omitted.
第2の実施の形態による画像表示システムは、画像表示システム1と同様に、図3に示したハードウエア構成を有し、図4に示した画像表示システム1における蓄積画像角度算出部53に代えて、蓄積画像角度算出部240を備える構成となっている。 Similar to the image display system 1, the image display system according to the second embodiment has the hardware configuration shown in FIG. 3, and replaces the stored image angle calculation unit 53 in the image display system 1 shown in FIG. The accumulated image angle calculation unit 240 is provided.
図9に示すように、本実施の形態において、蓄積画像角度算出部240は、2つの正面顔を検出する。すなわち、蓄積画像角度算出部240は、顔認識技術を利用して顔方位により、正面顔が含まれると判別された1回転違いの画像を2枚(例えば、画像100−1、画像100−11)検出する。蓄積画像角度算出部240は、2つの正面顔の画像間に撮影された画像が、等間隔の角度ごとに撮影されたと仮定して、それぞれの画像100−nに回転角度を設定する。 As shown in FIG. 9, in the present embodiment, the accumulated image angle calculation unit 240 detects two front faces. In other words, the accumulated image angle calculation unit 240 uses two images (for example, an image 100-1 and an image 100-11) that are different in one rotation that are determined to include the front face based on the face orientation using the face recognition technology. )To detect. The accumulated image angle calculation unit 240 sets a rotation angle for each image 100-n on the assumption that images taken between two front face images are taken at equal intervals.
図10に示すように、蓄積画像角度算出部240は、概正面顔抽出部71、概正面顔角度算出部73、正面顔特定部241、角度設定部243を有している。正面顔特定部241は、概正面顔角度算出部73により、概正面顔を含む画像の回転角度が算出されると、正面顔の画像を特定する。角度設定部243は、特定された正面顔を含む画像、および他の画像100−nの撮影順に基づき、それぞれの画像100−nに対応する回転角度を算出する。 As shown in FIG. 10, the accumulated image angle calculation unit 240 includes an approximate front face extraction unit 71, an approximate front face angle calculation unit 73, a front face identification unit 241, and an angle setting unit 243. When the rotation angle of the image including the front face is calculated by the front face angle calculation unit 73, the front face specification unit 241 specifies the front face image. The angle setting unit 243 calculates a rotation angle corresponding to each image 100-n based on the image including the identified front face and the shooting order of the other images 100-n.
以上説明したように、第2の実施の形態による画像表示システムによれば、2枚の正面顔の画像を特定し、撮影順がその2枚の間にある画像が均等の回転角度で撮影されたとして回転角度を設定する。 As described above, according to the image display system according to the second embodiment, two front face images are specified, and an image in the shooting order between the two images is shot at an equal rotation angle. Set the rotation angle.
以上のように、第2の実施の形態による画像表示システムによれば、第1の実施の形態と同様、背面画像においても、回転角度を算出することができる。このとき、撮影方向を得るために、回転台や、移動装置を用いる必要がない。よって、現場でカメラ3一体型の表示装置5を設置するという簡単な準備のみで、撮影された人物の撮影方向を示す回転角度を算出することが可能である。また、利用者に、回転台に乗ってもらう必要がないので、回転台の回転開始時等に、利用者がバランスを崩す等、安全面での問題が生じる懸念がない。 As described above, according to the image display system according to the second embodiment, it is possible to calculate the rotation angle even in the rear image, as in the first embodiment. At this time, it is not necessary to use a turntable or a moving device in order to obtain the shooting direction. Therefore, it is possible to calculate the rotation angle indicating the photographing direction of the photographed person with only a simple preparation of installing the display device 5 integrated with the camera 3 at the site. In addition, since there is no need for the user to get on the turntable, there is no concern that a safety problem will occur such as the user breaking the balance at the start of rotation of the turntable.
さらに、第2の実施の形態によれば、第1の実施の形態による画像表示システム1における回転角度の算出方法に比べて、演算処理装置35による処理量を低減することが可能であり、簡略に回転角度を算出することができる。 Furthermore, according to the second embodiment, it is possible to reduce the processing amount by the arithmetic processing unit 35 as compared with the calculation method of the rotation angle in the image display system 1 according to the first embodiment, which is simplified. The rotation angle can be calculated.
(第3の実施の形態)
以下、図11、図12を参照しながら、第3の実施の形態による画像表示システムについて説明する。図11は、第3の実施の形態による画像表示方法を概念的に示す図、図12は、第3の実施の形態による蓄積画像角度算出部の構成の一例を示すブロック図である。なお、第1、または第2の実施の形態による画像表示システム1と同様の構成および動作については、同一符号を付し、重複説明を省略する。第3の実施の形態による画像表示システムは、画像表示システム1と同様に、図3に示したハードウエア構成を有する。
(Third embodiment)
Hereinafter, an image display system according to the third embodiment will be described with reference to FIGS. 11 and 12. FIG. 11 conceptually illustrates an image display method according to the third embodiment, and FIG. 12 is a block diagram illustrating an example of a configuration of an accumulated image angle calculation unit according to the third embodiment. In addition, about the structure and operation | movement similar to the image display system 1 by 1st or 2nd embodiment, the same code | symbol is attached | subjected and duplication description is abbreviate | omitted. Similar to the image display system 1, the image display system according to the third embodiment has the hardware configuration shown in FIG.
図11に示すように、本実施の形態においては、再生時に撮影される撮影画像では、回転角度を算出しない。ここでは、正面顔を含むと判別された正面画像として、画像100−1が検出されている。また、再生時に撮影される画像で正面画像が検出された際に表示される画像として、再生中心画像が画像100−8と検出されている。 As shown in FIG. 11, in the present embodiment, the rotation angle is not calculated for a captured image that is captured during reproduction. Here, the image 100-1 is detected as a front image determined to include a front face. In addition, a reproduction center image is detected as an image 100-8 as an image displayed when a front image is detected in an image captured during reproduction.
本実施の形態では、画像表示システムは、再生時に撮影された画像と画像列100のそれぞれとが合致するか否かを判別し、合致する合致画像を検出する。図11の例では、合致画像は、画像100−3である。このとき、正面画像から数えて、合致画像はx(xは整数)枚目であるとする。図11の例では、x=2である。表示画像は、再生画像から、−x枚目の画像とする。図11の例では、画像100−6である。 In the present embodiment, the image display system determines whether or not the image captured at the time of reproduction matches each of the image sequence 100, and detects a matching image that matches. In the example of FIG. 11, the matching image is the image 100-3. At this time, it is assumed that the match image is x (x is an integer) from the front image. In the example of FIG. 11, x = 2. The display image is the −xth image from the reproduction image. In the example of FIG. 11, the image 100-6.
図12は、第3の実施の形態による画像表示システム250の構成の一例を示すブロック図である。図12に示すように、画像表示システム250は、撮影部51、画像列蓄積部52、蓄積画像角度算出部53、撮影画像比較部251、画像選択部253、表示設定部57、画像表示部61を有している。 FIG. 12 is a block diagram showing an example of the configuration of the image display system 250 according to the third embodiment. As shown in FIG. 12, the image display system 250 includes an imaging unit 51, an image sequence storage unit 52, an accumulated image angle calculation unit 53, a captured image comparison unit 251, an image selection unit 253, a display setting unit 57, and an image display unit 61. have.
画像表示システム250では、画像表示システム1における撮影画像角度算出部55に代えて撮影画像比較部251、画像選択部59に代えて画像表示部61がそれぞれ備えられている。 The image display system 250 includes a captured image comparison unit 251 instead of the captured image angle calculation unit 55 in the image display system 1 and an image display unit 61 instead of the image selection unit 59.
撮影画像比較部251は、再生時に人物11を撮影し、撮影した画像と画像列蓄積部52に蓄積された画像100−nとを比較して、最も合致する合致画像を検出する。合致画像の検出のための比較は、例えば、輝度に関する相関度を算出するなど、公知の方法で行うことができる。画像選択部253は、撮影画像比較部251で合致した合致画像の、正面画像からの撮影順の枚数xを算出し、例えば、表示設定部57で設定された表示画像からーx枚目の画像を、表示画像として検出する。 The captured image comparison unit 251 captures the person 11 at the time of reproduction, compares the captured image with the image 100-n stored in the image sequence storage unit 52, and detects the best matching image. The comparison for detecting the coincidence image can be performed by a known method, for example, calculating a correlation degree related to luminance. The image selection unit 253 calculates the number x of the matching images matched by the captured image comparison unit 251 in the shooting order from the front image, and for example, the −xth image from the display image set by the display setting unit 57. Is detected as a display image.
以上説明したように、第3の実施の形態による画像表示システム250によれば、再生時に撮影された画像における回転角度を算出する必要がない。本実施の形態において、撮影方向は、例えば、正面画像からの撮影順の枚数xとして表される。 As described above, according to the image display system 250 according to the third embodiment, it is not necessary to calculate the rotation angle in the image taken at the time of reproduction. In the present embodiment, the shooting direction is expressed as, for example, the number x of images in the shooting order from the front image.
以上のように、本実施の形態においては、第1および第2の実施の形態と同様、背面画像においても、撮影方向を撮影順に応じた画像の枚数として算出することができる。このとき、撮影方向を得るために、回転台や、移動装置を用いる必要がない。よって、現場でカメラ3一体型の表示装置5を設置するという簡単な準備のみで、撮影された人物の撮影方向を示す撮影方向を算出することが可能である。また、利用者に、回転台に乗ってもらう必要がないので、回転台の回転開始時等に、利用者がバランスを崩す等、安全面での問題が生じる懸念がない。 As described above, in the present embodiment, as in the first and second embodiments, the shooting direction can be calculated as the number of images corresponding to the shooting order even in the back image. At this time, it is not necessary to use a turntable or a moving device in order to obtain the shooting direction. Therefore, it is possible to calculate the photographing direction indicating the photographing direction of the photographed person with only a simple preparation of installing the display device 5 integrated with the camera 3 at the site. In addition, since there is no need for the user to get on the turntable, there is no concern that a safety problem will occur such as the user breaking the balance at the start of rotation of the turntable.
さらに、第3の実施の形態によれば、再生時に撮影した画像の回転角度を算出する必要がない。また、例えば、再生時に顔が見えない画像のみが撮影されたとしても、画像列100との比較により合致画像の検出が可能であり、対応する表示画像の表示を行うことができる。本実施の形態は、画像の一致度が算出容易な環境では有利な画像表示方法となる。 Furthermore, according to the third embodiment, there is no need to calculate the rotation angle of an image taken during reproduction. Further, for example, even if only an image whose face is not visible at the time of reproduction is captured, a matching image can be detected by comparison with the image sequence 100, and a corresponding display image can be displayed. The present embodiment is an image display method that is advantageous in an environment where the degree of coincidence of images is easily calculated.
(第4の実施の形態)
以下、図13を参照しながら、第4の実施の形態による画像表示システムについて説明する。図13は、第3の実施の形態による画像表示方法を概念的に示す図である。なお、第1から第3の実施の形態による画像表示システムと同様の構成および動作については、同一符号を付し、重複説明を省略する。第4の実施の形態による画像表示システムにおける画像表示方法は、上記第1から第3の実施の形態において変形例として用いることができる。よって、ハードウエア構成、機能ブロックの構成は、上記第1から第3の実施の形態において説明した構成のいずれかと同様である。
(Fourth embodiment)
The image display system according to the fourth embodiment will be described below with reference to FIG. FIG. 13 is a diagram conceptually illustrating an image display method according to the third embodiment. In addition, about the structure and operation | movement similar to the image display system by 1st-3rd embodiment, the same code | symbol is attached | subjected and duplication description is abbreviate | omitted. The image display method in the image display system according to the fourth embodiment can be used as a modification in the first to third embodiments. Therefore, the hardware configuration and the functional block configuration are the same as any of the configurations described in the first to third embodiments.
図13に示すように、第4の実施の形態においては、カメラ3は、人物11が一回転を所定角度超える回転を行う間、人物11を撮影する。画像列蓄積部52は、画像列200のように、例えば、人物11が一回転した画像200−11を撮影した後も、例えば45度程度、人物11が回転するまで、例えば画像200−14のように画像を撮影する。そして、撮影順が画像200−11に近い、例えば範囲202に含まれる画像を再生する際には、画像200−11に近接する画像を表示する。 As shown in FIG. 13, in the fourth embodiment, the camera 3 captures the person 11 while the person 11 rotates more than a predetermined angle over one rotation. For example, the image sequence storage unit 52 captures, for example, the image 200-14 until the person 11 rotates about 45 degrees after the image 200-11 in which the person 11 rotates once, as in the image sequence 200, for example. So that the image is taken. Then, when playing back an image whose shooting order is close to the image 200-11, for example, included in the range 202, an image close to the image 200-11 is displayed.
以上のように、第4の実施の形態による表示方法によれば、人物11が一回転した画像の近傍を表示する際に、より滑らかな表示とすることができる。 As described above, according to the display method according to the fourth embodiment, a smoother display can be obtained when the vicinity of an image in which the person 11 is rotated once is displayed.
(第5の実施の形態)
以下、図14を参照しながら、第5の実施の形態による画像表示システムについて説明する。図14は、第5の実施の形態による画像表示方法を概念的に示す図である。なお、第1から第4の実施の形態による画像表示システムと同様の構成および動作については、同一符号を付し、重複説明を省略する。第5の実施の形態による画像表示システムにおける画像表示方法は、上記第1から第4の実施の形態において変形例として用いることができる。よって、ハードウエア構成、機能ブロックの構成は、上記第1から第4の実施の形態において説明した構成のいずれかと同様である。
(Fifth embodiment)
The image display system according to the fifth embodiment will be described below with reference to FIG. FIG. 14 is a diagram conceptually illustrating an image display method according to the fifth embodiment. In addition, about the structure and operation | movement similar to the image display system by 1st-4th embodiment, the same code | symbol is attached | subjected and duplication description is abbreviate | omitted. The image display method in the image display system according to the fifth embodiment can be used as a modification in the first to fourth embodiments. Therefore, the hardware configuration and the functional block configuration are the same as any of the configurations described in the first to fourth embodiments.
図14に示すように、第5の実施の形態における表示例230においては、一画面に正面画像232と背面画像234とを同時に表示する。 As shown in FIG. 14, in the display example 230 in the fifth embodiment, the front image 232 and the back image 234 are simultaneously displayed on one screen.
第5の実施の形態による画像表示システムによれば、例えば、後姿だけであると、身体の向きを変えると映像も変わることが理解しにくいが、前姿があることで、身体の向きを変えることが直感的に理解できる。 According to the image display system according to the fifth embodiment, for example, if it is only the rear view, it is difficult to understand that if the orientation of the body changes, the image will also change, but the presence of the front view changes the orientation of the body. Can be understood intuitively.
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、上記第1から第5の実施の形態においては、画像の再生時に顔の回転角度を算出したが、算出される角度はこれに限定されない。例えば、頭、肩、その他の画像を用いるようにしてもよい。回転角度の算出方法は、上記方法に限らず、従来知られている他の方法でもよい。 The present invention is not limited to the embodiments described above, and various configurations or embodiments can be adopted without departing from the gist of the present invention. For example, in the first to fifth embodiments, the face rotation angle is calculated at the time of image reproduction, but the calculated angle is not limited to this. For example, a head, a shoulder, or other images may be used. The calculation method of the rotation angle is not limited to the above method, and other conventionally known methods may be used.
表示装置5における表示例は、上記には限定されず、レイアウト、表示のタイミングなどを、適宜変更するようにしてもよい。レイアウトとしては、表示装置5は、例えば本体9の全面に画像を表示するようにしてもよい。また、表示装置5は、さまざまな方向から撮影された画像を同時に表示してもよい。表示のタイミングとしては、再生時に計測された顔の角度の変化により計測された回転角度の変化を遅らせて表示したり、正面を向いている状態から最大の回転角度までに撮影された画像を並べて表示するなど、変形が可能である。 The display example in the display device 5 is not limited to the above, and the layout, display timing, and the like may be changed as appropriate. For example, the display device 5 may display an image on the entire surface of the main body 9. Further, the display device 5 may simultaneously display images taken from various directions. Display timing can be displayed by delaying the change in the rotation angle measured by the change in the face angle measured during playback, or by arranging the images taken from the front facing to the maximum rotation angle. It can be transformed, such as displaying.
ここで、上記第1から第5の実施の形態による画像表示方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図15は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図15に示すように、コンピュータ300は、Central Processing Unit(CPU)302、メモリ304、入力装置306、出力装置308、外部記憶装置312、媒体駆動装置314、ネットワーク接続装置等がバス310を介して接続されている。 Here, an example of a computer that is commonly applied to cause a computer to perform the operations of the image display methods according to the first to fifth embodiments will be described. FIG. 15 is a block diagram illustrating an example of a hardware configuration of a standard computer. As shown in FIG. 15, a computer 300 includes a central processing unit (CPU) 302, a memory 304, an input device 306, an output device 308, an external storage device 312, a medium driving device 314, a network connection device, and the like via a bus 310. It is connected.
CPU302は、コンピュータ300全体の動作を制御する演算処理装置である。メモリ304は、コンピュータ300の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ304は、例えばRandom Access Memory(RAM)、Read Only Memory(ROM)等である。入力装置306は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をCPU302に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置308は、コンピュータ300による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、CPU302により送付される表示データに応じてテキストや画像を表示する。表示装置は、例えば、表示装置5とすることができる。 The CPU 302 is an arithmetic processing unit that controls the operation of the entire computer 300. The memory 304 is a storage unit for storing in advance a program for controlling the operation of the computer 300 or using it as a work area when necessary when executing the program. The memory 304 is, for example, a random access memory (RAM), a read only memory (ROM), or the like. The input device 306 is a device that, when operated by a computer user, acquires various information input from the user associated with the operation content and sends the acquired input information to the CPU 302. Keyboard device, mouse device, etc. The output device 308 is a device that outputs a processing result by the computer 300, and includes a display device and the like. For example, the display device displays text and images according to display data sent by the CPU 302. The display device can be, for example, the display device 5.
外部記憶装置312は、例えば、ハードディスクなどの記憶装置であり、CPU302により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置314は、可搬記録媒体316に書き込みおよび読み出しを行うための装置である。CPU302は、可搬記録媒体316に記録されている所定の制御プログラムを、記録媒体駆動装置314を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体316は、例えばCompact Disc(CD)−ROM、Digital Versatile Disc(DVD)、Universal Serial Bus(USB)メモリ等である。ネットワーク接続装置318は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス310は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。 The external storage device 312 is a storage device such as a hard disk, and stores various control programs executed by the CPU 302, acquired data, and the like. The medium driving device 314 is a device for writing to and reading from the portable recording medium 316. The CPU 302 can perform various control processes by reading and executing a predetermined control program recorded on the portable recording medium 316 via the recording medium driving device 314. The portable recording medium 316 is, for example, a Compact Disc (CD) -ROM, a Digital Versatile Disc (DVD), a Universal Serial Bus (USB) memory, or the like. The network connection device 318 is an interface device that manages transmission / reception of various data performed between the outside by wired or wireless. A bus 310 is a communication path for connecting the above devices and the like to exchange data.
上記第1から第4の実施の形態による画像表示方法をコンピュータに実行させるプログラムは、例えば外部記憶装置312に記憶させる。CPU302は、外部記憶装置312からプログラムを読み出し、コンピュータ300に画像表示の動作を行なわせる。このとき、まず、画像表示の処理をCPU302に行わせるための制御プログラムを作成して外部記憶装置312に記憶させておく。そして、入力装置306から所定の指示をCPU302に与えて、この制御プログラムを外部記憶装置312から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体316に記憶するようにしてもよい。 A program that causes a computer to execute the image display methods according to the first to fourth embodiments is stored in, for example, the external storage device 312. The CPU 302 reads a program from the external storage device 312 and causes the computer 300 to perform an image display operation. At this time, first, a control program for causing the CPU 302 to perform image display processing is created and stored in the external storage device 312. Then, a predetermined instruction is given from the input device 306 to the CPU 302 so that the control program is read from the external storage device 312 and executed. The program may be stored in the portable recording medium 316.
なお、記憶装置37、画像列蓄積部52は、記憶部の一例であり、蓄積画像角度算出部53は、第1の算出部の一例であり、表示設定部57は、設定部の一例であり、表示装置5、画像表示装置33、出力装置308は、表示部の一例である。カメラ3、撮影部51は、撮影装置の一例である。背面画像角度算出部99は、第4の算出部の一例であり、撮影画像角度算出部55は、第5の算出部の一例である。また、CPU302は、第1から第5の算出部、および設定部の一例である。 The storage device 37 and the image sequence storage unit 52 are examples of a storage unit, the stored image angle calculation unit 53 is an example of a first calculation unit, and the display setting unit 57 is an example of a setting unit. The display device 5, the image display device 33, and the output device 308 are examples of a display unit. The camera 3 and the imaging unit 51 are an example of an imaging device. The back image angle calculation unit 99 is an example of a fourth calculation unit, and the captured image angle calculation unit 55 is an example of a fifth calculation unit. The CPU 302 is an example of first to fifth calculation units and a setting unit.
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
対象物が一方向に少なくとも一回転する間、所定位置に配置された撮影装置により撮影された前記対象物の複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶する記憶部と、
前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出する第1の算出部と、
表示させる画像の第2の撮影方向を設定する設定部と、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択する画像選択部と、
選択された前記第1の画像を表示する表示部と、
を有することを特徴とする画像表示装置。
(付記2)
さらに、
前記第1の算出部は、
前記第2の画像が抽出された前記第1の画像に関して、前記第2の画像が抽出された位置に基づき前記第1の撮影方向を示す角度を算出する第2の算出部と、
少なくとも2つの前記第1の画像において、前記位置の差と前記角度の差との関係を算出する第3の算出部と、
前記第2の画像が抽出されない前記第1の画像に関して、前記関係、および前記第1の撮影順が隣接する2つの前記第1の画像における輝度の空間的、時間的変化に基づき、2つの前記第1の画像間の前記対象物の回転角度差を算出することにより、前記第1の撮影方向を示す角度を算出する第4の算出部と、
をさらに有することを特徴とする付記1に記載の画像表示装置。
(付記3)
前記対象物は人物であり、
前記第2の画像は、顔部品の画像であり、
前記第1の角度算出部は、前記第1の画像において前記顔部品が抽出された場合には、前記顔部品に基づき顔方位を算出することにより前記第1の撮影方向を示す前記角度を算出することを特徴とする付記2に記載の画像表示装置。
(付記4)
前記第4の算出部は、第1の方向から撮影した2つの画像の間に撮影された前記第1の撮影順が隣接する複数の前記第1の画像同士の前記回転角度差の総和が360度になるように、前記第2の画像が抽出されない場合に算出される前記回転角度差を均等に補正することを特徴とする付記2または付記3に記載の画像表示装置。
(付記5)
さらに、前記第1の算出部は、前記複数の第1の画像において第2の画像を抽出することにより、前記対象物を第1の方向から撮影した画像を少なくとも2つ抽出し、前記第1の撮影順が、抽出された前記第1の方向から撮影した2つの画像の間である所定数の前記第1の画像について、前記第1の撮影方向を示す角度を、360度を前記所定数で除した値ずつ前記第1の撮影順に加算した角度として算出することを特徴とする付記1に記載の画像表示装置。
(付記6)
さらに、
前記記憶部は、回転中の前記対象物が一方向に少なくとも一回転を所定の角度上回る回転をする間、同一の位置から撮影された前記対象物の複数の第1の画像を記憶し、
前記画像選択部は、前記対象物の前記第1の画像を連続して表示する際には、前記撮影順が互いにより近接する前記第1の画像を優先して選択することを特徴とする付記1から付記5のいずれかに記載の画像表示装置。
(付記7)
前記表示部は、第2の撮影方向の前記第1の画像と、前記第2の撮影方向と180度異なる方向と対応する撮影方向の前記第1の画像とを同時に表示することを特徴とする付記1から付記6のいずれかに記載の画像表示装置。
(付記8)
所定の位置に配置され、対象物が一方向に少なくとも一回転する間、前記対象物の複数の第1の画像を撮影する撮影装置と、
撮影された前記複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶する記憶部と、
前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を少なくとも2つの前記第1の画像において算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出する第1の算出部と、
表示させる画像の第2の撮影方向を設定する設定部と、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択する画像選択部と、
選択された前記第1の画像を表示する表示部と
を有することを特徴とする画像表示システム。
(付記9)
前記撮影装置は、さらに、前記対象物の前記第1の画像と異なる第3の画像を撮影し、
さらに、前記第3の画像において、前記対象物上の特定物の前記第2の画像の位置を抽出することにより、前記対象物が撮影された第3の撮影方向を算出する第5の算出部、
を有し、
前記画像選択部は、前記第3の撮影方向および前記第2の撮影方向に対応する第1の撮影方向に応じた画像を、複数の前記第1の画像から1枚選択する
ことを特徴とする付記8に記載の画像表示システム。
(付記10)
前記撮影装置は、さらに、前記対象物の前記第1の画像と異なる第3の画像を撮影し、
さらに、複数の前記第1の画像の中から前記撮影装置により撮影された前記第3の画像と最も近い第1の画像を抽出することにより、前記対象物が撮影された第3の撮影方向を算出する第5の算出部、
を有し、
前記画像選択部は、前記第3の撮影方向および前記第2の撮影方向に対応する第1の撮影方向に応じた画像を、複数の前記第1の画像から1枚選択する
ことを特徴とする付記8に記載の画像表示システム。
(付記11)
さらに、
前記第1の算出部は、
前記第2の画像が抽出された前記第1の画像に関して、前記第2の画像が抽出された位置に基づき前記第1の撮影方向を示す角度を算出する第2の算出部と、
少なくとも2つの前記第1の画像において、前記位置の差と前記角度の差との関係を算出する第3の算出部と、
前記第2の画像が抽出されない前記第1の画像に関して、前記関係、および前記第1の撮影順が隣接した2つの前記第1の画像における輝度の空間的、時間的変化に基づき、2つの前記第1の画像間の前記対象物の回転角度差を算出することにより、前記第1の撮影方向を示す角度を算出する第4の算出部と、
をさらに有することを特徴とする付記8から付記10のいずれかに記載の画像表示システム。
(付記12)
画像表示装置が、
対象物が一方向に少なくとも一回転する間、所定位置に配置された撮影装置により撮影された前記対象物の複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶された複数の第1の画像のうち少なくとも2つの第1の画像において、前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出し、
表示させる画像の第2の撮影方向を設定し、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択し、
選択された前記第1の画像を表示する、
ことを特徴とする画像表示方法。
(付記13)
画像表示システムが、
対象物が一方向に少なくとも一回転する間、所定位置から前記対象物の複数の第1の画像を撮影し、
撮影された前記複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶し、
前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出し、
表示させる画像の第2の撮影方向を設定し、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択し、
選択された前記第1の画像を表示する
ことを特徴とする画像表示方法。
(付記14)
さらに、
前記対象物の前記第1の画像と異なる第3の画像を撮影し、
前記第3の画像において、前記対象物上の特定物の前記第2の画像の位置を抽出することにより、前記対象物が撮影された第3の撮影方向を算出し、
前記第3の撮影方向および前記第2の撮影方向に対応する第1の撮影方向に応じた画像を、複数の前記第1の画像から1枚選択する
ことを特徴とする付記13に記載の画像表示方法。
(付記15)
さらに、
前記対象物の前記第1の画像と異なる第3の画像を撮影し、
複数の前記第1の画像の中から前記撮影装置により撮影された前記第3の画像と最も近い第1の画像を抽出することにより、前記対象物が撮影された第3の撮影方向を算出し、
前記第3の撮影方向および前記第2の撮影方向に対応する第1の撮影方向に応じた画像を、複数の前記第1の画像から1枚選択する
ことを特徴とする付記13に記載の画像表示方法。
Regarding the above embodiment, the following additional notes are disclosed.
(Appendix 1)
First imaging in which the plurality of first images are captured from a plurality of first images of the object captured by an imaging device disposed at a predetermined position while the object rotates at least once in one direction. A storage unit for storing in association with the order;
By extracting the position of the second image of the specific object on the object in at least two of the plurality of first images, the relative posture of the imaging device with respect to the object And calculating a first shooting direction of each of the plurality of first images based on the first shooting order and the calculated at least two first shooting directions. A first calculation unit that
A setting unit for setting the second shooting direction of the image to be displayed;
An image selection unit for selecting an image in the first shooting direction corresponding to the second shooting direction from the plurality of first images;
A display for displaying the selected first image;
An image display device comprising:
(Appendix 2)
further,
The first calculation unit includes:
A second calculating unit that calculates an angle indicating the first photographing direction based on a position where the second image is extracted with respect to the first image from which the second image is extracted;
A third calculator that calculates a relationship between the position difference and the angle difference in at least two of the first images;
With respect to the first image from which the second image is not extracted, the relation and the first imaging order are based on two spatial and temporal changes in luminance in the two adjacent first images. A fourth calculator that calculates an angle indicating the first imaging direction by calculating a rotation angle difference of the object between the first images;
The image display device according to appendix 1, further comprising:
(Appendix 3)
The object is a person;
The second image is an image of a facial part,
The first angle calculation unit calculates the angle indicating the first shooting direction by calculating a face orientation based on the face part when the face part is extracted from the first image. The image display device according to appendix 2, wherein:
(Appendix 4)
In the fourth calculation unit, the total sum of the rotation angle differences between the plurality of first images adjacent to each other in the first imaging order taken between two images taken from the first direction is 360. The image display device according to appendix 2 or appendix 3, wherein the rotation angle difference calculated when the second image is not extracted is uniformly corrected so that the second image is extracted.
(Appendix 5)
Furthermore, the first calculation unit extracts at least two images obtained by capturing the object from a first direction by extracting a second image from the plurality of first images, and the first calculation unit extracts the first image. For a predetermined number of the first images in which the imaging order is between the two extracted images from the first direction, the angle indicating the first imaging direction is set to 360 degrees and the predetermined number The image display device according to claim 1, wherein the angle is calculated as an angle obtained by adding the values divided by the first shooting order.
(Appendix 6)
further,
The storage unit stores a plurality of first images of the object photographed from the same position while the rotating object rotates at least one rotation exceeding a predetermined angle in one direction.
The image selection unit, when continuously displaying the first images of the object, preferentially selects the first images whose shooting order is closer to each other. The image display device according to any one of 1 to appendix 5.
(Appendix 7)
The display unit simultaneously displays the first image in a second shooting direction and the first image in a shooting direction corresponding to a direction different from the second shooting direction by 180 degrees. The image display device according to any one of appendix 1 to appendix 6.
(Appendix 8)
An imaging device that is arranged at a predetermined position and that captures a plurality of first images of the object while the object rotates at least once in one direction;
A storage unit that stores the plurality of photographed first images in association with a first photographing order in which the plurality of first images are photographed;
By extracting the position of the second image of the specific object on the object in at least two of the plurality of first images, the relative posture of the imaging device with respect to the object Is calculated in at least two of the first images, and based on the first imaging order and the calculated at least two first imaging directions, the plurality of first images are calculated. A first calculation unit for calculating each first imaging direction;
A setting unit for setting the second shooting direction of the image to be displayed;
An image selection unit for selecting an image in the first shooting direction corresponding to the second shooting direction from the plurality of first images;
An image display system comprising: a display unit configured to display the selected first image.
(Appendix 9)
The imaging device further captures a third image different from the first image of the object,
Furthermore, in the third image, a fifth calculation unit that calculates a third shooting direction in which the target object is shot by extracting the position of the second image of the specific object on the target object. ,
Have
The image selection unit selects one image from the plurality of the first images according to a first shooting direction corresponding to the third shooting direction and the second shooting direction. The image display system according to appendix 8.
(Appendix 10)
The imaging device further captures a third image different from the first image of the object,
Further, by extracting a first image closest to the third image captured by the imaging device from a plurality of the first images, a third imaging direction in which the object is captured is determined. A fifth calculation unit for calculating,
Have
The image selection unit selects one image from the plurality of the first images according to a first shooting direction corresponding to the third shooting direction and the second shooting direction. The image display system according to appendix 8.
(Appendix 11)
further,
The first calculation unit includes:
A second calculating unit that calculates an angle indicating the first photographing direction based on a position where the second image is extracted with respect to the first image from which the second image is extracted;
A third calculator that calculates a relationship between the position difference and the angle difference in at least two of the first images;
With respect to the first image from which the second image is not extracted, the relationship and the first imaging order are based on the spatial and temporal changes in luminance in the two adjacent first images. A fourth calculator that calculates an angle indicating the first imaging direction by calculating a rotation angle difference of the object between the first images;
The image display system according to any one of appendix 8 to appendix 10, further comprising:
(Appendix 12)
The image display device
First imaging in which the plurality of first images are captured from a plurality of first images of the object captured by an imaging device disposed at a predetermined position while the object rotates at least once in one direction. By extracting the position of the second image of the specific object on the object in at least two of the first images stored in association with the order, the object with respect to the object is extracted. A first photographing direction indicating a relative posture of the photographing device is calculated, and each of the plurality of first images is calculated based on the first photographing order and the calculated at least two first photographing directions. Calculate the first shooting direction,
Set the second shooting direction of the image to be displayed,
Selecting an image of the first shooting direction corresponding to the second shooting direction from the plurality of first images;
Displaying the selected first image;
An image display method characterized by the above.
(Appendix 13)
The image display system
While the object rotates at least once in one direction, a plurality of first images of the object are taken from a predetermined position,
Storing the plurality of photographed first images in association with a first photographing order in which the plurality of first images are photographed;
By extracting the position of the second image of the specific object on the object in at least two of the plurality of first images, the relative posture of the imaging device with respect to the object And calculating a first shooting direction of each of the plurality of first images based on the first shooting order and the calculated at least two first shooting directions. And
Set the second shooting direction of the image to be displayed,
Selecting an image of the first shooting direction corresponding to the second shooting direction from the plurality of first images;
An image display method comprising displaying the selected first image.
(Appendix 14)
further,
Taking a third image different from the first image of the object;
In the third image, by extracting the position of the second image of the specific object on the object, a third imaging direction in which the object is imaged is calculated,
14. The image according to appendix 13, wherein an image corresponding to the first shooting direction corresponding to the third shooting direction and the second shooting direction is selected from a plurality of the first images. Display method.
(Appendix 15)
further,
Taking a third image different from the first image of the object;
By extracting a first image closest to the third image captured by the imaging device from a plurality of the first images, a third imaging direction in which the object is captured is calculated. ,
14. The image according to appendix 13, wherein an image corresponding to the first shooting direction corresponding to the third shooting direction and the second shooting direction is selected from a plurality of the first images. Display method.
1 画像表示システム
3 カメラ
5 表示装置
7 ハーフミラー
9 本体
11 人物
13 回転方向
15 回転方向
17 ミラー部
19 画面
21 回転方向
23 回転方向
25 表示例
31 撮影装置
33 画像表示装置
35 演算処理装置
37 記憶装置
39 入力装置
51 撮影部
52 画像列蓄積部
53 蓄積画像角度算出部
55 撮影画像角度算出部
57 表示設定部
59 画像選択部
61 画像表示部
71 概正面顔抽出部
73 概正面顔角度算出部
75 概正面顔角度設定部
77 概正面顔隣接画像角度差算出部
79 隣接画像画素移動量算出部
81 単位角度差算出部
83 概正面顔画像角度差合計部
85 背面画像抽出部
87 背面隣接画像画素移動量算出部
89 背面隣接画像角度差算出部
91 背面隣接画像角度差合計部
93 角度差合計部
95 角度調整係数算出部
97 背面隣接画像調整角度差算出部
99 背面画像角度算出部
101 背面画像角度設定部
100 画像列
100−n 画像
110 画像テーブル
111 撮影順
113 画像データ
115 回転角度
DESCRIPTION OF SYMBOLS 1 Image display system 3 Camera 5 Display apparatus 7 Half mirror 9 Main body 11 Person 13 Rotation direction 15 Rotation direction 17 Mirror part 19 Screen 21 Rotation direction 23 Rotation direction 25 Display example 31 Shooting device 33 Image display device 35 Arithmetic processing device 37 Storage device 39 Input Device 51 Shooting Unit 52 Image Sequence Storage Unit 53 Stored Image Angle Calculation Unit 55 Captured Image Angle Calculation Unit 57 Display Setting Unit 59 Image Selection Unit 61 Image Display Unit 71 General Front Face Extraction Unit 73 General Front Face Angle Calculation Unit 75 Front face angle setting section 77 General front face adjacent image angle difference calculation section 79 Adjacent image pixel movement amount calculation section 81 Unit angle difference calculation section 83 General front face image angle difference summation section 85 Back image extraction section 87 Back surface adjacent image pixel movement amount Calculation unit 89 Back side adjacent image angle difference calculation unit 91 Back side adjacent image angle difference summation unit 93 Angle difference summation unit 95 Angle adjustment coefficient calculation unit 97 Surface adjacent image adjustment angle difference calculation unit 99 back image angle calculator 101 back image angle setting unit 100 image sequence 100-n image 110 image table 111 imaging sequence 113 image data 115 rotation angle
Claims (12)
前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出する第1の算出部と、
表示させる画像の第2の撮影方向を設定する設定部と、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択する画像選択部と、
選択された前記第1の画像を表示する表示部と、
を有することを特徴とする画像表示装置。 First imaging in which the plurality of first images are captured from a plurality of first images of the object captured by an imaging device disposed at a predetermined position while the object rotates at least once in one direction. A storage unit for storing in association with the order;
By extracting the position of the second image of the specific object on the object in at least two of the plurality of first images, the relative posture of the imaging device with respect to the object And calculating a first shooting direction of each of the plurality of first images based on the first shooting order and the calculated at least two first shooting directions. A first calculation unit that
A setting unit for setting the second shooting direction of the image to be displayed;
An image selection unit for selecting an image in the first shooting direction corresponding to the second shooting direction from the plurality of first images;
A display for displaying the selected first image;
An image display device comprising:
前記第1の算出部は、
前記第2の画像が抽出された前記第1の画像に関して、前記第2の画像が抽出された位置に基づき前記第1の撮影方向を示す角度を算出する第2の算出部と、
少なくとも2つの前記第1の画像において、前記位置の差と前記角度の差との関係を算出する第3の算出部と、
前記第2の画像が抽出されない前記第1の画像に関して、前記関係、および前記第1の撮影順が隣接する2つの前記第1の画像における輝度の空間的、時間的変化に基づき、2つの前記第1の画像間の前記対象物の回転角度差を算出することにより、前記第1の撮影方向を示す角度を算出する第4の算出部と、
をさらに有することを特徴とする請求項1に記載の画像表示装置。 further,
The first calculation unit includes:
A second calculating unit that calculates an angle indicating the first photographing direction based on a position where the second image is extracted with respect to the first image from which the second image is extracted;
A third calculator that calculates a relationship between the position difference and the angle difference in at least two of the first images;
With respect to the first image from which the second image is not extracted, the relation and the first imaging order are based on two spatial and temporal changes in luminance in the two adjacent first images. A fourth calculator that calculates an angle indicating the first imaging direction by calculating a rotation angle difference of the object between the first images;
The image display device according to claim 1, further comprising:
前記第2の画像は、顔部品の画像であり、
前記第1の角度算出部は、前記第1の画像において前記顔部品が抽出された場合には、前記顔部品に基づき顔方位を算出することにより前記第1の撮影方向を示す前記角度を算出することを特徴とする請求項2に記載の画像表示装置。 The object is a person;
The second image is an image of a facial part,
The first angle calculation unit calculates the angle indicating the first shooting direction by calculating a face orientation based on the face part when the face part is extracted from the first image. The image display device according to claim 2.
前記記憶部は、回転中の前記対象物が一方向に少なくとも一回転を所定の角度上回る回転をする間、同一の位置から撮影された前記対象物の複数の第1の画像を記憶し、
前記画像選択部は、前記対象物の前記第1の画像を連続して表示する際には、前記撮影順が互いにより近接する前記第1の画像を優先して選択することを特徴とする請求項1から請求項5のいずれかに記載の画像表示装置。 further,
The storage unit stores a plurality of first images of the object photographed from the same position while the rotating object rotates at least one rotation exceeding a predetermined angle in one direction.
The said image selection part preferentially selects the said 1st image with which the said imaging | photography order is mutually closer, when displaying the said 1st image of the said object continuously. The image display device according to any one of claims 1 to 5.
撮影された前記複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶する記憶部と、
前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を少なくとも2つの前記第1の画像において算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出する第1の算出部と、
表示させる画像の第2の撮影方向を設定する設定部と、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択する画像選択部と、
選択された前記第1の画像を表示する表示部と
を有することを特徴とする画像表示システム。 An imaging device that is arranged at a predetermined position and that captures a plurality of first images of the object while the object rotates at least once in one direction;
A storage unit that stores the plurality of photographed first images in association with a first photographing order in which the plurality of first images are photographed;
By extracting the position of the second image of the specific object on the object in at least two of the plurality of first images, the relative posture of the imaging device with respect to the object Is calculated in at least two of the first images, and based on the first imaging order and the calculated at least two first imaging directions, the plurality of first images are calculated. A first calculation unit for calculating each first imaging direction;
A setting unit for setting the second shooting direction of the image to be displayed;
An image selection unit for selecting an image in the first shooting direction corresponding to the second shooting direction from the plurality of first images;
An image display system comprising: a display unit configured to display the selected first image.
さらに、前記第3の画像において、前記対象物上の特定物の前記第2の画像の位置を抽出することにより、前記対象物が撮影された第3の撮影方向を算出する第5の算出部、
を有し、
前記画像選択部は、前記第3の撮影方向および前記第2の撮影方向に対応する第1の撮影方向に応じた画像を、複数の前記第1の画像から1枚選択する
ことを特徴とする請求項8に記載の画像表示システム。 The imaging device further captures a third image different from the first image of the object,
Furthermore, in the third image, a fifth calculation unit that calculates a third shooting direction in which the target object is shot by extracting the position of the second image of the specific object on the target object. ,
Have
The image selection unit selects one image from the plurality of the first images according to a first shooting direction corresponding to the third shooting direction and the second shooting direction. The image display system according to claim 8.
さらに、複数の前記第1の画像の中から前記撮影装置により撮影された前記第3の画像と最も近い第1の画像を抽出することにより、前記対象物が撮影された第3の撮影方向を算出する第5の算出部、
を有し、
前記画像選択部は、前記第3の撮影方向および前記第2の撮影方向に対応する第1の撮影方向に応じた画像を、複数の前記第1の画像から1枚選択する
ことを特徴とする請求項8に記載の画像表示システム。 The imaging device further captures a third image different from the first image of the object,
Further, by extracting a first image closest to the third image captured by the imaging device from a plurality of the first images, a third imaging direction in which the object is captured is determined. A fifth calculation unit for calculating,
Have
The image selection unit selects one image from the plurality of the first images according to a first shooting direction corresponding to the third shooting direction and the second shooting direction. The image display system according to claim 8.
対象物が一方向に少なくとも一回転する間、所定位置に配置された撮影装置により撮影された前記対象物の複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶された複数の第1の画像のうち少なくとも2つの第1の画像において、前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出し、
表示させる画像の第2の撮影方向を設定し、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択し、
選択された前記第1の画像を表示する、
ことを特徴とする画像表示方法。 The image display device
First imaging in which the plurality of first images are captured from a plurality of first images of the object captured by an imaging device disposed at a predetermined position while the object rotates at least once in one direction. By extracting the position of the second image of the specific object on the object in at least two of the first images stored in association with the order, the object with respect to the object is extracted. A first photographing direction indicating a relative posture of the photographing device is calculated, and each of the plurality of first images is calculated based on the first photographing order and the calculated at least two first photographing directions. Calculate the first shooting direction,
Set the second shooting direction of the image to be displayed,
Selecting an image of the first shooting direction corresponding to the second shooting direction from the plurality of first images;
Displaying the selected first image;
An image display method characterized by the above.
対象物が一方向に少なくとも一回転する間、所定位置から前記対象物の複数の第1の画像を撮影し、
撮影された前記複数の第1の画像を前記複数の第1の画像が撮影された第1の撮影順と対応付けて記憶し、
前記複数の第1の画像のうち少なくとも2つの前記第1の画像において前記対象物上の特定物の第2の画像の位置を抽出することにより、前記対象物に対する前記撮影装置の相対的な姿勢を示す第1の撮影方向を算出し、前記第1の撮影順および算出された少なくとも2つの前記第1の撮影方向に基づき、前記複数の第1の画像のそれぞれの第1の撮影方向を算出し、
表示させる画像の第2の撮影方向を設定し、
前記第2の撮影方向と対応する前記第1の撮影方向の画像を複数の前記第1の画像から選択し、
選択された前記第1の画像を表示する
ことを特徴とする画像表示方法。 The image display system
While the object rotates at least once in one direction, a plurality of first images of the object are taken from a predetermined position,
Storing the plurality of photographed first images in association with a first photographing order in which the plurality of first images are photographed;
By extracting the position of the second image of the specific object on the object in at least two of the plurality of first images, the relative posture of the imaging device with respect to the object And calculating a first shooting direction of each of the plurality of first images based on the first shooting order and the calculated at least two first shooting directions. And
Set the second shooting direction of the image to be displayed,
Selecting an image of the first shooting direction corresponding to the second shooting direction from the plurality of first images;
An image display method comprising displaying the selected first image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013078866A JP2014204289A (en) | 2013-04-04 | 2013-04-04 | Image display device, image display system, and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013078866A JP2014204289A (en) | 2013-04-04 | 2013-04-04 | Image display device, image display system, and image display method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014204289A true JP2014204289A (en) | 2014-10-27 |
Family
ID=52354373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013078866A Pending JP2014204289A (en) | 2013-04-04 | 2013-04-04 | Image display device, image display system, and image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014204289A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021153919A (en) * | 2020-03-27 | 2021-10-07 | 株式会社Lixil | Mirror with display monitor function |
-
2013
- 2013-04-04 JP JP2013078866A patent/JP2014204289A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021153919A (en) * | 2020-03-27 | 2021-10-07 | 株式会社Lixil | Mirror with display monitor function |
JP7432421B2 (en) | 2020-03-27 | 2024-02-16 | 株式会社Lixil | Mirror with display monitor function |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6522708B2 (en) | Preview image display method and apparatus, and terminal | |
JP6441231B2 (en) | Apparatus, system and method for imaging and displaying appearance | |
US10691934B2 (en) | Real-time visual feedback for user positioning with respect to a camera and a display | |
US10109315B2 (en) | Devices, systems and methods for auto-delay video presentation | |
EP3243331B1 (en) | Devices, systems and methods for auto-delay video presentation | |
CN102959616B (en) | Interactive reality augmentation for natural interaction | |
US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
US8388146B2 (en) | Anamorphic projection device | |
TWI669635B (en) | Method and device for displaying barrage and non-volatile computer readable storage medium | |
US9691152B1 (en) | Minimizing variations in camera height to estimate distance to objects | |
CN107844190B (en) | Image display method and device based on virtual reality VR equipment | |
JP2012244196A (en) | Image processing apparatus and method | |
KR101892735B1 (en) | Apparatus and Method for Intuitive Interaction | |
US20150341626A1 (en) | 3d display device and method for controlling the same | |
WO2020110323A1 (en) | Video synthesis device, video synthesis method and recording medium | |
US10996751B2 (en) | Training of a gaze tracking model | |
JP6294054B2 (en) | Video display device, video presentation method, and program | |
US11062422B2 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
WO2020110322A1 (en) | Video synthesis device, video synthesis method and recording medium | |
KR101643917B1 (en) | The smart fitting apparatus based real image | |
JP2016504828A (en) | Method and system for capturing 3D images using a single camera | |
US20190369807A1 (en) | Information processing device, information processing method, and program | |
EP3402410B1 (en) | Detection system | |
US20220358724A1 (en) | Information processing device, information processing method, and program | |
JP2014204289A (en) | Image display device, image display system, and image display method |