JP2013016976A - Image display device - Google Patents

Image display device Download PDF

Info

Publication number
JP2013016976A
JP2013016976A JP2011147451A JP2011147451A JP2013016976A JP 2013016976 A JP2013016976 A JP 2013016976A JP 2011147451 A JP2011147451 A JP 2011147451A JP 2011147451 A JP2011147451 A JP 2011147451A JP 2013016976 A JP2013016976 A JP 2013016976A
Authority
JP
Japan
Prior art keywords
person
display screen
viewer
face
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011147451A
Other languages
Japanese (ja)
Other versions
JP5853443B2 (en
Inventor
寛明 ▲高▼橋
Hiroaki Takahashi
Tetsuo Shida
哲郎 志田
Hideaki Kosaka
英明 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011147451A priority Critical patent/JP5853443B2/en
Publication of JP2013016976A publication Critical patent/JP2013016976A/en
Application granted granted Critical
Publication of JP5853443B2 publication Critical patent/JP5853443B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image display device capable of appropriately determining a screen direction.SOLUTION: An image display device includes: a display screen 13 for displaying an image; imaging means 11 for imaging the anterior part of the display screen 13 and acquiring an image; person detection means 22 for detecting a person from the acquired image; viewing possibility analysis means 23 for calculating the motion amount of the detected person, calculating an analysis value expressing a possibility that the person is viewing an image on the basis of the direction of the face of the person, and weighting the analysis value in accordance with the motion amount; viewer determination means 24 for determining whether the detected person is the viewer of the display screen 13 or not based on the weighted analysis value; direction determination means 25 for determining the screen direction of the display screen 13 on the basis of the position of the person determined to be the viewer by the viewer determination means 24; and drive means 26 for driving by rotation the display screen 13 in the screen direction determined by the direction determination means 25.

Description

この発明は、映像表示装置に関する。   The present invention relates to a video display device.

従来のテレビジョン受像機として、映像を表示する表示画面の前面側の画像を取得し、取得した画像内に含まれる顔画像を識別し、識別した顔画像の位置に画面方向が向くように表示画面を回転させるものがある(例えば、特許文献1参照)。   As a conventional television receiver, an image on the front side of a display screen that displays video is acquired, a face image included in the acquired image is identified, and the screen is oriented so that the screen direction is at the position of the identified face image Some rotate the screen (for example, see Patent Document 1).

特開2009−296521号公報JP 2009-296521 A

ところが、取得した画像内の顔画像を識別する際、人物の顔が印刷されているポスターが実際の人物の顔であるとして識別されてしまうことがある。こういった場合、画面を見ている人物である視聴者の位置が適切に決定されず、視聴者とは関係のない方向に画面方向が決定されてしまい、視聴者が最適な角度で画面を見ることができなくなってしまうという問題点があった。   However, when a face image in the acquired image is identified, a poster on which a person's face is printed may be identified as an actual person's face. In such a case, the position of the viewer, who is the person watching the screen, is not properly determined, and the screen direction is determined in a direction unrelated to the viewer, so that the viewer can view the screen at the optimum angle. There was a problem that it became impossible to see.

この発明は、上述のような問題を解決するためになされたもので、画面方向を適切に決定することができる映像表示装置を得ることを目的とする。   The present invention has been made to solve the above-described problems, and an object thereof is to obtain a video display device capable of appropriately determining the screen direction.

この発明に係る映像表示装置は、映像を表示する表示画面と、表示画面の前方を撮像して画像を取得する撮像手段と、取得した画像から人物を検出する人物検出手段と、検出した人物の動き量を算出するとともに、人物の顔の向きに基づいて人物が映像を視聴している可能性を表す解析値を算出し、動き量に応じて解析値を重み付けする視聴可能性解析手段と、重み付けした解析値に基づいて、検出された人物が表示画面の視聴者であるか否かを判定する視聴者判定手段と、視聴者判定手段で視聴者であると判定された人物の位置に基づいて表示画面の画面方向を決定する方向決定手段と、方向決定手段で決定した画面方向に表示画面を回転駆動する駆動手段とを備えるものである。   The video display device according to the present invention includes a display screen for displaying video, an imaging means for capturing an image by capturing the front of the display screen, a person detecting means for detecting a person from the acquired image, and a detected person A viewability analysis means for calculating an amount of motion, calculating an analysis value representing the possibility that the person is viewing the video based on the orientation of the face of the person, and weighting the analysis value according to the amount of motion; Based on the weighted analysis value, based on the viewer determination means for determining whether or not the detected person is the viewer of the display screen, and the position of the person determined to be the viewer by the viewer determination means Direction determining means for determining the screen direction of the display screen, and drive means for rotationally driving the display screen in the screen direction determined by the direction determining means.

この発明によれば、人物が映像を視聴している可能性を示す解析値を動き量に応じて重み付けし、重み付けした解析値に基づいて検出された人物が視聴者であるか否かを判定するようにしているので、画面方向を適切に決定することができる。   According to the present invention, an analysis value indicating the possibility that a person is watching a video is weighted according to the amount of motion, and it is determined whether or not the detected person is a viewer based on the weighted analysis value. Therefore, the screen direction can be determined appropriately.

実施の形態1に係る映像表示装置の構成を示すブロック図である。1 is a block diagram showing a configuration of a video display device according to Embodiment 1. FIG. 実施の形態1に係る映像表示装置における情報処理装置の構成を示すブロック図である。3 is a block diagram illustrating a configuration of an information processing device in the video display device according to Embodiment 1. FIG. 実施の形態1に係る映像表示装置における角度θの決定方法を示す上面図である。6 is a top view showing a method for determining an angle θ in the video display apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像表示装置における人物検出部で検出された人物情報の一例を示す図である。6 is a diagram illustrating an example of person information detected by a person detection unit in the video display apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像表示装置における人物情報から視聴者を判定する具体例を示す図である。6 is a diagram illustrating a specific example of determining a viewer from person information in the video display apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像表示装置における画面方向と分割領域との関係を示す図である。6 is a diagram illustrating a relationship between a screen direction and a divided region in the video display device according to Embodiment 1. FIG. 実施の形態1に係る映像表示装置における情報処理装置の制御手順を示すフローチャート図である。6 is a flowchart showing a control procedure of the information processing apparatus in the video display apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像表示装置の第1変形例における角度θの決定方法を示す上面図である。FIG. 10 is a top view showing a method for determining an angle θ in a first modification of the video display apparatus according to Embodiment 1. 実施の形態1に係る映像表示装置の第2変形例における角度θの決定方法を示す上面図である。FIG. 10 is a top view showing a method for determining an angle θ in a second modification of the video display apparatus according to Embodiment 1. 実施の形態1に係る映像表示装置における分割領域の変形例を示す図である。FIG. 10 is a diagram illustrating a modified example of a divided region in the video display device according to the first embodiment. 実施の形態2に係る映像表示装置における情報処理装置の構成を示すブロック図である。6 is a block diagram illustrating a configuration of an information processing device in a video display device according to Embodiment 2. FIG. 実施の形態2に係る映像表示装置における情報処理装置の制御手順を示すフローチャート図である。FIG. 10 is a flowchart showing a control procedure of the information processing apparatus in the video display apparatus according to Embodiment 2.

実施の形態1.
まず、実施の形態1の映像表示装置の構成を説明する。図1は、実施の形態1に係る映像表示装置の構成を示すブロック図である。
Embodiment 1 FIG.
First, the configuration of the video display device according to the first embodiment will be described. FIG. 1 is a block diagram showing the configuration of the video display apparatus according to the first embodiment.

図1において、映像表示装置100は、撮像装置11、回転スタンド12、表示画面13および情報処理装置14を有する。映像表示装置100は、表示画面13を視聴している視聴者の位置に応じて表示画面13を向ける画面方向を決定し、回転スタンド12により自動的に表示画面13の向き当該画面方向に回転させるものである。   In FIG. 1, the video display device 100 includes an imaging device 11, a rotary stand 12, a display screen 13, and an information processing device 14. The video display device 100 determines the screen direction in which the display screen 13 is directed according to the position of the viewer who is viewing the display screen 13, and automatically rotates the display screen 13 in the direction of the screen by the rotary stand 12. Is.

表示画面13は、映像を表示する画面であり、例えば液晶ディスプレイ画面である。   The display screen 13 is a screen for displaying an image, and is a liquid crystal display screen, for example.

回転スタンド12は、表示画面13を保持するスタンドであり、例えばモータや歯車といった駆動部を備え、表示画面13を略鉛直軸まわりに一定の角度範囲で回転させることができる。回転の開始又は停止や回転方向は情報処理装置14によって制御される。なお、回転スタンド12は、ロータリエンコーダといった、表示画面13が向いている方向を取得する手段を備えていても良い。   The rotary stand 12 is a stand that holds the display screen 13 and includes a drive unit such as a motor or a gear, and can rotate the display screen 13 around a substantially vertical axis within a certain angle range. The information processing device 14 controls the start or stop of rotation and the rotation direction. In addition, the rotary stand 12 may be provided with a means for acquiring a direction in which the display screen 13 is facing, such as a rotary encoder.

撮像装置11は、表示画面13の前方を撮像して画像を取得し、取得した画像(具体的にはデジタル画像データ)を情報処理装置14に出力する。撮像装置11による画像の取得および撮像画像の情報処理装置14への出力は、繰り返し行われ、例えば毎秒30回で実施される。   The imaging device 11 captures the front of the display screen 13 to acquire an image, and outputs the acquired image (specifically, digital image data) to the information processing device 14. Acquisition of an image by the imaging device 11 and output of the captured image to the information processing device 14 are repeatedly performed, for example, 30 times per second.

撮像装置11は、CCD(Charge Coupled Device)素子およびレンズ等により構成され、解像度640×480ピクセルのグレースケール画像を取得する。なお、撮像装置11は、CMOS(Complementary Metal Oxide Semiconductor)素子など、CCD素子以外の撮像素子を利用するものでもよい。また、撮像装置11は、グレースケール画像ではなく、カラー画像を取得するものでもよい。また、画像の解像度も、640×480ピクセルに限られず、人物の検出が可能である限りは、より高い解像度でも、より低い解像度でもよい。なお、撮像装置11の画角によるが、一般的に解像度が高いほど、遠くの人物を検出することができる。   The imaging device 11 includes a CCD (Charge Coupled Device) element, a lens, and the like, and acquires a grayscale image having a resolution of 640 × 480 pixels. The imaging device 11 may use an imaging element other than a CCD element, such as a CMOS (Complementary Metal Oxide Semiconductor) element. Further, the imaging device 11 may acquire a color image instead of a grayscale image. Further, the resolution of the image is not limited to 640 × 480 pixels, and may be higher or lower as long as a person can be detected. Note that, depending on the angle of view of the imaging device 11, generally, the higher the resolution, the farther a person can be detected.

情報処理装置14は、撮像装置11で取得した画像に基づき、表示画面13に表示される映像を視聴している視聴者の位置を算出し、当該視聴者の位置から表示画面13が見やすい方向に表示画面13を回転させるよう回転スタンド12の制御を行う。   The information processing apparatus 14 calculates the position of the viewer who is viewing the video displayed on the display screen 13 based on the image acquired by the imaging apparatus 11, and makes the display screen 13 easy to see from the position of the viewer. The rotary stand 12 is controlled to rotate the display screen 13.

次に、情報処理装置14の構成を説明する。図2は、実施の形態1に係る情報処理装置の構成を示す図である。   Next, the configuration of the information processing apparatus 14 will be described. FIG. 2 is a diagram illustrating a configuration of the information processing apparatus according to the first embodiment.

図2において、情報処理装置14は、撮像処理部21、人物検出部22、視聴可能性解析部23、視聴者判定部24、方向決定部25および駆動制御部26を有する。   In FIG. 2, the information processing apparatus 14 includes an imaging processing unit 21, a person detection unit 22, a viewability analysis unit 23, a viewer determination unit 24, a direction determination unit 25, and a drive control unit 26.

撮像処理部21は、撮像装置11により撮像された画像を取得する。そして、撮像処理部21は、取得した画像(以下、「撮像画像」と称す)を、人物検出部22に出力する。   The imaging processing unit 21 acquires an image captured by the imaging device 11. Then, the imaging processing unit 21 outputs the acquired image (hereinafter referred to as “captured image”) to the person detection unit 22.

人物検出部22は、撮像処理部21により取得された撮像画像から人物を検出し、撮像画像における人物の位置、顔の大きさおよび顔の向きの3つの情報(人物情報と称す)を検出する。   The person detection unit 22 detects a person from the captured image acquired by the imaging processing unit 21, and detects three pieces of information (referred to as person information) including the position of the person, the size of the face, and the orientation of the face in the captured image. .

具体的には、人物検出部22は、人物の位置の情報として、撮像画像の座標系における当該人物の顔の中心座標を検出し、顔の大きさの情報として、撮像画像の座標系における当該人物の顔の幅(具体的には顔の水平方向の幅)を検出する。   Specifically, the person detection unit 22 detects the center coordinate of the face of the person in the coordinate system of the captured image as information on the position of the person, and the information in the coordinate system of the captured image as information on the size of the face. The width of the human face (specifically, the horizontal width of the face) is detected.

図3は、実施の形態1に係る映像表示装置における角度θの決定方法を示す上面図である。人物検出部22は、図3に示すように、顔の向きの情報として、表示画面13の垂線31と人物の顔の向きを示す線32とのなす角の角度θ(0°≦θ≦90°)を検出する。角度θは、当該人物が表示画面13に対して正面を向いている場合に0°、当該人物が表示画面13に対して真横を向いている場合に90°となる。   FIG. 3 is a top view showing a method of determining the angle θ in the video display apparatus according to Embodiment 1. As shown in FIG. 3, the person detection unit 22 uses the angle θ (0 ° ≦ θ ≦ 90) between the perpendicular line 31 of the display screen 13 and the line 32 indicating the face direction of the person as face direction information. °) is detected. The angle θ is 0 ° when the person is facing the front with respect to the display screen 13, and is 90 ° when the person is facing sideways with respect to the display screen 13.

なお、人物検出部22における人物の検出の手法は特に限定されないが、例えば、米国特許出願公開第2002/0102024号明細書等に開示されているビオラ−ジョーンズ法と呼ばれる方式を用いることができる。ビオラ−ジョーンズ法は、要約すると、画像内における小領域の位置や大きさを変えながら画像内に小領域を設定し、当該小領域から特徴量を抽出し、識別器を利用して、当該小領域が顔であるか否かを判別するものである。人物検出部22は、撮像画像にビオラ−ジョーンズ法を適用した後、顔であると判別された小領域の位置や大きさから、撮像画像の座標軸で表される顔の中心位置や顔の大きさを求めることができる。また、人物検出部22は、撮像画像にビオラ−ジョーンズ法を適用する際に、顔であるか否かのみを判別するのではなく、例えば、正面を向いている顔であるか否か、もしくは、鉛直軸周りに正面より30度右に向いている顔であるか否か、鉛直軸周りに正面より30度左に向いている顔であるか否か、をそれぞれ判別することにより、おおよその顔の向きを求めることができる。   Note that a method of detecting a person in the person detection unit 22 is not particularly limited. For example, a method called a viola-Jones method disclosed in US Patent Application Publication No. 2002/0102024 can be used. In summary, the Viola-Jones method sets a small area in an image while changing the position and size of the small area in the image, extracts a feature amount from the small area, and uses the discriminator to extract the small area. It is determined whether or not the area is a face. After applying the Viola-Jones method to the captured image, the person detection unit 22 determines the center position of the face and the size of the face represented by the coordinate axes of the captured image from the position and size of the small area determined to be a face. You can ask for it. In addition, when applying the Viola-Jones method to the captured image, the person detection unit 22 does not only determine whether or not the face is a face, for example, whether or not the face is facing the front, By determining whether or not the face is about 30 degrees to the right of the front about the vertical axis and whether the face is about 30 degrees to the left of the front about the vertical axis, The direction of the face can be obtained.

図4は、実施の形態1に係る映像表示装置における人物検出部で検出された人物情報の一例を示す図である。図4において、「No.」は検出された人物に割り当てられた番号、「x座標」および「y座標」は各人物の顔の中心座標、「顔の大きさ」は各人物の顔の幅、「顔の向き(θ)」は表示画面13の垂線31と人物の向いている方向を示す線32とのなす角θの角度である。図4では、No.1〜No.3の3人の人物が検出された場合を示している。   FIG. 4 is a diagram illustrating an example of person information detected by the person detection unit in the video display apparatus according to Embodiment 1. In FIG. 4, “No.” is a number assigned to the detected person, “x coordinate” and “y coordinate” are the center coordinates of the face of each person, and “face size” is the face width of each person. “Face orientation (θ)” is an angle θ formed by the perpendicular line 31 of the display screen 13 and the line 32 indicating the direction of the person. In FIG. 1-No. 3 shows a case where three persons are detected.

なお、人物の位置の情報や顔の大きさの情報として、顔の長さ(具体的には顔の垂直方向の長さ)や、肩幅、両目間の距離、両目それぞれの位置、頭の頂点の座標など、他の情報を検出するようにしてもよい。また、撮像画像から複数の人物が検出された場合には、検出された複数の人物の各々について、撮像画像における当該人物の位置、顔の大きさおよび顔の向きを検出する。 Information on the position of the person and information on the size of the face include the length of the face (specifically, the length of the face in the vertical direction), the shoulder width, the distance between both eyes, the position of each eye, and the vertex of the head. Other information such as the coordinates may be detected. Further, when a plurality of persons are detected from the captured image, the position, face size, and face direction of the person in the captured image are detected for each of the detected persons.

人物検出部22は、人物の顔の中心座標と、上述の角度θとを、視聴可能性解析部23に出力する。   The person detection unit 22 outputs the center coordinates of the person's face and the angle θ described above to the viewability analysis unit 23.

視聴可能性解析部23は、人物検出部22により検出された人物のそれぞれに対して、当該人物が映像を視聴している可能性を解析する。   The viewing possibility analysis unit 23 analyzes the possibility that each person detected by the person detection unit 22 is watching the video.

具体的には、視聴可能性解析部23は、上記の角度θを用いて90−θの値を算出する(90−θの値を視聴可能性解析値と称す)。視聴可能性解析値は、値が大きい人物ほど映像を視聴している可能性が高く、検出された人物が表示画面13に対して正面を向いている場合に最大(90−θ=90)となり、表示画面13に対して真横を向いている場合に最小(90−θ=0)となる。   Specifically, the viewability analyzing unit 23 calculates a value of 90−θ using the angle θ (the value of 90−θ is referred to as a viewability analysis value). The viewability analysis value becomes maximum (90−θ = 90) when the person having a larger value is more likely to view the image and the detected person faces the front with respect to the display screen 13. The minimum value (90−θ = 0) is obtained when the display screen 13 is directed to the side.

また、視聴可能性解析部23は、現在のフレームの撮像画像と、その前のフレームの撮像画像と用いて、現在のフレームの撮像画像から検出された人物の位置における動きベクトルを算出し、その絶対値として動き量を算出する。そして、視聴可能性解析部23は、算出した動き量が閾値よりも大きいか否かに応じて視聴可能性解析値に重み付けをする。この重み付けは、たとえば、算出した動き量が閾値よりも小さい人物の視聴可能性解析値は0.1倍にし、動き量が閾値よりも大きい人物の視聴可能性解析値の値は変化させないようにすることで行う。   The viewability analysis unit 23 calculates a motion vector at the position of the person detected from the captured image of the current frame using the captured image of the current frame and the captured image of the previous frame, The amount of motion is calculated as an absolute value. Then, the viewability analysis unit 23 weights the viewability analysis value according to whether or not the calculated amount of motion is larger than a threshold value. For this weighting, for example, the viewability analysis value of the person whose calculated motion amount is smaller than the threshold value is multiplied by 0.1, and the viewability analysis value of the person whose motion amount is larger than the threshold value is not changed. To do.

なお、上記の動きベクトルの算出方法としては、ブロックマッチング法や勾配法などを用いることができる。また、動き量は、特定の時刻のものではなく、所定の時間にわたって算出した動き量を保持しておき、例えばそれらの平均値としたものでも良い。 Note that a block matching method, a gradient method, or the like can be used as the motion vector calculation method. The amount of motion is not limited to a specific time, but may be a motion amount calculated over a predetermined time, for example, an average value thereof.

また、視聴可能性解析部23は、撮像画像を複数の分割領域に分割し、上述した人物の顔の中心座標を用いて、検出された人物がどの分割領域に含まれるのかを対応付ける。そして、視聴可能性解析部23は、検出された人物が含まれる分割領域の位置と、当該分割領域における重み付けされた視聴可能性解析値とを、視聴者判定部24に出力する。   In addition, the viewability analysis unit 23 divides the captured image into a plurality of divided regions, and associates the detected person with which divided region, using the above-described center coordinates of the person's face. Then, the viewability analysis unit 23 outputs the position of the divided area including the detected person and the weighted viewability analysis value in the divided area to the viewer determination unit 24.

視聴者判定部24は、重み付けされた視聴可能性解析値に基づいて、人物検出部22で検出された人物が視聴者であるか否かを判定する。人物が視聴者であるか否かは、重み付けされた視聴可能性解析値が閾値よりも大きければ視聴者、小さければ視聴者ではないとして判定する。そして、視聴者判定部24は、視聴者が存在する分割領域の位置を方向決定部25に出力する。   The viewer determination unit 24 determines whether or not the person detected by the person detection unit 22 is a viewer based on the weighted viewability analysis value. Whether or not a person is a viewer is determined as a viewer if the weighted viewability analysis value is larger than the threshold, and not as a viewer if the weight is smaller. Then, the viewer determination unit 24 outputs the position of the divided area where the viewer exists to the direction determination unit 25.

ここで、人物情報から視聴者を判定する具体例を説明する。図5は、実施の形態1に係る映像表示装置における人物情報から視聴者を判定する具体例を示す図であって、(a)は撮像画像中の人物を示す図、(b)は視聴可能性解析部の解析結果を分割領域ごとに表した図、(c)は視聴者判定部の判定結果を分割領域ごとに表した図である。   Here, a specific example of determining a viewer from person information will be described. FIG. 5 is a diagram showing a specific example of determining a viewer from person information in the video display apparatus according to Embodiment 1, wherein (a) is a diagram showing a person in a captured image, and (b) is viewable. The figure which represented the analysis result of the sex analysis part for every division area, (c) is the figure which represented the determination result of the viewer determination part for every division area.

図5(a)において、撮像画像には人物33aおよび人物33bが含まれている。人物33aは表示画面13を正面から見ている視聴者であり、人物33bは人物の顔が表示画面13に対して正面となるように印刷されているポスターである。   In FIG. 5A, the captured image includes a person 33a and a person 33b. The person 33 a is a viewer viewing the display screen 13 from the front, and the person 33 b is a poster printed so that the face of the person is in front of the display screen 13.

視聴可能性解析部23は、図5(b)に示すように、まず、人物33a、33bがどの分割領域に含まれるかを対応付ける。人物33aは分割領域35aに、人物33bは分割領域35bにそれぞれ含まれる。次に、視聴可能性解析部23は、視聴可能性解析値を算出する。人物33a、33bはともにθ=0°であるため、視聴可能性解析値はともに90である。次いで、視聴可能性解析部23は人物33a、33bの動き量をそれぞれ算出する。ここで、人物33aは動き量が閾値よりも大きく、人物33bは動き量が閾値よりも小さい。そして、視聴可能性解析部23は、動き量が閾値よりも小さい人物37bの視聴可能性解析値を0.1倍にするようにして重み付けする。この結果、視聴可能性解析値は、人物33aが90、人物33bが9であると解析される。そして、視聴可能性解析部23は、人物が検出された分割領域35a、35bの位置と、分割領域35a、35bにおける重み付けされた視聴可能性解析値とを視聴者判定部24へ出力する。   As shown in FIG. 5B, the viewability analyzing unit 23 first associates the divided regions to which the persons 33a and 33b are included. The person 33a is included in the divided area 35a, and the person 33b is included in the divided area 35b. Next, the viewability analysis unit 23 calculates a viewability analysis value. Since both the persons 33a and 33b are θ = 0 °, the viewability analysis value is 90. Next, the viewability analyzing unit 23 calculates the amount of movement of the persons 33a and 33b, respectively. Here, the motion amount of the person 33a is larger than the threshold value, and the motion amount of the person 33b is smaller than the threshold value. Then, the viewability analysis unit 23 weights the viewability analysis value of the person 37b whose motion amount is smaller than the threshold value by 0.1 times. As a result, the viewability analysis value is analyzed as 90 for the person 33a and 9 for the person 33b. Then, the viewability analysis unit 23 outputs the positions of the divided areas 35a and 35b where the person is detected and the weighted viewability analysis values in the divided areas 35a and 35b to the viewer determination unit 24.

視聴者判定部24は、図5(c)に示すように、検出された人物の視聴可能性解析値が閾値よりも大きければ視聴者であると判定し、閾値よりも小さければ視聴者ではないと判定する。この閾値をたとえば40とすると、人物33aは視聴者であると判定され、人物33bは視聴者ではないと判定される。すなわち、分割領域35aにのみ視聴者が存在すると判定される。   As shown in FIG. 5C, the viewer determination unit 24 determines that the viewer is a viewer if the viewability analysis value of the detected person is larger than the threshold, and is not a viewer if the threshold is smaller than the threshold. Is determined. If this threshold is 40, for example, it is determined that the person 33a is a viewer and the person 33b is not a viewer. That is, it is determined that the viewer exists only in the divided area 35a.

人物の顔が印刷されているポスターや、衣服のしわ、壁の模様等は人物検出部22で撮像画像から人物を検出する際に、実際には人物ではないのに人物として認識されてしまうことがある。これに対して、上述のように検出した人物が視聴者であるか否かを判定することで、人物検出部22で人物として検出されてしまうが、実際には人物ではない静止物体が撮像画像中に含まれる場合であっても、実際の人物とそうでないものを判別することができる。   A poster on which a person's face is printed, a wrinkle on clothes, a wall pattern, or the like is recognized as a person when it is not actually a person when the person detection unit 22 detects the person from the captured image. There is. On the other hand, it is detected as a person by the person detection unit 22 by determining whether or not the person detected as described above is a viewer, but a still object that is not actually a person is captured image. Even if it is included, it is possible to distinguish between an actual person and those that are not.

図2に戻って、方向決定部25は、視聴者判定部24で視聴者であると判定された人物の位置に基づいて表示画面13の画面方向を決定する。   Returning to FIG. 2, the direction determining unit 25 determines the screen direction of the display screen 13 based on the position of the person determined by the viewer determining unit 24 as the viewer.

図6は、実施の形態1に係る液晶表示装置における画面方向と分割領域との関係を示す図である。表示画面13の画面方向は、図6に示すように、各分割領域に対応付けられており、視聴者がどの分割領域に存在するかにより決定される。つまり、表示画面13の画面方向は、視聴者が分割領域41aに存在する場合は中央の方向40a、分割領域41bに存在する場合は右の方向40b、分割領域41cに存在する場合は左の方向40cとなる。図6においては、視聴者が分割領域41cに存在するため、表示画面13の画面方向は左の方向40cと決定される。なお、複数の分割領域に視聴者が存在する場合は、それぞれの分割領域の中間の位置としても良い。このとき、視聴可能性解析値の値により重み付けを行っても良い。   FIG. 6 is a diagram showing the relationship between the screen direction and the divided areas in the liquid crystal display device according to the first embodiment. As shown in FIG. 6, the screen direction of the display screen 13 is associated with each divided region, and is determined depending on which divided region the viewer is in. That is, the screen direction of the display screen 13 is the center direction 40a when the viewer exists in the divided area 41a, the right direction 40b when the viewer exists in the divided area 41b, and the left direction when the viewer exists in the divided area 41c. 40c. In FIG. 6, since the viewer exists in the divided area 41c, the screen direction of the display screen 13 is determined as the left direction 40c. When a viewer is present in a plurality of divided areas, the position may be an intermediate position between the divided areas. At this time, weighting may be performed based on the viewability analysis value.

駆動制御部26は、方向決定部25が決定した、中央の方向40a、右の方向40bまたは左の方向40cのいずれかの方向に表示画面13を回転させるように回転スタンド12の回転を制御する。右または左に回転させる際の回転角度は、右の方向40bまたは左の方向40cの、中央の方向40aに対する角度として予め設定しておく。   The drive control unit 26 controls the rotation of the rotary stand 12 so as to rotate the display screen 13 in any one of the central direction 40a, the right direction 40b, and the left direction 40c determined by the direction determination unit 25. . The rotation angle when rotating to the right or left is set in advance as an angle of the right direction 40b or the left direction 40c with respect to the central direction 40a.

なお、表示画面13を回転させる画面方向と分割領域との関係は図6に示すものに限らない。すなわち、水平方向に分割領域の数を増加させるとともに、各分割領域に応じて画面方向を新たに設定するようにしてもよい。このようにすることで、より正確に表示画面13を視聴者の方向に向けることができる。   The relationship between the screen direction for rotating the display screen 13 and the divided areas is not limited to that shown in FIG. That is, the number of divided areas may be increased in the horizontal direction, and the screen direction may be newly set according to each divided area. In this way, the display screen 13 can be directed to the viewer more accurately.

また、表示画面13の回転中も随時、視聴可能性解析部23による解析や、視聴者判定部24による判定、方向決定部25による画面方向の決定を随時行い、表示画面13が最適な画面方向となるまで回転を続ける。また、駆動制御部26は、方向決定部25が決定した表示画面13の画面方向から、回転させる方向および時間を決定し、決定した時間連続して右または左に回転させたのち回転を停止する制御を行うようにしてもよい。また、回転スタンド12にロータリエンコーダ等の表示画面13が向いている方向を取得する手段を備え、表示画面13が向いている方向と表示画面13を向けるべき方向とが一致するまで、右または左に回転するよう制御しても良い。   In addition, while the display screen 13 is rotating, analysis by the viewability analysis unit 23, determination by the viewer determination unit 24, and determination of the screen direction by the direction determination unit 25 are performed at any time. Continue to rotate until Further, the drive control unit 26 determines the rotation direction and time from the screen direction of the display screen 13 determined by the direction determination unit 25, and after rotating the determined time continuously to the right or left, stops the rotation. Control may be performed. Further, the rotary stand 12 is provided with means for acquiring the direction in which the display screen 13 is facing, such as a rotary encoder, and the right or left until the direction in which the display screen 13 is facing and the direction in which the display screen 13 should be directed coincide. You may control so that it may rotate.

次に、情報処理装置14の制御手順を示す。図7は、実施の形態1に係る映像表示装置における情報制御装置の制御手順を示すフローチャート図である。   Next, the control procedure of the information processing apparatus 14 is shown. FIG. 7 is a flowchart showing a control procedure of the information control apparatus in the video display apparatus according to Embodiment 1.

まず、撮像処理部21が、撮像画像を取得する(S11)。次に、人物検出部22が、取得した撮像画像から人物の顔を検出し、当該人物の位置、顔の大きさおよび顔の向きを検出する(S12)。そして、視聴可能性解析部23が、ステップS12で検出した人物のそれぞれについて、視聴可能性解析値を算出する(S13)。次に、視聴可能性解析部23は、当該人物の動き量を算出し(S14)、視聴可能性解析値を算出した動き量に応じて重み付けする(S15)。次に、視聴者判定部24が、重み付けされた視聴可能性解析値に基づいて、検出した人物が視聴者であるか否かを判定する(S16)。   First, the imaging processing unit 21 acquires a captured image (S11). Next, the person detection unit 22 detects the face of the person from the acquired captured image, and detects the position of the person, the size of the face, and the orientation of the face (S12). Then, the viewability analysis unit 23 calculates a viewability analysis value for each person detected in step S12 (S13). Next, the viewability analysis unit 23 calculates the motion amount of the person (S14), and weights the viewability analysis value according to the calculated motion amount (S15). Next, the viewer determination unit 24 determines whether the detected person is a viewer based on the weighted viewability analysis value (S16).

次に、方向決定部25が、視聴者であると判定された人物の位置に基づいて、表示画面13を回転させる方向を決定する(S17)。次に、駆動制御部26が、決定した表示画面13を回転させる方向が表示画面13の現時点での画面方向に対して中央の方向であるか否かを判断する(S18)。中央の方向であると判断された場合(S18:YES)、駆動制御部26は、表示画面13を回転させないよう回転スタンド12の制御を行い(S19)、処理を終了させる。   Next, the direction determination unit 25 determines the direction in which the display screen 13 is rotated based on the position of the person determined to be the viewer (S17). Next, the drive control unit 26 determines whether or not the determined direction of rotating the display screen 13 is a central direction with respect to the current screen direction of the display screen 13 (S18). If it is determined that the direction is the center direction (S18: YES), the drive control unit 26 controls the rotary stand 12 so as not to rotate the display screen 13 (S19), and ends the process.

一方、中央の方向ではないと判断された場合(S18:NO)、駆動制御部26は、決定した表示画面13を回転させる方向が右の方向であるか否かを判断する(S20)。ここで、右の方向であると判断された場合(S20:YES)、駆動制御部26は、表示画面13を右に回転させるよう回転スタンド12の制御を行い(S21)、処理を終了させる。また、右の方向であると判断されなかった場合(S20:NO)、駆動制御部26は、表示画面13を左に回転させるよう回転スタンド12の制御を行い(S22)、処理を終了させる。   On the other hand, when it is determined that the direction is not the central direction (S18: NO), the drive control unit 26 determines whether or not the determined direction to rotate the display screen 13 is the right direction (S20). Here, when it is determined that the direction is the right direction (S20: YES), the drive control unit 26 controls the rotary stand 12 to rotate the display screen 13 to the right (S21), and ends the process. If it is not determined that the direction is the right direction (S20: NO), the drive control unit 26 controls the rotary stand 12 to rotate the display screen 13 to the left (S22), and ends the process.

上記の処理は撮像装置11の撮像の周期と同じ周期で繰り返し行われる。なお、情報処理装置14の処理の周期は、N(Nは2以上の整数)個の撮像画像につき1回など、撮像の周期より長い周期で行われてもよい。また、処理の周期は一定でなくても良く、たとえば、表示画面13が右または左に回転している最中は、回転していない時よりも短い周期で行うようにしても良い。   The above process is repeatedly performed at the same cycle as the imaging cycle of the imaging device 11. Note that the processing cycle of the information processing apparatus 14 may be performed at a cycle longer than the imaging cycle, such as once per N (N is an integer of 2 or more) captured images. Further, the processing cycle does not have to be constant. For example, while the display screen 13 is rotating to the right or left, it may be performed with a shorter cycle than when the display screen 13 is not rotating.

実施の形態1の映像表示装置によれば、人物の動き量に応じて視聴可能性解析値を重み付けし、重み付けした視聴可能性解析値に基づいて検出された人物が視聴者であるか否かを判定するようにしているので、人物として検出されてしまうが、実際には人物ではない静止物体が撮像画像中に含まれる場合であっても、その影響を軽減して適切に表示画面13の画面方向を決定することができる。   According to the video display device of Embodiment 1, the viewability analysis value is weighted according to the amount of movement of the person, and whether or not the person detected based on the weighted viewability analysis value is a viewer. However, even if a still object that is not actually a person is included in the captured image, the influence of the display screen 13 is reduced appropriately. The screen direction can be determined.

また、人物の顔の向いている方向に基づいて当該人物の視聴可能性解析値を算出するようにしているので、表示画面13を見ていない人物が撮像画像内に含まれる場合であっても、表示画面13の画面方向を適切に決定することができる。   In addition, since the viewability analysis value of the person is calculated based on the direction of the person's face, even if a person who does not look at the display screen 13 is included in the captured image. The screen direction of the display screen 13 can be determined appropriately.

さらに、人物の顔の向きと表示画面13の垂線とのなす角に基づいて当該人物の視聴可能性解析値を算出するようにしているので、角度θは撮像画像における人物の顔の向きと一対一で対応する値となり、角度θの算出のために必要な計算量が小さく、当該可能性を簡易に解析することができる。   Further, since the viewability analysis value of the person is calculated based on the angle formed by the orientation of the person's face and the perpendicular of the display screen 13, the angle θ is a pair with the orientation of the person's face in the captured image. Therefore, the calculation amount necessary for calculating the angle θ is small, and the possibility can be easily analyzed.

なお、実施の形態1では表示画面13の垂線と人物の顔の向きとのなす角に基づいて当該人物が映像を視聴している可能性を解析するものを示したが、角度θの決定方法はこれに限らない。   In the first embodiment, the analysis of the possibility that the person is watching the video based on the angle formed by the perpendicular of the display screen 13 and the direction of the person's face has been described. Is not limited to this.

図8は実施の形態1に係る映像表示装置の第1変形例における角度θの決定方法を示す上面図である。この変形例においては、顔の中央から表示画面13の中央へ向かう線36と、顔の向きを示す線32とのなす角を角度θとしている。このようにすることで、表示画面の13の中央に存在して表示画面の方向を向いている人物ほど当該人物が映像を視聴している可能性が高いと解析することができるので、複数の人物が表示画面13を視聴している場合において、中央にいる人物を優先することができる。   FIG. 8 is a top view showing a method of determining the angle θ in the first modification of the video display device according to the first embodiment. In this modification, an angle formed by a line 36 from the center of the face to the center of the display screen 13 and a line 32 indicating the direction of the face is an angle θ. By doing so, it is possible to analyze that the person who exists in the center of the display screen 13 and faces the direction of the display screen has a higher possibility that the person is viewing the video. When a person is viewing the display screen 13, the person in the center can be given priority.

図9は実施の形態1に係る映像表示装置の第2変形例における角度θの決定方法を示す上面図である。この変形例においては、顔の中央から表示画面13に向かう線37a、37b、37cのうち、顔の向きを示す線32とのなす角が最小になる線37aと、顔の向きを示す線32とのなす角を角度θとしている。このようにすることで、表示画面13の方向を向いている人物であればθ=0となるので、表示画面13の方向を向いている人物がいずれの位置に存在しても映像を視聴している可能性が高いと解析することができる。   FIG. 9 is a top view showing a method for determining the angle θ in the second modification of the video display device according to the first embodiment. In this modification, of the lines 37a, 37b and 37c from the center of the face to the display screen 13, the line 37a having the smallest angle with the line 32 indicating the face direction and the line 32 indicating the face direction are shown. Is the angle θ. In this way, if the person is facing the direction of the display screen 13, θ = 0, so that the person who is facing the direction of the display screen 13 can view the video regardless of the position. It is possible to analyze that there is a high possibility.

また、実施の形態1では、図6において2次元の分割領域を示したが、分割領域はこれに限らない。   In the first embodiment, the two-dimensional divided area is shown in FIG. 6, but the divided area is not limited to this.

図10は実施の形態1に係る映像表示装置における分割領域の変形例を示しており、(a)は直方体、(b)は扇形円柱の分割領域を示している。これらの変形例においては、3次元の分割領域を擬似的に設定することで人物の奥行き方向を考慮している。3次元の分割領域は、表示画面13に対して垂直方向に分割された分割領域を生成することで設定する。また、垂直方向に分割された各分割領域に応じて画面方向をさらに細分化して設定する。そして、取得した撮像画像内の人物の顔の大きさから表示画面と視聴者との距離を計算し、計算した距離から表示画面13に対して垂直方向に分割された分割領域のいずれに視聴者が存在するかを求める。このように表示画面13と視聴者との距離を考慮した分割領域を設定し、視聴者の距離に応じて画面方向を決定することで、より正確に表示画面13を視聴者の方向に向けることができる。   FIG. 10 shows a modified example of the divided region in the video display device according to the first embodiment, where (a) shows a rectangular parallelepiped and (b) shows a sector-shaped divided region. In these modified examples, the depth direction of a person is taken into consideration by setting a three-dimensional divided region in a pseudo manner. The three-dimensional divided area is set by generating a divided area divided in the vertical direction with respect to the display screen 13. Further, the screen direction is further subdivided and set in accordance with each divided region divided in the vertical direction. Then, the distance between the display screen and the viewer is calculated from the size of the person's face in the acquired captured image, and the viewer is divided into any of the divided areas divided in the vertical direction with respect to the display screen 13 from the calculated distance. Ask if there exists. In this way, by setting a divided area in consideration of the distance between the display screen 13 and the viewer, and determining the screen direction according to the distance of the viewer, the display screen 13 can be directed more accurately toward the viewer. Can do.

なお、実施の形態1では、動きベクトルの絶対値を動き量とするものを示したが、動き量の決定方法はこれに限るものではない。動きベクトルを算出するかわりに、現在のフレームの撮像画像と、その前のフレームの撮像画像を用いて、現在のフレームの撮像画像から検出された人物の位置におけるその前のフレームとの画素値の相違度を動き量としてもよい。画素値の相違度は、輝度値の差の二乗の平均値や正規化相関係数により求める。視聴者には動きがあるため、画素値の相違度は大きいが、人物の顔が印刷されているポスターは静止しているため画素値の相違度は小さい。したがって、このようにしても視聴者と人物の顔が印刷されているポスターとを判別できる。   In the first embodiment, the absolute value of the motion vector is used as the motion amount. However, the method for determining the motion amount is not limited to this. Instead of calculating the motion vector, using the captured image of the current frame and the captured image of the previous frame, the pixel value of the previous frame at the position of the person detected from the captured image of the current frame is calculated. The degree of difference may be the amount of movement. The degree of difference between pixel values is obtained from an average value of squares of differences in luminance values or a normalized correlation coefficient. Because the viewer has movement, the degree of difference in pixel values is large, but the poster on which the person's face is printed is stationary, so the degree of difference in pixel values is small. Therefore, even in this way, it is possible to distinguish between the viewer and the poster on which the face of the person is printed.

また、動きベクトルを算出する代わりに、現在のフレームの撮像画像から検出された人物の位置と、その前のフレームの撮像画像から検出された人物の位置との差の絶対値を動き量とし、当該絶対値が所定の閾値以上である場合は動き量を0とするようにしてもよい。視聴者は完全に静止しておらず小さな動きを持つため、位置の差の絶対値は0ではない小さな値となる。一方、人物の顔が印刷されているポスターは完全に静止しているため、位置の差の絶対値は0となる。これに対し、ある人物の位置と別の人物の位置との間で誤って位置の差を算出してしまった場合、算出される絶対値は大きい値となる。したがって、このようにすることで、視聴者と人物の顔が印刷されているポスターとを判別するとともに、異なる人物間で動き量を算出してしまった場合の影響を軽減することができる。   Instead of calculating the motion vector, the absolute value of the difference between the position of the person detected from the captured image of the current frame and the position of the person detected from the captured image of the previous frame is used as the amount of motion. If the absolute value is greater than or equal to a predetermined threshold, the amount of motion may be set to zero. Since the viewer is not completely stationary and has a small movement, the absolute value of the difference in position is a small value that is not zero. On the other hand, since the poster on which the human face is printed is completely stationary, the absolute value of the position difference is zero. On the other hand, if the position difference is erroneously calculated between the position of one person and the position of another person, the calculated absolute value is a large value. Therefore, by doing this, it is possible to discriminate between the viewer and the poster on which the face of the person is printed, and to reduce the influence when the motion amount is calculated between different persons.

実施の形態2.
図11は、実施の形態2に係る映像表示装置における情報処理装置の構成を示すブロック図である。実施の形態2の情報処理装置14は、図11に示すように、実施の形態1の構成に加えて履歴保持部27をさらに備えている。
Embodiment 2. FIG.
FIG. 11 is a block diagram illustrating a configuration of the information processing apparatus in the video display apparatus according to the second embodiment. As shown in FIG. 11, the information processing apparatus 14 of the second embodiment further includes a history holding unit 27 in addition to the configuration of the first embodiment.

履歴保持部27は、視聴者判定部24の過去の一定期間における履歴を保持するものである。薄暗い場合や、逆光など照明環境の悪い状況下で撮像装置11が画像を取得すると、人物検出部22が撮像画像から人物を検出する際に、実際には顔である領域を顔として識別できず、結果として、視聴者判定部24において視聴者と判定される人物が存在しない場合がある。一方、視聴者が映像表示装置を視聴する位置は、たとえばソファに腰掛けて視聴する場合など、いつもほぼ同じ位置であることが多い。そこで、方向決定部25は、視聴者判定部24で視聴者であると判定された人物が存在しない場合、履歴保持部27で保持されている履歴に基づいて表示画面13の画面方向を決定する。 The history holding unit 27 holds the history of the viewer determination unit 24 in the past certain period. When the imaging device 11 acquires an image in a dim or bad lighting environment such as backlight, when the person detection unit 22 detects a person from the captured image, an area that is actually a face cannot be identified as a face. As a result, there is a case where there is no person who is determined as a viewer by the viewer determination unit 24. On the other hand, the position where the viewer views the video display device is often almost the same position, for example, when sitting on a sofa. Therefore, the direction determining unit 25 determines the screen direction of the display screen 13 based on the history held by the history holding unit 27 when there is no person determined to be a viewer by the viewer determining unit 24. .

次に、情報処理装置14の制御手順を示す。図12は、実施の形態2に係る映像表示装置における情報処理装置の制御手順を示すフローチャート図である。実施の形態2では、視聴者判定部24が、ステップS16で視聴者であると判定された人物が存在したかどうかを判定する(S16B)。視聴者であると判定された人物が存在する場合(S16B:YES)、ステップS17へ進む。一方、視聴者であると判定された人物が存在しない場合(S16B:NO)、方向決定部25は、履歴保持部27で保持されている履歴に基づいて表示画面を向ける方向を決定する(S17B)。上記以外は実施の形態1と同様である。   Next, the control procedure of the information processing apparatus 14 is shown. FIG. 12 is a flowchart illustrating a control procedure of the information processing apparatus in the video display apparatus according to the second embodiment. In the second embodiment, the viewer determination unit 24 determines whether there is a person determined to be a viewer in step S16 (S16B). If there is a person determined to be a viewer (S16B: YES), the process proceeds to step S17. On the other hand, when there is no person determined to be a viewer (S16B: NO), the direction determining unit 25 determines the direction in which the display screen is directed based on the history held in the history holding unit 27 (S17B). ). Other than the above, the second embodiment is the same as the first embodiment.

実施の形態2によれば、視聴者判定部24において視聴者であると判定された人物が存在しない場合、方向決定部25が、履歴保持部31に保持されている履歴に基づいて表示画面13の画面方向を決定させるようにしているので、人物の顔を認識できない場合でも、その影響が軽減され、表示画面13の画面方向を適切に決定することができる。   According to the second embodiment, when there is no person determined to be a viewer by the viewer determining unit 24, the direction determining unit 25 displays the display screen 13 based on the history held in the history holding unit 31. Therefore, even when a person's face cannot be recognized, the influence is reduced, and the screen direction of the display screen 13 can be appropriately determined.

なお、この発明の映像表示装置は、テレビジョン受像機やデジタルサイネージ等に適用することができる。また、上記各実施の形態の構成は互いに組み合わせることができる。   The video display device of the present invention can be applied to a television receiver, digital signage, and the like. The configurations of the above embodiments can be combined with each other.

11 撮像装置
13 表示画面
21 撮像処理部
22 人物検出部
23 視聴可能性解析部
24 視聴者判定部
25 方向決定部
26 駆動制御部
27 履歴保持部
31 表示画面の垂線
32 顔の向きを示す線
36 顔の中央から表示画面の中央へ向かう線
37a、37b、37c 顔の中央から表示画面へ向かう線
100 映像表示装置
DESCRIPTION OF SYMBOLS 11 Imaging device 13 Display screen 21 Imaging processing part 22 Person detection part 23 Viewability analysis part 24 Viewer determination part 25 Direction determination part 26 Drive control part 27 History holding part 31 Perpendicular of display screen 32 Line 36 which shows face direction Lines from the center of the face to the center of the display screen 37a, 37b, 37c Lines from the center of the face to the display screen 100 Video display device

Claims (5)

映像を表示する表示画面と、
前記表示画面の前方を撮像して画像を取得する撮像手段と、
前記取得した前記画像から人物を検出する人物検出手段と、
前記検出した前記人物の動き量を算出するとともに、前記人物の顔の向きに基づいて前記人物が前記映像を視聴している可能性を表す解析値を算出し、前記動き量に応じて前記解析値を重み付けする視聴可能性解析手段と、
前記重み付けした前記解析値に基づいて、前記検出された人物が前記表示画面の視聴者であるか否かを判定する視聴者判定手段と、
前記視聴者判定手段で視聴者であると判定された人物の位置に基づいて前記表示画面の画面方向を決定する方向決定手段と、
前記方向決定手段で決定した前記画面方向に前記表示画面を回転駆動する駆動手段とを備えた映像表示装置。
A display screen for displaying images;
Imaging means for capturing an image of the front of the display screen and acquiring an image;
Person detecting means for detecting a person from the acquired image;
The motion amount of the detected person is calculated, and an analysis value indicating the possibility that the person is viewing the video is calculated based on the face direction of the person, and the analysis is performed according to the motion amount. Viewability analysis means for weighting the values;
Viewer determination means for determining whether or not the detected person is a viewer of the display screen based on the weighted analysis value;
Direction determining means for determining a screen direction of the display screen based on a position of a person determined to be a viewer by the viewer determining means;
A video display device comprising: driving means for rotationally driving the display screen in the screen direction determined by the direction determining means.
前記視聴者判定手段の判定結果の履歴を保持する履歴保持手段を更に備え、
前記方向決定手段は、前記視聴者判定手段で視聴者であると判定された人物が存在しない場合、前記履歴に基づいて前記表示画面の画面方向を決定することを特徴とする請求項1に記載の映像表示装置。
A history holding means for holding a history of determination results of the viewer determination means;
The said direction determination means determines the screen direction of the said display screen based on the said log | history, when the person determined to be a viewer by the said viewer determination means does not exist. Video display device.
前記視聴可能性解析手段は、前記表示画面の垂線と前記顔の向きを示す線とのなす角に基づいて前記解析値を算出することを特徴とする請求項1または2に記載の映像表示装置。   The video display device according to claim 1, wherein the viewability analyzing unit calculates the analysis value based on an angle formed by a perpendicular of the display screen and a line indicating the face direction. . 前記視聴可能性解析手段は、前記顔の中央から前記表示画面の中央へ向かう線と前記顔の向きを示す線とのなす角に基づいて前記解析値を算出することを特徴とする請求項1または2に記載の映像表示装置。   2. The viewability analyzing unit calculates the analysis value based on an angle formed by a line from the center of the face toward the center of the display screen and a line indicating the direction of the face. Or the video display apparatus of 2. 前記視聴可能性解析手段は、前記顔の中央から前記表示画面へ向かう線のうち、前記顔の向きを示す線とのなす角が最小となる線と、前記顔の向きを示す線とのなす角に基づいて前記解析値を算出することを特徴とする請求項1または2に記載の映像表示装置。   The viewability analysis means includes a line having a minimum angle with a line indicating the face direction and a line indicating the face direction, among lines extending from the center of the face to the display screen. The video display device according to claim 1, wherein the analysis value is calculated based on a corner.
JP2011147451A 2011-07-01 2011-07-01 Video display device Expired - Fee Related JP5853443B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011147451A JP5853443B2 (en) 2011-07-01 2011-07-01 Video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011147451A JP5853443B2 (en) 2011-07-01 2011-07-01 Video display device

Publications (2)

Publication Number Publication Date
JP2013016976A true JP2013016976A (en) 2013-01-24
JP5853443B2 JP5853443B2 (en) 2016-02-09

Family

ID=47689224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011147451A Expired - Fee Related JP5853443B2 (en) 2011-07-01 2011-07-01 Video display device

Country Status (1)

Country Link
JP (1) JP5853443B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324952A (en) * 2005-05-19 2006-11-30 Hitachi Ltd Television receiver
JP2009296521A (en) * 2008-06-09 2009-12-17 Hitachi Ltd Television receiver
JP2013118484A (en) * 2011-12-02 2013-06-13 Mitsubishi Electric Corp Display direction control apparatus, display direction control method, display direction control program and video display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324952A (en) * 2005-05-19 2006-11-30 Hitachi Ltd Television receiver
JP2009296521A (en) * 2008-06-09 2009-12-17 Hitachi Ltd Television receiver
JP2013118484A (en) * 2011-12-02 2013-06-13 Mitsubishi Electric Corp Display direction control apparatus, display direction control method, display direction control program and video display device

Also Published As

Publication number Publication date
JP5853443B2 (en) 2016-02-09

Similar Documents

Publication Publication Date Title
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
WO2018126654A1 (en) Display system and drive method for display panel
US10209797B2 (en) Large-size touch apparatus having depth camera device
US20130088574A1 (en) Detective Adjusting Apparatus for Stereoscopic Image and Related Method
JP2016520891A5 (en)
TW200928860A (en) Method and device for adjusting output frame
US9363427B2 (en) Device and method for calibrating a temporal contrast sensor with a frame-based camera sensor
JPH1124603A (en) Information display device and information collecting device
JP2010087569A (en) Full-length mirror apparatus
KR20110132260A (en) Monitor based augmented reality system
US20140347350A1 (en) Image Processing Method and Image Processing System for Generating 3D Images
JP5460793B2 (en) Display device, display method, television receiver, and display control device
WO2021252242A3 (en) Augmented reality environment enhancement
US20190110003A1 (en) Image processing method and system for eye-gaze correction
JP2012100116A (en) Display processing device, display processing method, and program
US20220058887A1 (en) Augmented reality system and anchor display method thereof
US9727973B2 (en) Image processing device using difference camera
JP2013148599A (en) Display device
JP6977823B2 (en) Information processing equipment, control methods, and programs
US9778755B2 (en) Image processing system using polarization difference camera
US10764503B2 (en) Information processing apparatus, control method, and program for outputting a guide for correcting a field of view of a camera
JP5853443B2 (en) Video display device
US20190253618A1 (en) Information processing apparatus, control method, and program
JP2006287813A (en) Three-dimensional image display device
WO2018173445A1 (en) Information processing device, information processing method, information processing system, and program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20140326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151123

R151 Written notification of patent or utility model registration

Ref document number: 5853443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees