JP2013016976A - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP2013016976A JP2013016976A JP2011147451A JP2011147451A JP2013016976A JP 2013016976 A JP2013016976 A JP 2013016976A JP 2011147451 A JP2011147451 A JP 2011147451A JP 2011147451 A JP2011147451 A JP 2011147451A JP 2013016976 A JP2013016976 A JP 2013016976A
- Authority
- JP
- Japan
- Prior art keywords
- person
- display screen
- viewer
- face
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明は、映像表示装置に関する。 The present invention relates to a video display device.
従来のテレビジョン受像機として、映像を表示する表示画面の前面側の画像を取得し、取得した画像内に含まれる顔画像を識別し、識別した顔画像の位置に画面方向が向くように表示画面を回転させるものがある(例えば、特許文献1参照)。 As a conventional television receiver, an image on the front side of a display screen that displays video is acquired, a face image included in the acquired image is identified, and the screen is oriented so that the screen direction is at the position of the identified face image Some rotate the screen (for example, see Patent Document 1).
ところが、取得した画像内の顔画像を識別する際、人物の顔が印刷されているポスターが実際の人物の顔であるとして識別されてしまうことがある。こういった場合、画面を見ている人物である視聴者の位置が適切に決定されず、視聴者とは関係のない方向に画面方向が決定されてしまい、視聴者が最適な角度で画面を見ることができなくなってしまうという問題点があった。 However, when a face image in the acquired image is identified, a poster on which a person's face is printed may be identified as an actual person's face. In such a case, the position of the viewer, who is the person watching the screen, is not properly determined, and the screen direction is determined in a direction unrelated to the viewer, so that the viewer can view the screen at the optimum angle. There was a problem that it became impossible to see.
この発明は、上述のような問題を解決するためになされたもので、画面方向を適切に決定することができる映像表示装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to obtain a video display device capable of appropriately determining the screen direction.
この発明に係る映像表示装置は、映像を表示する表示画面と、表示画面の前方を撮像して画像を取得する撮像手段と、取得した画像から人物を検出する人物検出手段と、検出した人物の動き量を算出するとともに、人物の顔の向きに基づいて人物が映像を視聴している可能性を表す解析値を算出し、動き量に応じて解析値を重み付けする視聴可能性解析手段と、重み付けした解析値に基づいて、検出された人物が表示画面の視聴者であるか否かを判定する視聴者判定手段と、視聴者判定手段で視聴者であると判定された人物の位置に基づいて表示画面の画面方向を決定する方向決定手段と、方向決定手段で決定した画面方向に表示画面を回転駆動する駆動手段とを備えるものである。 The video display device according to the present invention includes a display screen for displaying video, an imaging means for capturing an image by capturing the front of the display screen, a person detecting means for detecting a person from the acquired image, and a detected person A viewability analysis means for calculating an amount of motion, calculating an analysis value representing the possibility that the person is viewing the video based on the orientation of the face of the person, and weighting the analysis value according to the amount of motion; Based on the weighted analysis value, based on the viewer determination means for determining whether or not the detected person is the viewer of the display screen, and the position of the person determined to be the viewer by the viewer determination means Direction determining means for determining the screen direction of the display screen, and drive means for rotationally driving the display screen in the screen direction determined by the direction determining means.
この発明によれば、人物が映像を視聴している可能性を示す解析値を動き量に応じて重み付けし、重み付けした解析値に基づいて検出された人物が視聴者であるか否かを判定するようにしているので、画面方向を適切に決定することができる。 According to the present invention, an analysis value indicating the possibility that a person is watching a video is weighted according to the amount of motion, and it is determined whether or not the detected person is a viewer based on the weighted analysis value. Therefore, the screen direction can be determined appropriately.
実施の形態1.
まず、実施の形態1の映像表示装置の構成を説明する。図1は、実施の形態1に係る映像表示装置の構成を示すブロック図である。
First, the configuration of the video display device according to the first embodiment will be described. FIG. 1 is a block diagram showing the configuration of the video display apparatus according to the first embodiment.
図1において、映像表示装置100は、撮像装置11、回転スタンド12、表示画面13および情報処理装置14を有する。映像表示装置100は、表示画面13を視聴している視聴者の位置に応じて表示画面13を向ける画面方向を決定し、回転スタンド12により自動的に表示画面13の向き当該画面方向に回転させるものである。
In FIG. 1, the
表示画面13は、映像を表示する画面であり、例えば液晶ディスプレイ画面である。
The
回転スタンド12は、表示画面13を保持するスタンドであり、例えばモータや歯車といった駆動部を備え、表示画面13を略鉛直軸まわりに一定の角度範囲で回転させることができる。回転の開始又は停止や回転方向は情報処理装置14によって制御される。なお、回転スタンド12は、ロータリエンコーダといった、表示画面13が向いている方向を取得する手段を備えていても良い。
The
撮像装置11は、表示画面13の前方を撮像して画像を取得し、取得した画像(具体的にはデジタル画像データ)を情報処理装置14に出力する。撮像装置11による画像の取得および撮像画像の情報処理装置14への出力は、繰り返し行われ、例えば毎秒30回で実施される。
The
撮像装置11は、CCD(Charge Coupled Device)素子およびレンズ等により構成され、解像度640×480ピクセルのグレースケール画像を取得する。なお、撮像装置11は、CMOS(Complementary Metal Oxide Semiconductor)素子など、CCD素子以外の撮像素子を利用するものでもよい。また、撮像装置11は、グレースケール画像ではなく、カラー画像を取得するものでもよい。また、画像の解像度も、640×480ピクセルに限られず、人物の検出が可能である限りは、より高い解像度でも、より低い解像度でもよい。なお、撮像装置11の画角によるが、一般的に解像度が高いほど、遠くの人物を検出することができる。
The
情報処理装置14は、撮像装置11で取得した画像に基づき、表示画面13に表示される映像を視聴している視聴者の位置を算出し、当該視聴者の位置から表示画面13が見やすい方向に表示画面13を回転させるよう回転スタンド12の制御を行う。
The
次に、情報処理装置14の構成を説明する。図2は、実施の形態1に係る情報処理装置の構成を示す図である。
Next, the configuration of the
図2において、情報処理装置14は、撮像処理部21、人物検出部22、視聴可能性解析部23、視聴者判定部24、方向決定部25および駆動制御部26を有する。
In FIG. 2, the
撮像処理部21は、撮像装置11により撮像された画像を取得する。そして、撮像処理部21は、取得した画像(以下、「撮像画像」と称す)を、人物検出部22に出力する。
The
人物検出部22は、撮像処理部21により取得された撮像画像から人物を検出し、撮像画像における人物の位置、顔の大きさおよび顔の向きの3つの情報(人物情報と称す)を検出する。
The
具体的には、人物検出部22は、人物の位置の情報として、撮像画像の座標系における当該人物の顔の中心座標を検出し、顔の大きさの情報として、撮像画像の座標系における当該人物の顔の幅(具体的には顔の水平方向の幅)を検出する。
Specifically, the
図3は、実施の形態1に係る映像表示装置における角度θの決定方法を示す上面図である。人物検出部22は、図3に示すように、顔の向きの情報として、表示画面13の垂線31と人物の顔の向きを示す線32とのなす角の角度θ(0°≦θ≦90°)を検出する。角度θは、当該人物が表示画面13に対して正面を向いている場合に0°、当該人物が表示画面13に対して真横を向いている場合に90°となる。
FIG. 3 is a top view showing a method of determining the angle θ in the video display apparatus according to
なお、人物検出部22における人物の検出の手法は特に限定されないが、例えば、米国特許出願公開第2002/0102024号明細書等に開示されているビオラ−ジョーンズ法と呼ばれる方式を用いることができる。ビオラ−ジョーンズ法は、要約すると、画像内における小領域の位置や大きさを変えながら画像内に小領域を設定し、当該小領域から特徴量を抽出し、識別器を利用して、当該小領域が顔であるか否かを判別するものである。人物検出部22は、撮像画像にビオラ−ジョーンズ法を適用した後、顔であると判別された小領域の位置や大きさから、撮像画像の座標軸で表される顔の中心位置や顔の大きさを求めることができる。また、人物検出部22は、撮像画像にビオラ−ジョーンズ法を適用する際に、顔であるか否かのみを判別するのではなく、例えば、正面を向いている顔であるか否か、もしくは、鉛直軸周りに正面より30度右に向いている顔であるか否か、鉛直軸周りに正面より30度左に向いている顔であるか否か、をそれぞれ判別することにより、おおよその顔の向きを求めることができる。
Note that a method of detecting a person in the
図4は、実施の形態1に係る映像表示装置における人物検出部で検出された人物情報の一例を示す図である。図4において、「No.」は検出された人物に割り当てられた番号、「x座標」および「y座標」は各人物の顔の中心座標、「顔の大きさ」は各人物の顔の幅、「顔の向き(θ)」は表示画面13の垂線31と人物の向いている方向を示す線32とのなす角θの角度である。図4では、No.1〜No.3の3人の人物が検出された場合を示している。
FIG. 4 is a diagram illustrating an example of person information detected by the person detection unit in the video display apparatus according to
なお、人物の位置の情報や顔の大きさの情報として、顔の長さ(具体的には顔の垂直方向の長さ)や、肩幅、両目間の距離、両目それぞれの位置、頭の頂点の座標など、他の情報を検出するようにしてもよい。また、撮像画像から複数の人物が検出された場合には、検出された複数の人物の各々について、撮像画像における当該人物の位置、顔の大きさおよび顔の向きを検出する。 Information on the position of the person and information on the size of the face include the length of the face (specifically, the length of the face in the vertical direction), the shoulder width, the distance between both eyes, the position of each eye, and the vertex of the head. Other information such as the coordinates may be detected. Further, when a plurality of persons are detected from the captured image, the position, face size, and face direction of the person in the captured image are detected for each of the detected persons.
人物検出部22は、人物の顔の中心座標と、上述の角度θとを、視聴可能性解析部23に出力する。
The
視聴可能性解析部23は、人物検出部22により検出された人物のそれぞれに対して、当該人物が映像を視聴している可能性を解析する。
The viewing
具体的には、視聴可能性解析部23は、上記の角度θを用いて90−θの値を算出する(90−θの値を視聴可能性解析値と称す)。視聴可能性解析値は、値が大きい人物ほど映像を視聴している可能性が高く、検出された人物が表示画面13に対して正面を向いている場合に最大(90−θ=90)となり、表示画面13に対して真横を向いている場合に最小(90−θ=0)となる。
Specifically, the
また、視聴可能性解析部23は、現在のフレームの撮像画像と、その前のフレームの撮像画像と用いて、現在のフレームの撮像画像から検出された人物の位置における動きベクトルを算出し、その絶対値として動き量を算出する。そして、視聴可能性解析部23は、算出した動き量が閾値よりも大きいか否かに応じて視聴可能性解析値に重み付けをする。この重み付けは、たとえば、算出した動き量が閾値よりも小さい人物の視聴可能性解析値は0.1倍にし、動き量が閾値よりも大きい人物の視聴可能性解析値の値は変化させないようにすることで行う。
The
なお、上記の動きベクトルの算出方法としては、ブロックマッチング法や勾配法などを用いることができる。また、動き量は、特定の時刻のものではなく、所定の時間にわたって算出した動き量を保持しておき、例えばそれらの平均値としたものでも良い。 Note that a block matching method, a gradient method, or the like can be used as the motion vector calculation method. The amount of motion is not limited to a specific time, but may be a motion amount calculated over a predetermined time, for example, an average value thereof.
また、視聴可能性解析部23は、撮像画像を複数の分割領域に分割し、上述した人物の顔の中心座標を用いて、検出された人物がどの分割領域に含まれるのかを対応付ける。そして、視聴可能性解析部23は、検出された人物が含まれる分割領域の位置と、当該分割領域における重み付けされた視聴可能性解析値とを、視聴者判定部24に出力する。
In addition, the
視聴者判定部24は、重み付けされた視聴可能性解析値に基づいて、人物検出部22で検出された人物が視聴者であるか否かを判定する。人物が視聴者であるか否かは、重み付けされた視聴可能性解析値が閾値よりも大きければ視聴者、小さければ視聴者ではないとして判定する。そして、視聴者判定部24は、視聴者が存在する分割領域の位置を方向決定部25に出力する。
The
ここで、人物情報から視聴者を判定する具体例を説明する。図5は、実施の形態1に係る映像表示装置における人物情報から視聴者を判定する具体例を示す図であって、(a)は撮像画像中の人物を示す図、(b)は視聴可能性解析部の解析結果を分割領域ごとに表した図、(c)は視聴者判定部の判定結果を分割領域ごとに表した図である。
Here, a specific example of determining a viewer from person information will be described. FIG. 5 is a diagram showing a specific example of determining a viewer from person information in the video display apparatus according to
図5(a)において、撮像画像には人物33aおよび人物33bが含まれている。人物33aは表示画面13を正面から見ている視聴者であり、人物33bは人物の顔が表示画面13に対して正面となるように印刷されているポスターである。
In FIG. 5A, the captured image includes a
視聴可能性解析部23は、図5(b)に示すように、まず、人物33a、33bがどの分割領域に含まれるかを対応付ける。人物33aは分割領域35aに、人物33bは分割領域35bにそれぞれ含まれる。次に、視聴可能性解析部23は、視聴可能性解析値を算出する。人物33a、33bはともにθ=0°であるため、視聴可能性解析値はともに90である。次いで、視聴可能性解析部23は人物33a、33bの動き量をそれぞれ算出する。ここで、人物33aは動き量が閾値よりも大きく、人物33bは動き量が閾値よりも小さい。そして、視聴可能性解析部23は、動き量が閾値よりも小さい人物37bの視聴可能性解析値を0.1倍にするようにして重み付けする。この結果、視聴可能性解析値は、人物33aが90、人物33bが9であると解析される。そして、視聴可能性解析部23は、人物が検出された分割領域35a、35bの位置と、分割領域35a、35bにおける重み付けされた視聴可能性解析値とを視聴者判定部24へ出力する。
As shown in FIG. 5B, the
視聴者判定部24は、図5(c)に示すように、検出された人物の視聴可能性解析値が閾値よりも大きければ視聴者であると判定し、閾値よりも小さければ視聴者ではないと判定する。この閾値をたとえば40とすると、人物33aは視聴者であると判定され、人物33bは視聴者ではないと判定される。すなわち、分割領域35aにのみ視聴者が存在すると判定される。
As shown in FIG. 5C, the
人物の顔が印刷されているポスターや、衣服のしわ、壁の模様等は人物検出部22で撮像画像から人物を検出する際に、実際には人物ではないのに人物として認識されてしまうことがある。これに対して、上述のように検出した人物が視聴者であるか否かを判定することで、人物検出部22で人物として検出されてしまうが、実際には人物ではない静止物体が撮像画像中に含まれる場合であっても、実際の人物とそうでないものを判別することができる。
A poster on which a person's face is printed, a wrinkle on clothes, a wall pattern, or the like is recognized as a person when it is not actually a person when the
図2に戻って、方向決定部25は、視聴者判定部24で視聴者であると判定された人物の位置に基づいて表示画面13の画面方向を決定する。
Returning to FIG. 2, the
図6は、実施の形態1に係る液晶表示装置における画面方向と分割領域との関係を示す図である。表示画面13の画面方向は、図6に示すように、各分割領域に対応付けられており、視聴者がどの分割領域に存在するかにより決定される。つまり、表示画面13の画面方向は、視聴者が分割領域41aに存在する場合は中央の方向40a、分割領域41bに存在する場合は右の方向40b、分割領域41cに存在する場合は左の方向40cとなる。図6においては、視聴者が分割領域41cに存在するため、表示画面13の画面方向は左の方向40cと決定される。なお、複数の分割領域に視聴者が存在する場合は、それぞれの分割領域の中間の位置としても良い。このとき、視聴可能性解析値の値により重み付けを行っても良い。
FIG. 6 is a diagram showing the relationship between the screen direction and the divided areas in the liquid crystal display device according to the first embodiment. As shown in FIG. 6, the screen direction of the
駆動制御部26は、方向決定部25が決定した、中央の方向40a、右の方向40bまたは左の方向40cのいずれかの方向に表示画面13を回転させるように回転スタンド12の回転を制御する。右または左に回転させる際の回転角度は、右の方向40bまたは左の方向40cの、中央の方向40aに対する角度として予め設定しておく。
The
なお、表示画面13を回転させる画面方向と分割領域との関係は図6に示すものに限らない。すなわち、水平方向に分割領域の数を増加させるとともに、各分割領域に応じて画面方向を新たに設定するようにしてもよい。このようにすることで、より正確に表示画面13を視聴者の方向に向けることができる。
The relationship between the screen direction for rotating the
また、表示画面13の回転中も随時、視聴可能性解析部23による解析や、視聴者判定部24による判定、方向決定部25による画面方向の決定を随時行い、表示画面13が最適な画面方向となるまで回転を続ける。また、駆動制御部26は、方向決定部25が決定した表示画面13の画面方向から、回転させる方向および時間を決定し、決定した時間連続して右または左に回転させたのち回転を停止する制御を行うようにしてもよい。また、回転スタンド12にロータリエンコーダ等の表示画面13が向いている方向を取得する手段を備え、表示画面13が向いている方向と表示画面13を向けるべき方向とが一致するまで、右または左に回転するよう制御しても良い。
In addition, while the
次に、情報処理装置14の制御手順を示す。図7は、実施の形態1に係る映像表示装置における情報制御装置の制御手順を示すフローチャート図である。
Next, the control procedure of the
まず、撮像処理部21が、撮像画像を取得する(S11)。次に、人物検出部22が、取得した撮像画像から人物の顔を検出し、当該人物の位置、顔の大きさおよび顔の向きを検出する(S12)。そして、視聴可能性解析部23が、ステップS12で検出した人物のそれぞれについて、視聴可能性解析値を算出する(S13)。次に、視聴可能性解析部23は、当該人物の動き量を算出し(S14)、視聴可能性解析値を算出した動き量に応じて重み付けする(S15)。次に、視聴者判定部24が、重み付けされた視聴可能性解析値に基づいて、検出した人物が視聴者であるか否かを判定する(S16)。
First, the
次に、方向決定部25が、視聴者であると判定された人物の位置に基づいて、表示画面13を回転させる方向を決定する(S17)。次に、駆動制御部26が、決定した表示画面13を回転させる方向が表示画面13の現時点での画面方向に対して中央の方向であるか否かを判断する(S18)。中央の方向であると判断された場合(S18:YES)、駆動制御部26は、表示画面13を回転させないよう回転スタンド12の制御を行い(S19)、処理を終了させる。
Next, the
一方、中央の方向ではないと判断された場合(S18:NO)、駆動制御部26は、決定した表示画面13を回転させる方向が右の方向であるか否かを判断する(S20)。ここで、右の方向であると判断された場合(S20:YES)、駆動制御部26は、表示画面13を右に回転させるよう回転スタンド12の制御を行い(S21)、処理を終了させる。また、右の方向であると判断されなかった場合(S20:NO)、駆動制御部26は、表示画面13を左に回転させるよう回転スタンド12の制御を行い(S22)、処理を終了させる。
On the other hand, when it is determined that the direction is not the central direction (S18: NO), the
上記の処理は撮像装置11の撮像の周期と同じ周期で繰り返し行われる。なお、情報処理装置14の処理の周期は、N(Nは2以上の整数)個の撮像画像につき1回など、撮像の周期より長い周期で行われてもよい。また、処理の周期は一定でなくても良く、たとえば、表示画面13が右または左に回転している最中は、回転していない時よりも短い周期で行うようにしても良い。
The above process is repeatedly performed at the same cycle as the imaging cycle of the
実施の形態1の映像表示装置によれば、人物の動き量に応じて視聴可能性解析値を重み付けし、重み付けした視聴可能性解析値に基づいて検出された人物が視聴者であるか否かを判定するようにしているので、人物として検出されてしまうが、実際には人物ではない静止物体が撮像画像中に含まれる場合であっても、その影響を軽減して適切に表示画面13の画面方向を決定することができる。
According to the video display device of
また、人物の顔の向いている方向に基づいて当該人物の視聴可能性解析値を算出するようにしているので、表示画面13を見ていない人物が撮像画像内に含まれる場合であっても、表示画面13の画面方向を適切に決定することができる。
In addition, since the viewability analysis value of the person is calculated based on the direction of the person's face, even if a person who does not look at the
さらに、人物の顔の向きと表示画面13の垂線とのなす角に基づいて当該人物の視聴可能性解析値を算出するようにしているので、角度θは撮像画像における人物の顔の向きと一対一で対応する値となり、角度θの算出のために必要な計算量が小さく、当該可能性を簡易に解析することができる。
Further, since the viewability analysis value of the person is calculated based on the angle formed by the orientation of the person's face and the perpendicular of the
なお、実施の形態1では表示画面13の垂線と人物の顔の向きとのなす角に基づいて当該人物が映像を視聴している可能性を解析するものを示したが、角度θの決定方法はこれに限らない。
In the first embodiment, the analysis of the possibility that the person is watching the video based on the angle formed by the perpendicular of the
図8は実施の形態1に係る映像表示装置の第1変形例における角度θの決定方法を示す上面図である。この変形例においては、顔の中央から表示画面13の中央へ向かう線36と、顔の向きを示す線32とのなす角を角度θとしている。このようにすることで、表示画面の13の中央に存在して表示画面の方向を向いている人物ほど当該人物が映像を視聴している可能性が高いと解析することができるので、複数の人物が表示画面13を視聴している場合において、中央にいる人物を優先することができる。
FIG. 8 is a top view showing a method of determining the angle θ in the first modification of the video display device according to the first embodiment. In this modification, an angle formed by a
図9は実施の形態1に係る映像表示装置の第2変形例における角度θの決定方法を示す上面図である。この変形例においては、顔の中央から表示画面13に向かう線37a、37b、37cのうち、顔の向きを示す線32とのなす角が最小になる線37aと、顔の向きを示す線32とのなす角を角度θとしている。このようにすることで、表示画面13の方向を向いている人物であればθ=0となるので、表示画面13の方向を向いている人物がいずれの位置に存在しても映像を視聴している可能性が高いと解析することができる。
FIG. 9 is a top view showing a method for determining the angle θ in the second modification of the video display device according to the first embodiment. In this modification, of the
また、実施の形態1では、図6において2次元の分割領域を示したが、分割領域はこれに限らない。 In the first embodiment, the two-dimensional divided area is shown in FIG. 6, but the divided area is not limited to this.
図10は実施の形態1に係る映像表示装置における分割領域の変形例を示しており、(a)は直方体、(b)は扇形円柱の分割領域を示している。これらの変形例においては、3次元の分割領域を擬似的に設定することで人物の奥行き方向を考慮している。3次元の分割領域は、表示画面13に対して垂直方向に分割された分割領域を生成することで設定する。また、垂直方向に分割された各分割領域に応じて画面方向をさらに細分化して設定する。そして、取得した撮像画像内の人物の顔の大きさから表示画面と視聴者との距離を計算し、計算した距離から表示画面13に対して垂直方向に分割された分割領域のいずれに視聴者が存在するかを求める。このように表示画面13と視聴者との距離を考慮した分割領域を設定し、視聴者の距離に応じて画面方向を決定することで、より正確に表示画面13を視聴者の方向に向けることができる。
FIG. 10 shows a modified example of the divided region in the video display device according to the first embodiment, where (a) shows a rectangular parallelepiped and (b) shows a sector-shaped divided region. In these modified examples, the depth direction of a person is taken into consideration by setting a three-dimensional divided region in a pseudo manner. The three-dimensional divided area is set by generating a divided area divided in the vertical direction with respect to the
なお、実施の形態1では、動きベクトルの絶対値を動き量とするものを示したが、動き量の決定方法はこれに限るものではない。動きベクトルを算出するかわりに、現在のフレームの撮像画像と、その前のフレームの撮像画像を用いて、現在のフレームの撮像画像から検出された人物の位置におけるその前のフレームとの画素値の相違度を動き量としてもよい。画素値の相違度は、輝度値の差の二乗の平均値や正規化相関係数により求める。視聴者には動きがあるため、画素値の相違度は大きいが、人物の顔が印刷されているポスターは静止しているため画素値の相違度は小さい。したがって、このようにしても視聴者と人物の顔が印刷されているポスターとを判別できる。 In the first embodiment, the absolute value of the motion vector is used as the motion amount. However, the method for determining the motion amount is not limited to this. Instead of calculating the motion vector, using the captured image of the current frame and the captured image of the previous frame, the pixel value of the previous frame at the position of the person detected from the captured image of the current frame is calculated. The degree of difference may be the amount of movement. The degree of difference between pixel values is obtained from an average value of squares of differences in luminance values or a normalized correlation coefficient. Because the viewer has movement, the degree of difference in pixel values is large, but the poster on which the person's face is printed is stationary, so the degree of difference in pixel values is small. Therefore, even in this way, it is possible to distinguish between the viewer and the poster on which the face of the person is printed.
また、動きベクトルを算出する代わりに、現在のフレームの撮像画像から検出された人物の位置と、その前のフレームの撮像画像から検出された人物の位置との差の絶対値を動き量とし、当該絶対値が所定の閾値以上である場合は動き量を0とするようにしてもよい。視聴者は完全に静止しておらず小さな動きを持つため、位置の差の絶対値は0ではない小さな値となる。一方、人物の顔が印刷されているポスターは完全に静止しているため、位置の差の絶対値は0となる。これに対し、ある人物の位置と別の人物の位置との間で誤って位置の差を算出してしまった場合、算出される絶対値は大きい値となる。したがって、このようにすることで、視聴者と人物の顔が印刷されているポスターとを判別するとともに、異なる人物間で動き量を算出してしまった場合の影響を軽減することができる。 Instead of calculating the motion vector, the absolute value of the difference between the position of the person detected from the captured image of the current frame and the position of the person detected from the captured image of the previous frame is used as the amount of motion. If the absolute value is greater than or equal to a predetermined threshold, the amount of motion may be set to zero. Since the viewer is not completely stationary and has a small movement, the absolute value of the difference in position is a small value that is not zero. On the other hand, since the poster on which the human face is printed is completely stationary, the absolute value of the position difference is zero. On the other hand, if the position difference is erroneously calculated between the position of one person and the position of another person, the calculated absolute value is a large value. Therefore, by doing this, it is possible to discriminate between the viewer and the poster on which the face of the person is printed, and to reduce the influence when the motion amount is calculated between different persons.
実施の形態2.
図11は、実施の形態2に係る映像表示装置における情報処理装置の構成を示すブロック図である。実施の形態2の情報処理装置14は、図11に示すように、実施の形態1の構成に加えて履歴保持部27をさらに備えている。
FIG. 11 is a block diagram illustrating a configuration of the information processing apparatus in the video display apparatus according to the second embodiment. As shown in FIG. 11, the
履歴保持部27は、視聴者判定部24の過去の一定期間における履歴を保持するものである。薄暗い場合や、逆光など照明環境の悪い状況下で撮像装置11が画像を取得すると、人物検出部22が撮像画像から人物を検出する際に、実際には顔である領域を顔として識別できず、結果として、視聴者判定部24において視聴者と判定される人物が存在しない場合がある。一方、視聴者が映像表示装置を視聴する位置は、たとえばソファに腰掛けて視聴する場合など、いつもほぼ同じ位置であることが多い。そこで、方向決定部25は、視聴者判定部24で視聴者であると判定された人物が存在しない場合、履歴保持部27で保持されている履歴に基づいて表示画面13の画面方向を決定する。
The
次に、情報処理装置14の制御手順を示す。図12は、実施の形態2に係る映像表示装置における情報処理装置の制御手順を示すフローチャート図である。実施の形態2では、視聴者判定部24が、ステップS16で視聴者であると判定された人物が存在したかどうかを判定する(S16B)。視聴者であると判定された人物が存在する場合(S16B:YES)、ステップS17へ進む。一方、視聴者であると判定された人物が存在しない場合(S16B:NO)、方向決定部25は、履歴保持部27で保持されている履歴に基づいて表示画面を向ける方向を決定する(S17B)。上記以外は実施の形態1と同様である。
Next, the control procedure of the
実施の形態2によれば、視聴者判定部24において視聴者であると判定された人物が存在しない場合、方向決定部25が、履歴保持部31に保持されている履歴に基づいて表示画面13の画面方向を決定させるようにしているので、人物の顔を認識できない場合でも、その影響が軽減され、表示画面13の画面方向を適切に決定することができる。
According to the second embodiment, when there is no person determined to be a viewer by the
なお、この発明の映像表示装置は、テレビジョン受像機やデジタルサイネージ等に適用することができる。また、上記各実施の形態の構成は互いに組み合わせることができる。 The video display device of the present invention can be applied to a television receiver, digital signage, and the like. The configurations of the above embodiments can be combined with each other.
11 撮像装置
13 表示画面
21 撮像処理部
22 人物検出部
23 視聴可能性解析部
24 視聴者判定部
25 方向決定部
26 駆動制御部
27 履歴保持部
31 表示画面の垂線
32 顔の向きを示す線
36 顔の中央から表示画面の中央へ向かう線
37a、37b、37c 顔の中央から表示画面へ向かう線
100 映像表示装置
DESCRIPTION OF
Claims (5)
前記表示画面の前方を撮像して画像を取得する撮像手段と、
前記取得した前記画像から人物を検出する人物検出手段と、
前記検出した前記人物の動き量を算出するとともに、前記人物の顔の向きに基づいて前記人物が前記映像を視聴している可能性を表す解析値を算出し、前記動き量に応じて前記解析値を重み付けする視聴可能性解析手段と、
前記重み付けした前記解析値に基づいて、前記検出された人物が前記表示画面の視聴者であるか否かを判定する視聴者判定手段と、
前記視聴者判定手段で視聴者であると判定された人物の位置に基づいて前記表示画面の画面方向を決定する方向決定手段と、
前記方向決定手段で決定した前記画面方向に前記表示画面を回転駆動する駆動手段とを備えた映像表示装置。 A display screen for displaying images;
Imaging means for capturing an image of the front of the display screen and acquiring an image;
Person detecting means for detecting a person from the acquired image;
The motion amount of the detected person is calculated, and an analysis value indicating the possibility that the person is viewing the video is calculated based on the face direction of the person, and the analysis is performed according to the motion amount. Viewability analysis means for weighting the values;
Viewer determination means for determining whether or not the detected person is a viewer of the display screen based on the weighted analysis value;
Direction determining means for determining a screen direction of the display screen based on a position of a person determined to be a viewer by the viewer determining means;
A video display device comprising: driving means for rotationally driving the display screen in the screen direction determined by the direction determining means.
前記方向決定手段は、前記視聴者判定手段で視聴者であると判定された人物が存在しない場合、前記履歴に基づいて前記表示画面の画面方向を決定することを特徴とする請求項1に記載の映像表示装置。 A history holding means for holding a history of determination results of the viewer determination means;
The said direction determination means determines the screen direction of the said display screen based on the said log | history, when the person determined to be a viewer by the said viewer determination means does not exist. Video display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147451A JP5853443B2 (en) | 2011-07-01 | 2011-07-01 | Video display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147451A JP5853443B2 (en) | 2011-07-01 | 2011-07-01 | Video display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013016976A true JP2013016976A (en) | 2013-01-24 |
JP5853443B2 JP5853443B2 (en) | 2016-02-09 |
Family
ID=47689224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011147451A Expired - Fee Related JP5853443B2 (en) | 2011-07-01 | 2011-07-01 | Video display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5853443B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006324952A (en) * | 2005-05-19 | 2006-11-30 | Hitachi Ltd | Television receiver |
JP2009296521A (en) * | 2008-06-09 | 2009-12-17 | Hitachi Ltd | Television receiver |
JP2013118484A (en) * | 2011-12-02 | 2013-06-13 | Mitsubishi Electric Corp | Display direction control apparatus, display direction control method, display direction control program and video display device |
-
2011
- 2011-07-01 JP JP2011147451A patent/JP5853443B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006324952A (en) * | 2005-05-19 | 2006-11-30 | Hitachi Ltd | Television receiver |
JP2009296521A (en) * | 2008-06-09 | 2009-12-17 | Hitachi Ltd | Television receiver |
JP2013118484A (en) * | 2011-12-02 | 2013-06-13 | Mitsubishi Electric Corp | Display direction control apparatus, display direction control method, display direction control program and video display device |
Also Published As
Publication number | Publication date |
---|---|
JP5853443B2 (en) | 2016-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3195595B1 (en) | Technologies for adjusting a perspective of a captured image for display | |
WO2018126654A1 (en) | Display system and drive method for display panel | |
US10209797B2 (en) | Large-size touch apparatus having depth camera device | |
US20130088574A1 (en) | Detective Adjusting Apparatus for Stereoscopic Image and Related Method | |
JP2016520891A5 (en) | ||
TW200928860A (en) | Method and device for adjusting output frame | |
US9363427B2 (en) | Device and method for calibrating a temporal contrast sensor with a frame-based camera sensor | |
JPH1124603A (en) | Information display device and information collecting device | |
JP2010087569A (en) | Full-length mirror apparatus | |
KR20110132260A (en) | Monitor based augmented reality system | |
US20140347350A1 (en) | Image Processing Method and Image Processing System for Generating 3D Images | |
JP5460793B2 (en) | Display device, display method, television receiver, and display control device | |
WO2021252242A3 (en) | Augmented reality environment enhancement | |
US20190110003A1 (en) | Image processing method and system for eye-gaze correction | |
JP2012100116A (en) | Display processing device, display processing method, and program | |
US20220058887A1 (en) | Augmented reality system and anchor display method thereof | |
US9727973B2 (en) | Image processing device using difference camera | |
JP2013148599A (en) | Display device | |
JP6977823B2 (en) | Information processing equipment, control methods, and programs | |
US9778755B2 (en) | Image processing system using polarization difference camera | |
US10764503B2 (en) | Information processing apparatus, control method, and program for outputting a guide for correcting a field of view of a camera | |
JP5853443B2 (en) | Video display device | |
US20190253618A1 (en) | Information processing apparatus, control method, and program | |
JP2006287813A (en) | Three-dimensional image display device | |
WO2018173445A1 (en) | Information processing device, information processing method, information processing system, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140326 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5853443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |