JP2013059094A - Three-dimensional image processing apparatus and three-dimensional image processing method - Google Patents
Three-dimensional image processing apparatus and three-dimensional image processing method Download PDFInfo
- Publication number
- JP2013059094A JP2013059094A JP2012247020A JP2012247020A JP2013059094A JP 2013059094 A JP2013059094 A JP 2013059094A JP 2012247020 A JP2012247020 A JP 2012247020A JP 2012247020 A JP2012247020 A JP 2012247020A JP 2013059094 A JP2013059094 A JP 2013059094A
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- processing apparatus
- unit
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明の実施形態は、立体映像処理装置、立体映像処理方法に関する。 Embodiments described herein relate generally to a stereoscopic video processing apparatus and a stereoscopic video processing method.
近年、立体映像を視聴可能なディスプレイを備えた映像処理装置(以下、立体映像処理装置と記載する)が開発され、発売されている。立体映像処理装置には、立体映像を視聴するためにメガネを必要とする方式(以下、メガネ方式と記載)と、メガネを必要とせず裸眼で立体映像を視聴することができる方式(以下、裸眼方式と記載)とがある。 2. Description of the Related Art In recent years, video processing devices (hereinafter referred to as “stereoscopic video processing devices”) having a display capable of viewing stereoscopic video have been developed and put on the market. The stereoscopic image processing apparatus includes a method that requires glasses for viewing stereoscopic images (hereinafter referred to as “glasses method”) and a method that allows the viewer to view stereoscopic images without the need for glasses (hereinafter referred to as “naked eyes”). System and description).
メガネ方式には、例えば、眼鏡に色フィルターを使用して左目と右目の画像を分離するアナグリフ方式、偏光フィルターを使用して左目と右目の画像を分離する偏光フィルター方式、シャッターを使って左目と右目の画像を分離する時分割方式がある。裸眼方式には、例えば、視差を有する複数枚の画像の各画素を1つの画像に離散的に配置した合成画像を構成する各画素からの光線の軌道をレンチキュラーレンズなどにより制御して、観察者に立体映像を知覚させるインテグラルイメージング方式、一枚の板にスリットを形成して映像の見え方を制限するパララックスバリア方式がある。 For example, an anaglyph method that separates the left eye and right eye images using a color filter on the glasses, a polarizing filter method that separates the left eye and right eye images using a polarizing filter, and a left eye using a shutter. There is a time division method for separating the right eye image. In the naked eye method, for example, an observer controls the trajectory of light rays from each pixel constituting a composite image in which each pixel of a plurality of images having parallax is discretely arranged in one image by a lenticular lens or the like. There is an integral imaging system that perceives stereoscopic images, and a parallax barrier system that limits the appearance of images by forming slits on a single plate.
立体映像処理装置では、立体映像を立体として認識できる領域(以下、視域と記載する)が決まっている。このため、視域外では、ユーザは、立体映像を立体として認識することができない。そこで、カメラを搭載し、このカメラで撮像した映像からユーザの位置を特定し、この特定したユーザの位置を上記視域と共に画面上に表示する立体映像処理装置が提案されている(例えば、特許文献1参照)。 In the stereoscopic video processing device, a region (hereinafter referred to as a viewing zone) where a stereoscopic video can be recognized as a stereoscopic is determined. For this reason, the user cannot recognize a stereoscopic image as a stereoscopic image outside the viewing zone. Therefore, there has been proposed a stereoscopic video processing apparatus that is equipped with a camera, identifies a user's position from video captured by the camera, and displays the identified user's position on the screen together with the viewing area (for example, a patent) Reference 1).
上述のように、立体映像処理装置では、立体映像を立体として認識できる領域(視域)が限定されてしまう。このため、ユーザが視域外にいる場合、ユーザは、立体映像を視聴することができない。
本実施形態は、ユーザが適切な位置で立体映像を視聴することができる立体映像処理装置及び立体映像処理方法を提供することを目的とする。
As described above, in the stereoscopic video processing device, a region (viewing area) where the stereoscopic video can be recognized as a stereoscopic image is limited. For this reason, when the user is outside the viewing area, the user cannot view the stereoscopic video.
An object of the present embodiment is to provide a stereoscopic video processing apparatus and a stereoscopic video processing method that allow a user to view a stereoscopic video at an appropriate position.
本発明の実施形態に係る立体映像処理装置は、立体映像を表示するディスプレイの前方を含む領域を撮像する撮像手段で撮像される映像からユーザを検出する検出手段と、撮像手段で撮像される映像と、立体映像を適切に視聴する領域を示すガイド表示とをディスプレイに表示するよう制御し、検出手段によるユーザの検出結果に応じて、領域のサイズを変更する表示手段と、を備える。
A stereoscopic video processing apparatus according to an embodiment of the present invention includes a detection unit that detects a user from video captured by an imaging unit that captures an area including the front of a display that displays stereoscopic video, and a video that is captured by the imaging unit. And display means for controlling the display of a region for appropriately viewing a stereoscopic video to be displayed on the display, and changing the size of the region in accordance with the detection result of the user by the detection unit.
以下、図面を参照して、本発明の実施形態を詳細に説明する。
(実施形態)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Embodiment)
図1は、実施形態に係る立体映像処理装置100の模式図である。初めに、図1を参照して、実施形態に係る立体映像処理装置100の概要について説明する。立体映像処理装置100は、例えば、デジタルテレビである。この立体映像処理装置100は、視差を有する複数枚の画像(多視点画像)の各画素を1つの画像(以下、合成画像と記載する)に離散的に配置し、この合成画像を構成する各画素からの光線の軌道をレンチキュラーレンズにより制御して、観察者に立体映像を知覚させるインテグラルイメージング方式によりユーザに立体映像を提示する。
FIG. 1 is a schematic diagram of a stereoscopic
立体映像では、既に述べたように、視域が限定される。ユーザが視域外にいる場合、いわゆる逆視やクロストーク等の発生により、ユーザは映像を立体として認識できない。そこで、この立体映像処理装置100では、ユーザがリモコン3の操作キー(キャリブレーションキー)3aを押下げすると、立体映像を立体として認識できる領域(視域)を示すガイド(枠)Yが立体映像処理装置100の前面に設けられたカメラモジュール119で撮像される映像に重畳して映像表示部113に表示されるよう構成されている。加えて、映像表示部113には、ユーザへの指示X「顔をガイド(枠)に合わせてください」が表示される。
As described above, the stereoscopic image has a limited viewing area. When the user is outside the viewing area, the user cannot recognize the image as a three-dimensional image due to so-called reverse viewing or crosstalk. Therefore, in this stereoscopic
ユーザは、上記指示Xに従い、映像表示部113に表示される自分の顔をガイドY内に合わせることで容易に適切な位置で立体映像を視聴することができる。なお、以下の説明では、立体映像を立体として認識できる領域(視域)を示すガイドYを立体映像処理装置100の前面に設けられたカメラモジュール119で撮像される映像に重畳した画像をキャリブレーション画像と記載する。
The user can easily view the stereoscopic video at an appropriate position by aligning his / her face displayed on the
(立体映像処理装置100の構成)
図2は、実施形態に係る立体映像処理装置100の構成図である。立体映像処理装置100は、チューナ101、チューナ102、チューナ103、PSK(Phase Shift Keying)復調器104、OFDM(Orthogonal Frequency Division Multiplexing)復調器105、アナログ復調器106、信号処理部107、グラフィック処理部108、OSD(On Screen Display)信号生成部109、音声処理部110、スピーカ111、映像処理部112、映像表示部113(ディスプレイ)、制御部114(コントローラ)、操作部115、受光部116(操作受付モジュール)、端子117、通信I/F(Inter Face)118、カメラモジュール119(撮像モジュール、検出モジュール、判定モジュール、位置算出モジュール)を備える。
(Configuration of stereoscopic image processing apparatus 100)
FIG. 2 is a configuration diagram of the stereoscopic
チューナ101は、制御部114からの制御信号により、BS/CSデジタル放送受信用のアンテナ1で受信した衛星デジタルテレビジョン放送から所望のチャンネルの放送信号を選局し、この選局した放送信号をPSK復調器104に出力する。PSK復調器104は、制御部114からの制御信号により、チューナ101から入力される放送信号を復調して信号処理部107へ出力する。
The
チューナ102は、制御部114からの制御信号により、地上波放送受信用のアンテナ2で受信した地上デジタルテレビジョン放送信号から所望のチャンネルのデジタル放送信号を選局し、この選局したデジタル放送信号をOFDM復調器105に出力する。OFDM復調器105は、制御部114からの制御信号により、チューナ102から入力されるデジタル放送信号を復調して信号処理部107へ出力する。
The
チューナ103は、制御部114からの制御信号により、地上波放送受信用のアンテナ2で受信した地上アナログテレビジョン放送信号から所望のチャンネルのアナログ放送信号を選局し、この選局したアナログ放送信号をアナログ復調器106に出力する。アナログ復調器106は、制御部114からの制御信号により、チューナ102から入力されるアナログ放送信号を復調して信号処理部107へ出力する。
The
信号処理部107は、PSK復調器104、OFDM復調器105及びアナログ復調器106から入力される復調後の放送信号から、映像信号及び音声信号を生成する。信号処理部107は、映像信号をグラフィック処理部108に出力し、音声信号を音声処理部110に出力する。
The
OSD信号生成部109は、制御部114からの制御信号に基づいてOSD信号を生成しグラフィック処理部108へ出力する。
The OSD
グラフィック処理部108は、後述する制御部114からの指示に基づいて、信号処理部107から出力される映像信号から複数枚の画像データ(多視点画像データ)を生成する。グラフィック処理部108は、生成した多視点画像の各画素を1つの画像に離散的に配置して合成画像に変換する。また、グラフィック処理部108は、OSD信号生成部109で生成されるOSD信号を映像処理部112へ出力する。
The
映像処理部112は、グラフィック処理部108で変換された合成画像を映像表示部113で表示可能なフォーマットに変換した後、映像表示部113に出力して立体映像表示させる。映像処理部112は、入力されるOSD信号を映像表示部113で表示可能なフォーマットに変換した後、映像表示部113に出力してOSD信号に対応する映像を表示させる。
The
映像表示部113は、各画素からの光線の軌道を制御するためのレンチキュラーレンズを備えたインテグラルイメージング方式の立体映像表示用ディスプレイである。
The
音声処理部110は、入力される音声信号をスピーカ111で再生可能なフォーマットに変換した後、スピーカ111に出力して音声再生させる。
The
操作部115には、立体映像処理装置100を操作するための複数の操作キー(例えば、カーソルキー、決定キー、BACK(戻る)キー、カラーキー(赤、緑、黄、青)等)が配列されている。ユーザが、上記操作キーを押下げすることで、押下げられた操作キーに対応する操作信号が制御部114へ出力される。
In the
受光部116は、リモートコントローラ3(以下、リモコン3と記載する)から送信される赤外線信号を受信する。リモコン3には、立体映像処理装置100を操作するための複数の操作キー(例えば、キャリブレーションキー、終了キー、カーソルキー、決定キー、BACK(戻る)キー、カラーキー(赤、緑、黄、青)等)が配列されている。
The
ユーザが、上記操作キーを押下げすることで、押下げられた操作キーに対応した赤外線信号が発光される。受光部116は、リモコン3が発光した赤外線信号を受信する。受光部116は、受信した赤外線信号に対応する操作信号を制御部114へ出力する。
When the user depresses the operation key, an infrared signal corresponding to the depressed operation key is emitted. The
ユーザは、上記操作部115もしくはリモコン3を操作して、立体映像処理装置100の種々の動作を行わせることができる、例えば、ユーザは、リモコン3のキャリブレーションキーを押下げすることで図1を参照して説明したキャリブレーション画像を113に表示することができる。
The user can operate the
端子117は、外部端末(例えば、USBメモリ、DVD記憶再生装置、インターネットサーバ、PC等)を接続するためのUSB端子、LAN端子、HDMI端子、iLINK端子などである。 The terminal 117 is a USB terminal, a LAN terminal, an HDMI terminal, an iLINK terminal, or the like for connecting an external terminal (for example, a USB memory, a DVD storage / playback device, an Internet server, a PC, etc.).
通信I/F118は、端子117に接続された上記外部端末との通信インターフェースであり、制御部114と上記外部端末との間で制御信号及びデータ等のフォーマットに変換を行う。
The communication I /
カメラモジュール119は、例えば、立体映像処理装置110の正面下側もしくは正面上側に設けられる。カメラモジュール119は、カメラ119aと、顔検出部119b(検出モジュール)と、不揮発性メモリ119cと、同一人物判定部119d、位置算出部119eとを備える。
The
カメラ119aは、立体映像処理装置100前方を含む領域を撮像する。カメラ119aは、例えば、CMOSイメージセンサやCCDイメージセンサである。
The
顔検出部119bは、カメラ119aで撮像される映像からユーザの顔を検出する。顔検出部119bは、撮像される映像を複数の領域に分割し、この分割したすべての領域に対して顔検出を行う。
The face detection unit 119b detects the user's face from the video imaged by the
顔検出部119bによる顔検出には既知の手法を用いることができる。例えば、顔認識のアルゴリズムには、見た目の特徴を直接幾何学的に比較する方法を用いることができる。顔検出部119bは、検出した顔の特徴点の情報を不揮発性メモリ119cに記憶する。
A known method can be used for face detection by the face detection unit 119b. For example, an algorithm for face recognition can use a method of directly comparing visual features geometrically. The face detection unit 119b stores information on the detected feature points of the face in the
不揮発性メモリ119cには、顔検出部119bで検出される顔の特徴点の情報が記憶される。
Information on facial feature points detected by the face detection unit 119b is stored in the
同一人物判定部119dは、顔検出部119bで検出した顔の特徴点が、既に不揮発性メモリ119cに記憶されているかどうかを判定する。同一人物判定部119dは、特徴点が既に不揮発性メモリ119cに記憶されている場合、同一人物が検出されたと判定する。また、同一人物判定部119dは、特徴点が不揮発性メモリ119cに記憶されていない場合、同一人物でないと判定する。該判定により、既に検出部119bにて検出済みのユーザに対して再度ガイドYを表示することを防止することができる。
The same
位置算出部119eは、同一人物判定部119dにおいて同一人物でないと判定された場合に、顔検出部119bで顔を検出したユーザの画像上での位置(α、β)及びカメラ119aとユーザとの距離γから実空間での位置座標(X、Y、Z)を算出する。この実空間での位置座標を算出には、既知の手法を用いることができる。なお、本実施形態では、カメラ110aで撮像される映像の左上隅を原点(0,0)とし、横方向にα軸、縦方向にβ軸を設定する。また、実空間での座標は、映像表示部113の表示面の中心を原点(0,0,0)とし、水平横方向にX軸、鉛直方向にY軸、映像表示部113の表示面の法線方向にZ軸を設定する。
The position calculation unit 119e determines the position (α, β) on the image of the user who detected the face by the face detection unit 119b and the
撮像した映像からは、ユーザの上下及び左右方向における位置(α、β)がわかる。また、顔の右目から左目の距離からは、カメラ119aからユーザまでの距離を算出できる。通常、人間の右目と左目との距離は65mm程度であることから、撮像映像での右目と左目との距離がわかればカメラ119aからユーザまでの距離γを算出することができる。
From the captured image, the position (α, β) of the user in the vertical and horizontal directions is known. The distance from the
上述の映像上のユーザの位置(α、β)及びカメラ119aからユーザまでの距離γがわかれば、ユーザの実空間での位置座標(X、Y、Z)を算出することができる。例えば、カメラ119aの1画素当たりの実空間の距離から実空間の距離を予め求めておき、映像上の原点からユーザの位置までの画素数に1画素当たりの実空間の距離を乗算することにより、ユーザの実空間での位置座標(X、Y、Z)を算出することができる。
If the position (α, β) of the user on the video and the distance γ from the
制御部114は、ROM(Read Only Memory)114a、RAM(Random Access Memory)114b、不揮発性メモリ114c、CPU114dを備える。ROM114aには、CPU114dが実行する制御プログラムが格納されている。RAM114bは、CPU114dは作業エリアとして機能する。不揮発性メモリ114cには、各種の設定情報や視域情報等が格納されている。視域情報は、実空間における視域の座標(X、Y、Z)データである。
The
図3は、不揮発性メモリ114cに記憶されている実空間における視域の座標(X、Y、Z)データの俯瞰図である。図3において、白色の矩形範囲201a〜201eが、立体画像を立体として認識できる領域、すなわち視域である(以下、矩形範囲201a〜201eを視域201a〜201eと記載する)。一方、斜線の領域202は、いわゆる逆視やクロストーク等の発生により、ユーザは映像を立体として認識できない領域、すなわち視域外となる。
FIG. 3 is an overhead view of the coordinate (X, Y, Z) data of the viewing zone in the real space stored in the nonvolatile memory 114c. In FIG. 3, white
図3の破線203は、カメラ119aの撮像範囲の境界を表している。つまり、カメラ119aで実際に撮像される範囲は、破線203よりも下側の範囲となる。このため、破線203よりも左上及び右上の範囲については、不揮発性メモリ114cへの記憶を省略してもよい。
A
制御部114は、立体映像処理装置100全体を制御する。具体的には、制御部114は、操作部115及び受光部116から入力される操作信号や不揮発性メモリ114cに記憶されている設定情報に基づいて立体映像処理装置100全体の動作を制御する。例えば、制御部114は、ユーザがリモコン3のキャリブレーションキー3aを押下げると、上述したキャリブレーション画像を映像表示部113に表示する。
The
(立体映像処理装置100の動作)
図4は、立体映像処理装置100の動作を示すフローチャートである。図5は、最適視聴位置の説明図である。図6は、映像表示部113に表示されるキャリブレーション画像である。以下、図4〜図6を参照して、立体映像処理装置100の動作を説明する。
(Operation of the stereoscopic image processing apparatus 100)
FIG. 4 is a flowchart showing the operation of the stereoscopic
ユーザがリモコン3のキャリブレーションキー3aを押下げると、押下げられたキャリブレーションキー3aに対応した赤外線信号が発光される(ステップS101)。受光部116は、リモコン3が発光した赤外線信号を受信する。受光部116は、受信した赤外線信号に対応する操作信号(キャリブレーション画像表示信号)を制御部114へ出力する。
When the user depresses the calibration key 3a of the
制御部114は、キャリブレーション画像表示信号を受信すると、カメラモジュール119へ撮像を開始するように指示する。カメラモジュール119は、制御部114からの指示に基づいてカメラ119aにて立体映像処理装置100前方を撮像する(ステップS102)。
When receiving the calibration image display signal, the
顔検出部119bは、カメラ119aで撮像される映像に対して顔検出を行う(ステップS103)。顔検出部119bは、撮像される映像を複数の領域に分け、各領域に対して顔検出を行う。顔検出部119bは、検出した顔の特徴点の情報を不揮発性メモリ119cに記憶する(ステップS104)。なお、顔検出部119bは、カメラ119aで撮像される映像に対して定期的(例えば、数秒から数十秒ごと)に顔検出を行う。
The face detection unit 119b performs face detection on the video imaged by the
同一人物判定部119dは、顔検出部119bで検出した顔の特徴点が、既に不揮発性メモリ119cに記憶されているかどうかを判定する(ステップS105)。特徴点が既に不揮発性メモリ119cに記憶されている場合(ステップS105のYes)、カメラモジュール119は、ステップS102の動作に戻る。
The same
特徴点が既に不揮発性メモリ119cに記憶されていない場合(ステップS105のNo)、位置算出部119cは、顔検出部119bで検出された顔の実空間での位置座標(X、Y、Z)を算出する(ステップS106)。位置算出部119cは、顔検出部119bで複数人の顔が検出されている場合、各顔の実空間での位置座標(X、Y、Z)を算出する。位置算出部119cは、算出した実空間での位置座標(X、Y、Z)を制御部114へ出力する。
When the feature point is not already stored in the
制御部114は、位置算出部119cから位置座標(X,Y、Z)が出力されると、不揮発性メモリ114cに記憶されている視域情報を参照し、該位置座標から最も近い視域を推測する(ステップS107)。
When the position coordinate (X, Y, Z) is output from the
上記動作を、図5を参照して説明する。図5に示す例では、カメラ119aで撮像される映像に二人のユーザが検出されたものとする。制御部114は、視域201a〜201eのうち、視域201b、201cが二人のユーザP1、P2の位置座標(X1、Y1、Z1)、(X2、Y2、Z2)に最も近いと推測する。
The above operation will be described with reference to FIG. In the example illustrated in FIG. 5, it is assumed that two users are detected in an image captured by the
制御部114は、各ユーザP1,P2のZ座標Z1、Z2の位置における視域の範囲を求める。次に、制御部114は、この求めたZ座標Z1、Z2の位置における視域の範囲からカメラ119aで撮像される映像上の範囲を算出する。この映像上の範囲を算出は、既知の手法を用いることができる。例えば、映像上のユーザの位置からユーザの実空間での位置座標を算出した時と逆の手順で算出すればよい。
The
制御部114は、算出した視域の範囲を示すガイドを、カメラ119aで撮像される映像に重畳したキャリブレーション画像を映像表示部113に表示にするための映像信号を生成するようにOSD信号生成部109へ指示する。OSD信号生成部109は、制御部114からの指示に基づいて、キャリブレーション画像の画像信号を生成する。生成されたキャリブレーション画像の画像信号は、グラフィック処理部108を介して映像処理部112へ出力される。
The
映像処理部112は、キャリブレーション画像の画像信号が映像表示部113で表示可能なフォーマットに変換し、映像表示部113に出力する。映像表示部113では、キャリブレーション画像が表示される(ステップS108)。
The
図6(a)は、映像表示部113に表示されるキャリブレーション画像である。図6(a)において、ガイドY1は、図5のユーザP1のためのガイドである。また、ガイドY2は、図5のユーザP2のためのガイドである。ユーザP1,P2は、映像表示部113に表示される指示Xに従い、それぞれガイドY1,Y2内に顔を合わせる。このガイドY1,Y2内に顔を合わせることにより、ユーザP1,P2は、適切な位置、つまり逆視やクロストーク等が発生しない視域内で立体映像を視聴することができる。なお、ガイドY1,Y2は、検出したユーザP1,P2の顔の高さと略同じ高さに表示される。視域は、縦方向(X座標方向)には、ほとんど変化がない。このため、検出したユーザP1,P2の顔の高さと略同じ高さに表示しても立体映像の視聴に問題はない。
FIG. 6A shows a calibration image displayed on the
なお、図6(a)に示すキャリブレーション画像では、ユーザP1,P2が、ガイドY1、Y2のうちどちらに顔を合わせればよいのかわかりにくい場合が考えられる。この場合、図6(b)に示すように、ユーザP1,P2が、ガイドY1、Y2のうちどちらに顔を合わせればよいのかわかるように矢印Z1,Z2を合わせて表示するようにしてもよい。また、ユーザが複数人検出された場合は、各ガイドY1、Y2の形状や色を変化させるようにしてもよい(例えば、ガイドY1を矩形、ガイドY2を長円)。ガイド(枠)Yは、実線で示してもよい。また、ガイドY1、Y2を枠で表示しているが、ユーザが認識できれば、枠に限定されず他の表示方法で提示してもよい。
In the calibration image shown in FIG. 6A, it may be difficult for the users P 1 and P 2 to find out which of the
図6に示すキャリブレーション画像が表示された後、制御部114は、ユーザによりリモコン3のキャリブレーションキー3a又は終了キーが押下げされたかどうかを判定する(ステップS109)。この判定は、リモコン3のキャリブレーションキー3a又は終了キーの押下げに対応する操作信号が制御部114で受信されたかどうかで判定することができる。
After the calibration image shown in FIG. 6 is displayed, the
キャリブレーションキー3a又は終了キーが押下げされた場合(ステップS109のYes)、制御部114は、OSD信号生成部109にキャリブレーション画像の表示の終了を指示し、動作が終了する。
When the calibration key 3a or the end key is pressed (Yes in step S109), the
以上のように、実施形態に係る立体映像処理装置100は、立体映像処理装置100の前方を含む領域を撮像するカメラ119aを備え、該カメラで撮像される映像からユーザを検出し、該検出したユーザの位置に最も近い視域を示すガイドをカメラ119aで撮像される映像に重畳したキャリブレーション画像を映像表示部113に表示する。
As described above, the stereoscopic
ユーザは、この映像表示部113に表示されるガイド内に自分の顔を合わせるだけで容易に適切な位置、つまり、つまり逆視やクロストーク等が発生しない視域内で立体映像を視聴することができる。また、リモコン3のキャリブレーションキー3aを押下げするだけで、上記キャリブレーション画像が映像表示部113に表示されるので、ユーザにとって使い勝手がよい。
The user can easily view a stereoscopic video in an appropriate position, that is, in a viewing zone where no reverse viewing or crosstalk occurs, by simply aligning his / her face with the guide displayed on the
さらに、ユーザの位置から最も近い視域を提示するので、ユーザは少ない移動量で立体映像の視聴に適切な位置へ移動することができるのでユーザの利便性が向上する。また、ユーザが複数人いる場合でも、各ユーザに対してガイドが表示される。加えて、ユーザがどのガイドに顔を合わせるのかがわかるように案内(矢印)を表示する場合、各ユーザがどのガイドに顔を合わせるのかが容易に理解できるので、ユーザの利便性がさらに向上する。 Furthermore, since the viewing zone that is closest to the user's position is presented, the user can move to a position that is appropriate for viewing a stereoscopic image with a small amount of movement, and the convenience for the user is improved. Even when there are a plurality of users, a guide is displayed for each user. In addition, when a guide (arrow) is displayed so that the user knows which guide the face should meet, the user's convenience can be further improved because each user can easily understand which guide the face should meet. .
また、同一人物判定部119dを備え、顔検出部119bで検出した顔の特徴点が、既に不揮発性メモリ119cに記憶されているかどうかを判定している。特徴点が既に不揮発性メモリ119cに記憶されている場合には、位置算出部119eで該ユーザの位置を算出しない。このため、既に検出済みのユーザに対して再度ガイドYを表示することを防止することができる。
Further, the same
(その他の実施形態)
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記実施形態では、立体映像処理装置100としてデジタルテレビを例に説明したが、立体映像をユーザに提示する機器(例えば、PC(Personal computer)、携帯電話、タブレットPC、ゲーム機器等)や立体映像を提示するディスプレイに映像信号を出力する信号処理装置(例えば、STB(Set Top Box))であれば本発明を適用することができる。
(Other embodiments)
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. For example, in the above embodiment, the digital television has been described as an example of the stereoscopic
また、カメラモジュール119が備える顔検出部119b、同一人物判定部119d及び位置算出部119eの機能を、制御部114に備えるようにしてもよい。この場合、制御部114において、カメラ119aで撮像される映像からユーザの顔を検出し、この検出したユーザが既に検出済みの人物かどうかを判定し、該ユーザの位置を算出することになる。
Further, the
1,2…アンテナ、3…リモートコントローラ(リモコン)、100…立体映像処理装置、101〜103…チューナ、104…PSK復調器、105…OFDM復調器、106…アナログ復調器、107…信号処理部、108…グラフィック処理部、109…OSD信号生成部、110…音声処理部、111…スピーカ、112…映像処理部、113…映像表示部(ディスプレイ)、114…制御部、115…操作部(操作受付部)、116…受光部(操作受付部)、117…端子、118…通信I/F、119…カメラモジュール(撮像モジュール、検出モジュール、判定モジュール、位置算出モジュール)。
DESCRIPTION OF
Claims (10)
前記撮像手段で撮像される映像と、前記立体映像を適切に視聴する領域を示すガイド表示とを前記ディスプレイに表示するよう制御し、前記検出手段によるユーザの検出結果に応じて、前記領域のサイズを変更する表示手段と、
を備える立体映像処理装置。 Detecting means for detecting a user from an image picked up by an image pickup means for picking up an area including the front of a display for displaying a stereoscopic image;
Control is performed to display on the display a video image captured by the imaging unit and a guide display indicating a region where the stereoscopic video is appropriately viewed, and the size of the region is determined according to a detection result of the user by the detection unit. Display means for changing
3D image processing apparatus.
前記検出手段で検出される前記ユーザの人数に対応する数の前記領域を示すガイド表示を前記ディスプレイに表示するよう制御する請求項1に記載の立体映像処理装置。 The display means includes
The stereoscopic image processing apparatus according to claim 1, wherein a guide display indicating the number of the areas corresponding to the number of users detected by the detection unit is controlled to be displayed on the display.
前記撮像手段で撮像される前記ユーザの顔の高さに対応させて、前記領域を示すガイド表示を前記ディスプレイに表示するよう制御する請求項1又は請求項2に記載の立体映像処理装置。 The display means includes
The stereoscopic image processing apparatus according to claim 1, wherein a guide display indicating the region is controlled to be displayed on the display in accordance with a height of the user's face imaged by the imaging unit.
前記検出手段で検出されるユーザが複数人いる場合、前記ユーザと前記領域を示すガイド表示とを個別に対応付けて前記ディスプレイに表示するよう制御する請求項2に記載の立体映像処理装置。 The display means includes
The stereoscopic video processing apparatus according to claim 2, wherein when there are a plurality of users detected by the detection unit, control is performed such that the user and a guide display indicating the region are individually associated with each other and displayed on the display.
前記検出手段で検出した前記ユーザから最も近い前記領域を示すガイド表示を前記ディスプレイに表示するよう制御する請求項1乃至請求項4のいずれか1項に記載の立体映像処理装置。 The display means includes
5. The stereoscopic image processing apparatus according to claim 1, wherein a guide display indicating the region closest to the user detected by the detection unit is controlled to be displayed on the display. 6.
前記表示手段は、
前記操作受付手段が前記指示操作を受け付けると、前記撮像手段で撮像される映像と、前記領域を示すガイド表示とを前記ディスプレイに表示するよう制御する請求項1乃至請求項5のいずれか1項に記載の立体映像処理装置。 An operation receiving means for receiving an instruction operation to display a guide display indicating the area;
The display means includes
6. The control according to claim 1, wherein when the operation accepting unit accepts the instruction operation, control is performed to display an image captured by the imaging unit and a guide display indicating the region on the display. 3. A stereoscopic image processing apparatus according to 1.
前記表示手段は、
前記判定手段にて、前記検出手段で検出されたユーザが、既に検出されたユーザであると判定された場合には、前記領域を示すガイド表示を新たに表示しないよう前記ディスプレイへの表示を制御する請求項1乃至請求項6のいずれか1項に記載の立体映像処理装置。 A determination means for determining whether the user detected by the detection means is a user already detected;
The display means includes
When the determination means determines that the user detected by the detection means is a user who has already been detected, the display on the display is controlled not to newly display the guide display indicating the area. The stereoscopic image processing apparatus according to claim 1, wherein
前記領域の境界を示す枠を前記ディスプレイに表示するよう制御する請求項1乃至請求項7のいずれか1項に記載の立体映像処理装置。 The display means includes
The stereoscopic video processing apparatus according to claim 1, wherein control is performed so that a frame indicating a boundary of the region is displayed on the display.
前記撮像される映像からユーザを検出し、該検出結果に応じて、前記領域のサイズを変更する立体映像処理方法。 Controlling to display on the display a video obtained by imaging an area including the front of the display for displaying the stereoscopic video, and a guide display indicating an area for appropriately viewing the stereoscopic video;
A stereoscopic video processing method for detecting a user from the captured video and changing the size of the area according to the detection result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247020A JP2013059094A (en) | 2012-11-09 | 2012-11-09 | Three-dimensional image processing apparatus and three-dimensional image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247020A JP2013059094A (en) | 2012-11-09 | 2012-11-09 | Three-dimensional image processing apparatus and three-dimensional image processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011186944A Division JP5143262B1 (en) | 2011-08-30 | 2011-08-30 | 3D image processing apparatus and 3D image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013059094A true JP2013059094A (en) | 2013-03-28 |
Family
ID=48134491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012247020A Pending JP2013059094A (en) | 2012-11-09 | 2012-11-09 | Three-dimensional image processing apparatus and three-dimensional image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013059094A (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271536A (en) * | 1997-03-24 | 1998-10-09 | Sanyo Electric Co Ltd | Stereoscopic video display device |
JP2002300610A (en) * | 2001-03-29 | 2002-10-11 | Sanyo Electric Co Ltd | Stereoscopic image display device |
JP2006197373A (en) * | 2005-01-14 | 2006-07-27 | Mitsubishi Electric Corp | Viewer information measuring instrument |
JP2009250987A (en) * | 2008-04-01 | 2009-10-29 | Casio Hitachi Mobile Communications Co Ltd | Image display apparatus and program |
JP2011049630A (en) * | 2009-08-25 | 2011-03-10 | Canon Inc | 3d image processing apparatus and control method thereof |
-
2012
- 2012-11-09 JP JP2012247020A patent/JP2013059094A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271536A (en) * | 1997-03-24 | 1998-10-09 | Sanyo Electric Co Ltd | Stereoscopic video display device |
JP2002300610A (en) * | 2001-03-29 | 2002-10-11 | Sanyo Electric Co Ltd | Stereoscopic image display device |
JP2006197373A (en) * | 2005-01-14 | 2006-07-27 | Mitsubishi Electric Corp | Viewer information measuring instrument |
JP2009250987A (en) * | 2008-04-01 | 2009-10-29 | Casio Hitachi Mobile Communications Co Ltd | Image display apparatus and program |
JP2011049630A (en) * | 2009-08-25 | 2011-03-10 | Canon Inc | 3d image processing apparatus and control method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9335552B2 (en) | Image display apparatus and method for operating the same | |
US9030467B2 (en) | Electronic apparatus and method for displaying graphical user interface as 3D image | |
JP5197816B2 (en) | Electronic device, control method of electronic device | |
KR20110116525A (en) | Image display device and operating method for the same | |
US20130050416A1 (en) | Video processing apparatus and video processing method | |
US20120002010A1 (en) | Image processing apparatus, image processing program, and image processing method | |
KR20150044732A (en) | Stereoscopic image display apparatus in glassless mode and method for operating the same | |
JP5156116B1 (en) | Video processing apparatus and video processing method | |
JP5132804B1 (en) | Video processing apparatus and video processing method | |
JP5095851B1 (en) | Video processing apparatus and video processing method | |
KR20130033815A (en) | Image display apparatus, and method for operating the same | |
KR101867815B1 (en) | Apparatus for displaying a 3-dimensional image and method for adjusting viewing distance of 3-dimensional image | |
EP2672716A2 (en) | Image display apparatus and method for operating the same | |
JP5156117B1 (en) | Video processing apparatus and video processing method | |
JP5143262B1 (en) | 3D image processing apparatus and 3D image processing method | |
JP2013059094A (en) | Three-dimensional image processing apparatus and three-dimensional image processing method | |
JP5127972B1 (en) | Electronic device, control method of electronic device | |
JP5568116B2 (en) | Video processing apparatus and video processing method | |
JP5603911B2 (en) | VIDEO PROCESSING DEVICE, VIDEO PROCESSING METHOD, AND REMOTE CONTROL DEVICE | |
KR101912635B1 (en) | Image display apparatus, and method for operating the same | |
JP2013009127A (en) | Image display unit and image display method | |
JP2013055694A (en) | Video processing apparatus and video processing method | |
JP2013081177A (en) | Electronic apparatus and control method for electronic apparatus | |
KR101880479B1 (en) | Image display apparatus, and method for operating the same | |
KR101878808B1 (en) | Image display apparatus and method for operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140319 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150602 |