JP2013051617A - オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 - Google Patents

オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 Download PDF

Info

Publication number
JP2013051617A
JP2013051617A JP2011189493A JP2011189493A JP2013051617A JP 2013051617 A JP2013051617 A JP 2013051617A JP 2011189493 A JP2011189493 A JP 2011189493A JP 2011189493 A JP2011189493 A JP 2011189493A JP 2013051617 A JP2013051617 A JP 2013051617A
Authority
JP
Japan
Prior art keywords
area
object search
search area
centroid
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011189493A
Other languages
English (en)
Other versions
JP5174223B2 (ja
Inventor
Kaoru Matsuoka
岡 薫 松
Miki Yamada
田 貢 己 山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011189493A priority Critical patent/JP5174223B2/ja
Priority to CN201210133177XA priority patent/CN102968630A/zh
Priority to US13/533,877 priority patent/US20130050200A1/en
Publication of JP2013051617A publication Critical patent/JP2013051617A/ja
Application granted granted Critical
Publication of JP5174223B2 publication Critical patent/JP5174223B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering

Abstract


【課題】簡易な手法で高速かつ精度よくオブジェクトを探索できるようにする。
【解決手段】一実施形態に係るオブジェクト探索装置は、画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるようにオブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、オブジェクトの座標位置を検出する座標検出手段と、を備える。
【選択図】図1

Description

本発明の実施形態は、画面フレーム内のオブジェクトを探索するオブジェクト探索装置、映像表示装置およびオブジェクト探索方法に関する。
画面フレーム内に存在する人間の顔を検出する技術が提案されている。画面フレームは、1秒間に数十回切り替わるため、各フレームごとに画面フレーム全域から人間の顔を検出しようとすると、かなりの高速処理を強いられることになる。
そこで、画面フレームからオブジェクトが存在する可能性の高い色域を制限して、制限した色域内でオブジェクトを探索する手法が提案されている。
ところが、この手法では、色域を制限する段階で除外されるオブジェクトもあるため、オブジェクトの探索精度を向上させるのは困難である。
最近、立体映像を表示可能な三次元TVが急速に普及してきたが、映像ソースとしては、既存TVとの互換性や価格の問題もあって三次元映像データはまだまだ少ない。そこで、三次元TVでは、既存の二次元映像データを擬似的に三次元映像データに変換する処理を行うことが多い。この場合、二次元映像データの各画面フレームから特徴的なオブジェクトを探索して、奥行き情報(以下、デプス情報)を付加する必要があるが、上述したように、オブジェクトの探索処理に時間を要するため、各画面フレームごとにデプス情報を生成する時間的な余裕がない場合もありうる。
特開2001−21653号公報
本発明は、簡易な手法で高速かつ精度よくオブジェクトを探索可能なオブジェクト探索装置、映像表示装置およびオブジェクト探索方法を提供するものである。
本実施形態では、画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、
前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、
前記オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出する座標検出手段と、を備えるオブジェクト探索装置が提供される。
オブジェクト探索装置1を備えた映像表示装置2の概略構成の一例を示すブロック図。 デプス情報生成部7と三次元データ生成部8の一例を示す詳細なブロック図。 図1のオブジェクト探索装置1の処理動作を模式化した図。 オブジェクト探索部3の処理動作の一例を示すフローチャート。 直列接続された複数の識別器の一例を示す図。 オブジェクト位置補正部4の処理動作の一例を示すフローチャート。 オブジェクト探索領域を広げる場合の一例を示すフローチャート。 オブジェクト探索領域を狭める場合の一例を示すフローチャート。
以下、図面を参照しながら、本発明の一実施形態を説明する。
図1は本実施形態に係るオブジェクト探索装置1を備えた映像表示装置2の概略構成を示すブロック図である。まず、オブジェクト探索装置1の内部構成を説明する。
図1のオブジェクト探索装置1は、オブジェクト探索部3と、オブジェクト位置補正部4と、オブジェクト領域補正部5と、座標検出部6と、デプス情報生成部7と、三次元データ生成部8とを備えている。
オブジェクト探索部3は、1つの画面フレーム分のフレーム映像データに含まれるオブジェクトを探索する。オブジェクト探索部3は、探索したオブジェクトを含む所定サイズの画素領域をオブジェクト探索領域として設定する。オブジェクト探索部3は、画面フレームに複数のオブジェクトが含まれる場合は、すべてのオブジェクトを探索し、各オブジェクトごとに、オブジェクト探索領域を設定する。
オブジェクト位置補正部4は、オブジェクト探索領域内の中心位置にオブジェクトが位置するように、オブジェクト探索領域の位置を補正する。
オブジェクト領域補正部5は、オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるようにオブジェクト探索領域の面積をサイズ調整する。すなわち、オブジェクト領域補正部5は、オブジェクトの大きさに合わせて、オブジェクト探索領域のサイズを最適化する。
座標検出部6は、オブジェクト領域補正部5で補正したオブジェクト探索領域に基づいて、オブジェクトの座標位置を検出する。
デプス情報生成部7は、座標検出部6で検出されたオブジェクトに対応するデプス情報を生成する。そして、三次元データ生成部8は、座標検出部6で検出されたオブジェクトと、そのデプス情報とに基づいて、オブジェクトの三次元映像データを生成する。三次元映像データは、右目用視差データと左目用視差データを含んでおり、場合によっては、多視差データを含んでいてもよい。
上述したデプス情報生成部7と三次元データ生成部8は、必ずしも必須ではない。三次元映像データを記録または再生する必要がない場合は、デプス情報生成部7と三次元データ生成部8を設けなくてもよい。
図2はデプス情報生成部7と三次元データ生成部8の詳細なブロック図である。図2に示すように、デプス情報生成部7は、デプステンプレート記憶部11と、デプスマップ生成部12と、デプスマップ補正部13とを有する。三次元データ生成部8は、ディスパリティ変換部14と視差画像生成部15とを有する。
デプステンプレート記憶部11は、オブジェクトの種類ごとに、各オブジェクトの各画素のデプス値(奥行き値)を記述したデプステンプレートを記憶する。
デプスマップ生成部12は、座標特定部7で検出されたオブジェクトに応じたデプステンプレートをデプステンプレート記憶部11から読み出して、画像処理部22から供給されるフレーム映像データの各画素にデプス値を対応づけたデプスマップを生成する。
デプスマップ補正部13は、デプスマップ上の各画素をその周辺画素にて重み付け平滑化して、各画素のデプス値を補正する。
三次元データ生成部8内のディスパリティ変換部14は、デプスマップにおける各画素のデプス値から各画素の視差ベクトルを求めて、各画素の視差ベクトルが記述されたディスパリティマップを生成する。視差画像生成部15は、入力画像とディスパリティマップから視差画像を生成する。
図1の映像表示装置2は、例えば三次元TVであり、図1のオブジェクト探索装置1の他には、受信処理部21と、画像処理部22と、三次元表示装置23とを備えている。
受信処理部21は、不図示のアンテナで受信した放送受信信号をベースバンド信号に復調した後に、復号処理を行う。画像処理部22は、受信処理部21を通過した信号に対してノイズ処理等を施して、図1のオブジェクト探索装置1に供給するためのフレーム映像データを生成する。
三次元表示装置23は、マトリクス状に配列された画素を有する表示パネル24と、この表示パネル24に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御素子25とを有する。表示パネル24としては、例えば液晶パネルや、プラズマディスプレイ、EL(ElectroLuminescent)パネル等を用いることができる。光線制御素子25は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子25の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
なお、三次元表示装置23は、複数の射出瞳を有する光線制御素子25を備えたもの以外に、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する三次元表示装置23でもよい。すなわち、後述する立体画像表示用の画像が表示可能な表示装置であれば、具体的な三次元表示装置23の構成は問わない。
また、本実施形態に係るオブジェクト探索装置1は、必ずしもTVに内蔵されるものではない。例えば、受信処理部21で受信した放送受信信号に含まれるフレーム映像データを三次元映像データに変換して、HDD(ハードディスクドライブ)や光ディスク(例えばブルーレイディスク)等に記録する記録装置に適用してもよい。
図3は図1のオブジェクト探索装置1の処理動作を模式化した図である。まず、オブジェクト探索部3は、図3(a)に示すように、画面フレーム内のオブジェクト31を探索し、探索されたオブジェクト31を含むようにオブジェクト探索領域32を設定する。次に、オブジェクト位置補正部4は、図3(b)に示すように、オブジェクト探索領域32の位置をずらして、オブジェクト探索領域32の中央にオブジェクト31を配置する。次に、オブジェクト領域補正部5は、図3(c)に示すように、オブジェクト探索領域32のサイズ調整を行って、オブジェクト探索領域32内のオブジェクト31以外の背景領域を最小化する。例えば、オブジェクト領域補正部5は、オブジェクト探索領域32の境界線がオブジェクト31の輪郭線に接するようにする。
座標検出部6は、オブジェクト領域補正部5でサイズ調整したオブジェクト探索領域32に基づいて、オブジェクト31の座標位置を検出する。
図4はオブジェクト探索部3の処理動作の一例を示すフローチャートである。まず、画像処理装置から1画面フレーム分のフレーム映像データが供給されると(ステップS1)、この画面フレーム内を探索してオブジェクトを検出する(ステップS2)。ここでは、人間の顔を探索対象のオブジェクトとしている。
人間の顔を探索する場合、例えばHaar-like特徴を用いた物体検出方法を利用する。この物体検出方法は、図5に示すように複数の識別器30を直列接続したものであり、個々の識別器30は事前に統計学習を行って人間の顔か否かを識別する機能を持っている。個々の識別器30は、所定の画素領域からなる探索範囲を単位としてHaar-like特徴を用いた物体検出を行う。前段の識別器30による物体検出結果は後段の識別器30に入力されるため、後段の識別器30ほど、より精度よく人間の顔を探索できる。したがって、識別器30の接続段数を増やすほど、識別力が向上するが、処理に時間がかかり、また識別器30の実装面積も増大してしまう。したがって、許容可能な実装規模と識別精度との兼ね合いで、識別器30の接続段数を定めるのが望ましい。
次に、図5の識別器30の出力に基づいて、人間の顔か否かを判定する(ステップS3)。
上述したステップS3において、座標位置(X,Y)で顔と判定されたとすると、その周辺領域(X−x,Y−y)−(X+x,Y+y)で顔周辺の簡易探索処理を行う(ステップS4)。ここでは、図5の複数の識別器30のうち最終段の識別器30の出力に基づいて顔の探索処理を行うのではなく、最終段よりも前段側の識別器30の出力に基づいて人間の顔か否かを判定する。これにより、最終段の識別器30が識別結果を出力するまで待機しなくて済み、高速処理が可能となる。
なお、座標位置(X,Y)で人間の顔と判定された場合は、(X,Y)−(X+a,Y+b)の範囲(a,bは固定値)にオブジェクト探索領域32が設定される。
ステップS4で詳細探索ではなく簡易探索を行う理由は、後に行われるオブジェクト位置補正部4とオブジェクト領域補正部5で詳細探索を行うことから、処理の高速化のために、オブジェクト探索部3では簡易探索を行うようにしたものである。
画面フレーム内に複数の人間の顔が存在する場合は、すべての顔について簡易探索を行って座標位置を検出する。そして、探索された複数の顔座標群から、重複する顔が存在するか否の類似度を検出する顔座標合成処理を行う(ステップS5)。
ここでは、重複する顔のそれぞれについて、図5の直列接続された複数の識別器30のうち、最終段でない途中段の識別器30の出力を比較して、出力が最大となる顔座標を、重複する顔座標群の代表座標として選択する。そして、この代表座標群を顔の検出座標として出力する(ステップS6)。これにより、重複する顔を一つにまとめる。
図6はオブジェクト位置補正部4の処理動作の一例を示すフローチャートである。まず、オブジェクト探索部3が図4の処理で検出した顔座標(X,Y)を含むオブジェクト探索領域(X,Y)−(X+a,Y+b)内の色情報を入力する(ステップS11)。次に、顔を含むオブジェクト探索領域内の色情報を表すV値の平均値Vmを計算する(ステップS12)。ここで、V値は色空間(カラースペース)を表す3要素YUVの一つであり、Y値は輝度、U値は輝度と青の差、V値は輝度と赤の差である。ステップS12でV値を採用する理由は、赤色と輝度は、人間の顔を識別するための重要な色情報であるためである。
上述したステップS12では、オブジェクト探索領域(X,Y)−(X+a,Y+b)の中心付近の領域(X+a/2−c,Y+b/2−d)―P(X+a/2+c,Y+b/2+d)内の色情報V値の平均値Vmを算出する。ここでc、dは平均値を計算するオブジェクト探索領域の中心付近領域の範囲を決める値で、c=0.1×a、d=0.1×bで与えられる。なお、0.1という数字は一例に過ぎない。
そして、オブジェクト探索領域内の各画素のV値と平均値Vmとの差分を計算し、各画素の差分値を重みとして、オブジェクト探索領域の重心(MeanShift量)を計算する(重心計算手段、ステップS13)。
ここで、X方向の重心SxとY方向の重心Syはそれぞれ、以下の(1)式と(2)式で表される。
次に、計算された重心位置がオブジェクト探索領域の中心位置と重なるように、オブジェクト探索領域の位置をずらす(オブジェクト領域移動手段、ステップS14)。そして、ずらした後のオブジェクト探索領域の座標位置を出力する(ステップS15)。
例えば、元のオブジェクト探索領域の座標位置が(X,Y)−(X+a,Y+b)であったとすると、ステップS15では、(X+Sx,Y+Sy)−(X+a+Sx,Y+b+Sy)の座標位置にずらされる。
このように、図6のオブジェクト位置補正部4では、検出された人間の顔を含むオブジェクト探索領域内の色情報に関する重心位置とオブジェクト探索領域の座標上の中心位置とが一致するように、オブジェクト探索領域の座標位置をずらす。すなわち、オブジェクト位置補正部4では、オブジェクト探索領域のサイズは変えずに、座標位置だけシフトさせる。
図7および図8はオブジェクト領域補正部5の処理動作の一例を示すフローチャートである。オブジェクト領域補正部5のフローチャートは二つに分けられる。図7はオブジェクト探索部3が設定したオブジェクト探索領域を広げる場合のフローチャートであり、図8はオブジェクト探索部3が設定したオブジェクト探索領域を狭める場合のフローチャートである。
まず、図7の処理を説明する。オブジェクト位置補正部4で座標位置を補正した後のオブジェクト探索領域を入力して、補正後のオブジェクト探索領域内のV値の平均値Vmを計算する(ステップS21)。
次に、オブジェクト探索領域のサイズを上下左右に拡張できるか否かを検出する(追加領域設定手段、追加領域重心計算手段、ステップS22)。以下、このステップS22の処理を詳細に説明する。
オブジェクト位置補正部4で座標位置を補正した後のオブジェクト探索領域の座標位置が、(X,Y)−(X+a,Y+b)で表されるものとする。まず、十分に小さな値kを用いて、オブジェクト探索領域の左側(X方向の負側)に小領域(X−k,Y)−(X,Y+b)を生成し(ステップS22)、この小領域のV値の平均値V’mを算出する(ステップS23)。
V’m<Vm×1.05かつV’m>Vm×0.95を満たすか否かを判定し(ステップS24)、V’m<Vm×1.05かつV’m>Vm×0.95であれば、オブジェクト探索領域を小領域分拡張した新たなオブジェクト探索領域(X−k,Y)−(X+a,Y+b)を生成する(ステップS25)。すなわち、小領域のV’m値が元のオブジェクト探索領域内のV’m値から5%以内しかずれていなければ、小領域にも人間の顔の情報が含まれていると判断して、オブジェクト探索領域に小領域を追加することにする。
上述した処理を、オブジェクト探索領域の左側(X方向の負側)、右側(X方向の正側)、上側(Y方向の正側)、および下側(Y方向の負側)について順次行い、オブジェクト探索領域の左側、右側、上側および下側に小領域を生成できるか否かを判定する。このとき、それぞれの方向の小領域内のV’m値がオブジェクト探索領域のV’m値から5%以内しかずれていなければ、その方向の小領域をオブジェクト探索領域に追加することにする。
これにより、オブジェクト探索領域を適正なサイズまで拡張することができる。そして、拡張後のオブジェクト探索領域の座標位置を検出する(オブジェクト領域更新手段、ステップS25)。
一方、図8は、図7とは逆に、オブジェクト探索領域内の上下左右端から内側の小領域を削除できるか否かを検出する。オブジェクト位置補正部4で座標位置を補正した後のオブジェクト探索領域が入力されると(ステップS31)、オブジェクト探索領域内の上下左右端から内側の小領域を削除して(ステップS32)、削除した小領域内のV値の平均値Vmを計算する(ステップS33)。ここでは、オブジェクト探索領域の左端から内側の小領域(X,Y)−(X−k,Y)を生成し、この小領域のV値の平均値V’mを算出する(ステップS33)。
次に、V’m<Vm×1.05かつV’m>Vm×0.95を満たすか否かを判定する(ステップS34)。すなわち、このステップS34では、オブジェクト探索領域のサイズを上下左右端から内側に小領域分だけ削減できるか否かを検出する(削除領域設定手段、周縁領域重心計算手段)。
V’m<Vm×1.05かつV’m>Vm×0.95でなければ、オブジェクト探索領域を小領域分削除した新たなオブジェクト探索領域(X+k,Y)−(X+a,Y+b)を生成する(オブジェクト領域更新手段、ステップS35)。すなわち、小領域のV’m値が元のオブジェクト探索領域内のV’m値から5%以上ずれている場合には、小領域には人間の顔の情報は含まれていないと判断して、オブジェクト探索領域から小領域分を削除して、オブジェクト探索領域を狭める。
上述した処理を、オブジェクト探索領域の左側(X方向の負側)、右側(X方向の正側)、上側(Y方向の正側)、および下側(Y方向の負側)について順次行い、オブジェクト探索領域の左端、右端、上端および下端から内側に小領域分を削除できるか否かを判定する。このとき、それぞれの方向の小領域内のV’m値がオブジェクト探索領域のV’m値から5%以上ずれていれば、その方向の小領域分をオブジェクト探索領域から削除することにする。
上述した実施形態では、オブジェクトとして人間の顔を検出する例を説明したが、本実施形態は、人間の顔以外の種々の物体(例えば、乗り物など)をオブジェクトとして探索する場合にも適用可能である。オブジェクトの種類により、主体的な色情報や輝度情報が異なるため、オブジェクトの種類によっては、上述したV値に基づいてオブジェクト探索領域の重心位置や小領域の平均値を計算する代わりに、U値やY値を用いて重心位置を計算してもよい。
このように、本実施形態では、オブジェクトを探索する際はまず簡易な探索を行ってオブジェクトの周囲にオブジェクト探索領域を設定し、その後、オブジェクト探索領域の中心にオブジェクトが配置されるようにオブジェクト探索領域の位置補正を行い、最後にオブジェクト探索領域のサイズ調整を行うため、オブジェクトのサイズに見合ったオブジェクト探索領域を設定できる。
したがって、その後の処理で、オブジェクトの動き検出を行う際も、最適化されたサイズのオブジェクト探索領域を基準として動き検出を行えばよいため、動き検出を行う範囲を最小限に留めることができ、処理の高速化が図れる。
また、二次元映像データからオブジェクト探索を行って、探索されたオブジェクトのデプス情報を生成して三次元映像データを生成する場合も、最適化されたサイズのオブジェクト探索領域を基準としてデプス情報を生成すればよいため、デプス情報を生成する範囲を最小限に留めることができ、デプス情報を生成する処理を軽減することができる。
上述した実施形態で説明したオブジェクト探索装置1および映像表示装置2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、オブジェクト探索装置1および映像表示装置2の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、オブジェクト探索装置1および映像表示装置2の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 オブジェクト探索装置
2 映像表示装置
3 オブジェクト探索部
4 オブジェクト位置補正部
5 オブジェクト領域補正部
6 座標検出部
7 デプス情報生成部
8 三次元データ生成部
11 デプステンプレート記憶部
12 デプスマップ生成部
13 デプスマップ補正部
14 ディスパリティ変換部
15 視差画像生成部
21 受信処理部
22 画像処理部
23 三次元表示装置
24 表示パネル
25 光線制御素子

Claims (9)

  1. 画面フレームに含まれるオブジェクトを探索するオブジェクト探索手段と、
    前記オブジェクト探索手段で探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するオブジェクト位置補正手段と、
    前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するオブジェクト領域補正手段と、
    前記オブジェクト領域補正手段で補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出する座標検出手段と、を備えるオブジェクト探索装置。
  2. 前記オブジェクト位置補正手段は、
    前記オブジェクト探索領域の重心位置を計算する重心計算手段と、
    前記オブジェクト探索領域の中心が前記重心計算手段で計算した重心位置に一致するように前記オブジェクト探索領域を移動させるオブジェクト領域移動手段と、を有する請求項1に記載のオブジェクト探索装置。
  3. 前記重心計算手段は、前記オブジェクト探索領域の色情報についての重心位置を計算する請求項2に記載のオブジェクト探索装置。
  4. 前記オブジェクト探索手段は、Haar-like特徴を用いて人間の顔をオブジェクトとして探索する請求項1乃至3のいずれかに記載のオブジェクト探索装置。
  5. 前記オブジェクト領域補正手段は、
    前記オブジェクト探索領域の周囲に所定の面積の追加領域を付加した新たなオブジェクト探索領域を設定する追加領域設定手段と、
    前記追加領域内の重心位置を計算する追加領域重心計算手段と、
    前記追加領域重心計算手段で計算された重心位置と前記重心計算手段で計算された重心位置との差分の絶対値が所定値以下であれば、前記新たなオブジェクト探索領域を採用するオブジェクト領域更新手段と、を有する請求項1乃至4のいずれかに記載のオブジェクト探索装置。
  6. 前記オブジェクト領域補正手段は、
    前記オブジェクト探索領域の周縁部から所定の面積の周縁領域を削除した新たなオブジェクト探索領域を設定する削除領域設定手段と、
    前記周縁領域内の重心位置を計算する周縁領域重心計算手段と、
    前記周縁領域重心計算手段で計算された重心位置と前記重心計算手段で計算された重心位置との差分の絶対値が所定値以下であれば、前記新たなオブジェクト探索領域を採用するオブジェクト領域更新手段と、を有する請求項1乃至4のいずれかに記載のオブジェクト探索装置。
  7. 前記座標検出手段で座標位置を検出したオブジェクトのデプス情報を生成するデプス情報生成手段と、
    前記デプス情報生成手段で生成されたデプス情報に基づいて、対応するオブジェクトを三次元表示するための視差データを生成する三次元データ生成手段と、を備える請求項1乃至6のいずれかに記載のオブジェクト探索装置。
  8. 放送波を受信して復号処理および所定の画像処理を行ってフレーム映像データを生成する受信処理手段と、
    前記視差データを表示する表示装置と、を備え、
    前記オブジェクト探索手段は、前記フレーム映像データを複数に分割して得られる前記分割フレーム映像データに含まれるオブジェクトを探索する請求項7に記載のオブジェクト探索装置を備えた映像表示装置。
  9. 画面フレームに含まれるオブジェクトを探索するステップと、
    前記探索されたオブジェクトを含むオブジェクト探索領域内の中心位置にオブジェクトが位置するように、前記オブジェクト探索領域の位置を補正するステップと、
    前記オブジェクト探索領域内のオブジェクト以外の背景領域が最小になるように前記オブジェクト探索領域の面積をサイズ調整するステップと、
    位置を補正したオブジェクト探索領域に基づいて、前記オブジェクトの座標位置を検出するステップと、を備えるオブジェクト探索方法。
JP2011189493A 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 Expired - Fee Related JP5174223B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011189493A JP5174223B2 (ja) 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
CN201210133177XA CN102968630A (zh) 2011-08-31 2012-04-28 对象搜寻装置、视频显示装置和对象搜寻方法
US13/533,877 US20130050200A1 (en) 2011-08-31 2012-06-26 Object search device, video display device and object search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189493A JP5174223B2 (ja) 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法

Publications (2)

Publication Number Publication Date
JP2013051617A true JP2013051617A (ja) 2013-03-14
JP5174223B2 JP5174223B2 (ja) 2013-04-03

Family

ID=47742991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189493A Expired - Fee Related JP5174223B2 (ja) 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法

Country Status (3)

Country Link
US (1) US20130050200A1 (ja)
JP (1) JP5174223B2 (ja)
CN (1) CN102968630A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp 3d表示機能を備える携帯機器、及び3d変換プログラム
JP2007188126A (ja) * 2006-01-11 2007-07-26 Fujifilm Corp 画像明るさ算出装置および方法並びにプログラム
JP2009237669A (ja) * 2008-03-26 2009-10-15 Ayonix Inc 顔認識装置
JP2010066943A (ja) * 2008-09-10 2010-03-25 Dainippon Printing Co Ltd 画像処理方法および装置
JP2010176589A (ja) * 2009-01-30 2010-08-12 Secom Co Ltd 取引監視装置
JP2011080742A (ja) * 2010-07-27 2011-04-21 Panasonic Corp 空気調和機
JP2011141424A (ja) * 2010-01-07 2011-07-21 Sharp Corp 画像処理装置およびそのプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
CN101383001B (zh) * 2008-10-17 2010-06-02 中山大学 一种快速准确的正面人脸判别方法
CN101790048B (zh) * 2010-02-10 2013-03-20 深圳先进技术研究院 智能摄像系统及方法
US8509526B2 (en) * 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
JP5744437B2 (ja) * 2010-08-18 2015-07-08 キヤノン株式会社 追尾装置、追尾方法及びプログラム
US9715742B2 (en) * 2010-10-07 2017-07-25 Lg Electronics Inc. Method for producing advertisement content using a display device and display device for same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp 3d表示機能を備える携帯機器、及び3d変換プログラム
JP2007188126A (ja) * 2006-01-11 2007-07-26 Fujifilm Corp 画像明るさ算出装置および方法並びにプログラム
JP2009237669A (ja) * 2008-03-26 2009-10-15 Ayonix Inc 顔認識装置
JP2010066943A (ja) * 2008-09-10 2010-03-25 Dainippon Printing Co Ltd 画像処理方法および装置
JP2010176589A (ja) * 2009-01-30 2010-08-12 Secom Co Ltd 取引監視装置
JP2011141424A (ja) * 2010-01-07 2011-07-21 Sharp Corp 画像処理装置およびそのプログラム
JP2011080742A (ja) * 2010-07-27 2011-04-21 Panasonic Corp 空気調和機

Also Published As

Publication number Publication date
US20130050200A1 (en) 2013-02-28
JP5174223B2 (ja) 2013-04-03
CN102968630A (zh) 2013-03-13

Similar Documents

Publication Publication Date Title
US20100033479A1 (en) Apparatus, method, and computer program product for displaying stereoscopic images
JP4966431B2 (ja) 画像処理装置
US20130050446A1 (en) Object search device, video display device, and object search method
US8606043B2 (en) Method and apparatus for generating 3D image data
US20140198101A1 (en) 3d-animation effect generation method and system
US20140043335A1 (en) Image processing device, image processing method, and program
JP6173218B2 (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
US20130293533A1 (en) Image processing apparatus and image processing method
US20120019625A1 (en) Parallax image generation apparatus and method
JP2011223493A (ja) 画像処理装置および画像処理方法
JP2015070618A (ja) ユーザの目の位置に基づくレイヤードディスプレイ方式のための映像生成装置及びディスプレイ装置
US10152803B2 (en) Multiple view image display apparatus and disparity estimation method thereof
JP5174223B2 (ja) オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JP5765418B2 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
JP5323222B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20130106845A1 (en) Stereoscopic image display apparatus
US11785203B2 (en) Information processing apparatus, information processing method, and program
US20120154388A1 (en) Stereo image processing method, stereo image processing device and display device
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
EP2711894A2 (en) Image processing device, image processing method and image processing program
JP2012165232A (ja) 色補正装置、色補正方法及び色補正プログラム
JP2017058657A (ja) 情報処理装置、制御方法、コンピュータプログラム及び記憶媒体
JP5395884B2 (ja) 映像処理装置、映像処理方法および映像表示装置
KR20130025216A (ko) 입체영상 디스플레이장치 및 그 구동 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees