JP2013030140A - 映像処理装置及び映像処理方法 - Google Patents

Abstract

【課題】複数のユーザが撮像されている場合の使い勝手が良い映像処理装置及び映像処理方法の提供。
【解決手段】上記の課題を解決するために、本実施形態の映像処理装置は、検出手段と、選択手段と、通知手段と、処理手段とを備える。検出手段は、撮像装置が撮像した撮像映像から、ユーザの手の画像を検出する。選択手段は、検出された１以上の手の画像のうち１の画像を選択する。通知手段は、選択された前記１の画像の識別情報を通知する。そして処理手段は、選択された前記１の画像の動きに応じた所定処理を実行する。
【選択図】 図２

Description

本発明の実施形態は、映像処理装置及び映像処理方法に関する。

ユーザのハンドジェスチャ等を撮像装置により撮像し、撮像された映像が示すジェスチャに応じた処理を実行する技術がある。

特開２０１０−２７７１７６号公報

このような装置においては、複数のユーザが撮像されている場合の使い勝手が良いことが好ましい。
そこで本発明の実施形態は、複数のユーザが撮像されている場合の使い勝手が良い映像処理装置及び映像処理方法の提供を目的とする。

上記の課題を解決するために、本実施形態の映像処理装置は、撮像装置が撮像した撮像映像から、ユーザの手の画像を検出する検出手段と、検出された１以上の手の画像のうち１の画像を選択する選択手段と、選択された前記１の画像の識別情報を通知する通知手段と、選択された前記１の画像の動きに応じた所定処理を実行する処理手段と備える。

実施形態の映像処理装置の利用形態例を示す図。 実施形態の映像処理装置のシステム構成例を示す図。 実施形態の映像処理装置が出力する映像データ例を示す図。 実施形態の映像処理装置が出力する映像データ例を示す図。 実施形態の映像処理装置による画像検出処理例を示す図。 実施形態の映像処理装置による操作者選択処理例を示す図。 実施形態の映像処理装置による操作者選択に係る処理フロー例を示す図。

以下、図面を参照して実施形態を説明する。
図１は本実施形態に係る映像処理装置の利用形態例を示す図である。本実施形態に係る映像処理装置は、例えばラップトップ型のコンピュータ１００として実現される。ここでコンピュータ１００は、例えば無線通信によりテレビ装置２００と接続され、当該テレビ装置２００に静止画像や動画像等の映像データを送信する。テレビ装置２００は表示部２０３や撮像部２０４等を備える。表示部２０３はコンピュータ１００から受信した映像データの映像を表示し、撮像部２０４は表示部２０３の表示画面に正対する方向（表示画面の前方）の画像を撮像する。そしてテレビ装置２００は撮像画像をコンピュータ１００に送信し、コンピュータ１００は、受信した撮像画像に含まれるユーザの画像に応じた処理を実行する。

なお本実施形態においては、テレビ装置２００が撮像を行い、コンピュータ１００が撮像映像中からの画像検出やジェスチャ操作に係る処理を実行するとして説明しているが、発明の実施形態はこれに限らない。即ち、テレビ装置２００が撮像と画像検出とジェスチャ操作の処理とを実行してもよい。

図２はコンピュータ１００及びテレビ装置２００のシステム構成例を示す図である。コンピュータ１００は、記憶部１０１、受信部１０２、映像処理部１０３、表示部１０４、通信部１０５、検出部１０６、ジェスチャ処理部１０７、ＧＵＩ生成部１０８等を備える。記憶部１０１は、静止画や動画像等の映像データ（コンテンツデータ）を記憶し、記憶した映像データをユーザからの操作入力等に応じて映像処理部１０３に出力する。受信部１０２は、例えばチューナや通信モジュール等であり、デジタルテレビ放送やＩＰテレビ放送等の映像データ（コンテンツデータ）を受信し、受信した映像データを映像処理部１０３に出力する。なお受信部１０２は、ユーザからの操作入力に応じたコンテンツの映像データを受信することが可能である。

映像処理部１０３は、記憶部１０１及び受信部１０２から入力された映像データをデコードする機能、デコードした映像データを表示部１０４が表示可能な形式の映像信号に変換する機能、ＧＵＩ生成部１０８が生成したＧＵＩと、通信部１０５から入力される撮像画像と、デコードした映像データ（コンテンツデータ）とを重畳させる機能、重畳により得られた映像データ（コンテンツデータを含む）を通信部１０５に出力する機能等を有する。

通信部１０５は、映像処理部１０３から入力された映像データを無線通信によりテレビ装置２００に送信する。また通信部１０５は、テレビ装置２００から撮像画像が入力されると、当該撮像画像を映像処理部１０３と検出部１０６に出力する。なお通信部１０５は、例えば接続要求信号をテレビ装置２００に送信し、当該要求信号に対する許可応答を受けることでテレビ装置２００との通信接続を確立し、映像データの送信を開始する。そして通信部１０５は、テレビ装置２００が撮像機能を有するか否かを問い合わせる機能開示要求信号や、撮像機能を有している場合に撮像機能を有効にする撮像要求信号や、撮像映像の送信を要求する映像要求信号を送信してもよい。なお通信部１０５は、これら機能開示要求信号や撮像要求信号、映像要求信号を接続要求信号とともに送信しても良いし、あるいは接続確立後に送信しても良い。

検出部１０６は、撮像画像が入力されると、当該撮像画像からユーザの手の画像を検出する。ここで検出部１０６は、予め記憶された例えば人間の手の照合用データ（形状の特徴量情報等）と、撮像画像中の画像とを比較して一致度を検出すること等により、手画像を検出する。そして検出部１０６は、検出した手の画像の、撮像画像における位置情報をジェスチャ処理部１０７とＧＵＩ生成部１０８とに出力する。なお検出部１０６は、ユーザの顔を検出した後、予め登録された各ユーザの顔画像の照合用データ（特徴量情報等）に基づいて、何れのユーザを検出したかを認識してもよい。なお、手画像やユーザの顔画像の照合用データは例えば記憶部１０１に記憶され、手画像の検出やユーザの顔検出・顔認識を行う場合に図示しないメモリにロードされ、検出・認識に用いられる。

ジェスチャ処理部１０７は、検出部１０６から入力された手画像の位置情報に基づいて、撮像画像に画像が含まれる１以上のユーザのうちジェスチャ操作を行う１のユーザ（操作者）を選択・決定する。そして、ジェスチャ処理部１０７は、操作者の手画像の位置情報をＧＵＩ生成部１０８に出力する。なお当該操作者の選択については図３以降にて後述する。

ＧＵＩ生成部１０８は、検出部１０６とジェスチャ処理部１０７とから入力された位置情報に基づいたＧＵＩを生成する。そしてＧＵＩ生成部１０８は、生成したＧＵＩを映像処理部１０３に出力する。なおＧＵＩについては図４を参照して後述する。

次にテレビ装置２００を説明する。
テレビ装置２００は、通信部２０１、映像処理部２０２、表示部２０３、撮像部２０４等を備える。
通信部２０１は、コンピュータ１００と無線通信の接続を確立し、コンピュータ１００からの映像データを受信する。また通信部２０１は、撮像部２０４から撮像映像が入力されると、当該撮像映像をコンピュータ１００に送信する。なお通信部２０１は、コンピュータ１００から機能開示要求信号を受けると、テレビ装置２００が利用可能な撮像モジュールの有無をコンピュータ１００に応答する。また通信部２０１は、撮像要求信号を受信すると、撮像部２０４の機能を有効にして撮像部２０４による撮像を開始させ、映像要求信号を受けると撮像部２０４が撮像した映像を取得してコンピュータ１００に送信する。

映像処理部２０２は、通信部２０１から入力された映像データを表示部２０３が表示可能な形式の映像信号に変換して表示部２０３に出力する。そして表示部２０３は入力された映像信号の映像を表示する。

撮像部２０４は、テレビ装置２００の筐体前方を撮像するカメラ装置等であり、撮像した映像を、例えば通信部２０１からの指示に応じて通信部２０１に出力する。また撮像部２０４は、撮像の実行／停止を通信部２０１からの指示に応じて切り替えてもよい。

なお図１の説明で述べたようにテレビ装置２００は、画像検出とジェスチャ操作の処理とを実行してもよい。即ちテレビ装置２００は、検出部１０６、ジェスチャ処理部１０７、ＧＵＩ生成部１０８に対応する機能のモジュールを有していても良い。この場合に検出部１０６に対応するモジュールには、撮像部２０４からの映像が入力され、ＧＵＩ生成部１０８に対応するモジュールは、生成したＧＵＩを映像処理部２０２に出力する。またテレビ装置２００は記憶部１０１及び受信部１０２に対応するモジュールを有していても良く、これらモジュールの映像データは映像処理部２０２に出力される。そして映像処理部２０２は、入力された映像データとＧＵＩと撮像画像とを重畳させた画像を生成して表示部２０３に出力し、当該重畳させた画像を表示部２０３に表示させる。

図３は、テレビ装置２００が表示する画面の画面構成例を示す。即ち、図３は映像処理部１０３が、撮像映像とＧＵＩとコンテンツデータとを重畳させて生成した映像データの画面構成例である。

図３（Ａ）は、ジェスチャ操作の検出対象となる操作者が決定されている状態（以降、操作者確定ステータスと呼ぶ）における画面例である。画面Ｐ１０には、コンテンツの映像Ｐ１１と、撮像画像Ｐ１２とが配置される。ここで撮像画像Ｐ１２には、ユーザＡの画像とユーザＢの画像とが含まれている。そして検出部１０６は、ユーザＡの手画像Ｐ１３を検出し、ユーザＢの手画像を検出していない。この場合にジェスチャ処理部１０７は、ユーザＡの手画像Ｐ１３をジェスチャ操作の検出対象として決定する。そしてＧＵＩ処理部１０８は、操作者の手画像Ｐ１３の位置情報に基づいて、当該手画像Ｐ１３に対応する位置に、操作者である旨を示す識別画像Ｐ１４（例えば赤色）を配置したＧＵＩを生成する。そしてジェスチャ処理部１０７は、ユーザＡの手画像Ｐ１３の動きに応じた処理をコンピュータ１００の各構成に指示する。なお手画像の動きに応じた処理とは、例えばコンテンツの再生、停止、早送り、巻き戻し、ズームイン、ズームアウト等であり、これら処理の夫々に動き（ジェスチャ）が対応付けられている。

図３（Ｂ）は、操作者の候補が複数存在し、操作者が決定していない状態（以降、衝突ステータスと呼ぶ）における画面例である。画面Ｐ２０には、コンテンツの映像Ｐ２１と、撮像画像Ｐ２２とが配置され、撮像画像Ｐ２２にはユーザＡの画像とユーザＢの画像とが含まれている。検出部１０６は、ユーザＡの手画像Ｐ２３とユーザＢの手画像Ｐ２５を検出している。ここでジェスチャ処理部１０７は、ユーザＡの手画像Ｐ２３とユーザＢの手画像Ｐ２５とのうち、ジェスチャ操作の検出対象を一定期間の間は決定しない。そしてＧＵＩ処理部１０８は、手画像Ｐ２３及びＰ２５の位置情報に基づいて、手画像Ｐ２３及びＰ２５に対応する位置に、操作者が未決定である旨を示す識別画像Ｐ２４及びＰ２６（例えば黄色）を配置したＧＵＩを生成する。なお、衝突ステータスになる状況としては、例えば何れのユーザの手画像も検出されなかった状態から、複数ユーザの手画像が検出される状態に一定時間以内に変化した場合等が挙げられる。

そしてジェスチャ処理部１０７は、一定期間が経過すると、複数ユーザの手画像のうち１のユーザの手画像を例えばランダムで選択・決定する。
図３（Ｃ）は、複数ユーザの手画像が検出されているが操作者確定ステータスである場合、つまり複数ユーザのうち１ユーザが操作者として決定している場合における画面例である。画面Ｐ３０には、コンテンツの映像Ｐ３１と、撮像画像Ｐ３２とが配置され、撮像画像Ｐ３２にはユーザＡの画像とユーザＢの画像とが含まれている。検出部１０６は、ユーザＡの手画像Ｐ３３とユーザＢの手画像Ｐ３５を検出している。ここでジェスチャ処理部１０７は、例えばユーザＢの手画像Ｐ３５をジェスチャ操作の検出対象として決定する。

そしてＧＵＩ処理部１０８は、検出部１０６から入力される手画像Ｐ３３の位置情報に基づいて、手画像Ｐ３３に対応する位置に、操作者ではない旨を示す識別画像Ｐ３４（例えば灰色）を配置したＧＵＩを生成する。またＧＵＩ生成部１０８は、ジェスチャ処理部１０７から入力される操作者の手画像Ｐ３５の位置情報に基づいて、当該手画像Ｐ３５に対応する位置に、識別画像Ｐ３６（例えば赤色）を配置したＧＵＩを生成する。

図４は、テレビ装置２００が表示する画面の他の例を示す図である。
図４（Ａ）は、衝突ステータスにおける画面例を示す図である。画面Ｐ４０では、コンテンツの映像Ｐ４１と、衝突ステータスである旨を示す文字画像Ｐ４２とが配置されている。また文字画像Ｐ４２は、手画像が検出されている複数ユーザ夫々の名前を示しても良い。即ち、コンピュータ１００は、予め複数ユーザの顔照合用データとユーザ名とを対応付けて記憶し、撮像映像中にユーザの顔画像が含まれる場合、当該顔画像に対応する顔照合用データを判別し、当該顔照合用データに対応付けられた名前を含むＧＵＩを生成してもよい。図４（Ｂ）は、操作者確定ステータスにおける画面例を示す図である。画面Ｐ５０では、コンテンツの映像Ｐ５１と文字画像Ｐ５２とが配置され、文字画像Ｐ５２は操作者確定ステータスであることを示している。

図４（Ｃ）は、操作者確定ステータスにおける画面例を示す図である。画面Ｐ６０では、コンテンツの映像Ｐ６１及び手画像Ｐ６２、Ｐ６３及びＰ６４が配置される。ここで手画像Ｐ６２、Ｐ６３及びＰ６４は、検出部１０６から入力される手の画像の位置情報に対応して映像Ｐ６１に重なる位置に例えば半透明の表示形態で配置されている。そしてジェスチャ操作の検出対象となる手画像Ｐ６２は、所定の表示形態（例えば赤色半透明）で表示される。

図５は、検出部１０６による手画像の位置検出例を示す図である。
検出部１０６は、図５（Ａ）に示すように、手画像Ｐ７０の例えば掌の部分の中心の位置を、当該手画像Ｐ７０の位置として検出する。そして検出部１０６は、複数の手画像が検出された場合、図５（Ｂ）に示すように、撮像画像Ｐ８０における複数の手画像の位置を検出する。

図６は、ジェスチャ処理部１０７による操作者の選択・決定処理例を示す図である。
図６（Ａ）は、撮像映像に、ユーザＡの顔画像、ユーザＢの顔画像及びユーザＡの手画像が含まれ、ユーザＢの手画像が含まれない場合の処理例を示す図である。ここで検出部１０６は、１の手画像を検出する。また検出部１０６は、撮像映像内の顔画像を検出し、照合用データとの照合により、夫々の顔画像に対応するユーザ名を判別する。そして検出部１０６は、検出した手画像の位置情報と、当該手画像が何れのユーザ名のユーザのものであるかを対応付けてジェスチャ処理部１０７に出力する。また検出部１０６は、ユーザＢの顔画像を検出し、当該ユーザＢの手画像を検出できない旨をジェスチャ処理部１０７に通知する。

ジェスチャ処理部１０７は、入力された情報に基づいて図６（Ａ）のテーブルを作成する。ここでジェスチャ処理部１０７は、１の手画像の位置情報しか入力されない場合、当該手画像の位置情報を格納するとともに、当該入力された手画像をジェスチャ操作の操作者として決定する。そしてステータスを操作者確定ステータスに変更する。またジェスチャ処理部１０７は、ユーザ名と手画像の位置情報とユーザ状態とを対応付けて格納する。

図６（Ｂ）は、撮像映像にユーザＡの顔画像及びユーザＢの顔画像が含まれ、手画像が含まれない場合の処理例を示す図である。この場合にジェスチャ処理部１０７は、手画像が検出されないため操作者なしのステータスに変更する。

図６（Ｃ）は、撮像映像に、ユーザＡの顔画像、ユーザＢの顔画像、ユーザＡの手画像およびユーザＢの手画像が含まれる場合の処理例を示す図である。なお当該撮像映像においてユーザＡの手画像およびユーザＢの手画像の両方が検出されている期間は所定の閾値以下であるとする。この場合にジェスチャ処理部１０７は、ステータスを衝突ステータスとし、夫々のユーザの位置情報を格納する。

図６（Ｄ）は、撮像映像に、ユーザＡの顔画像、ユーザＢの顔画像、ユーザＡの手画像およびユーザＢの手画像が含まれる場合の処理例を示す図である。ジェスチャ処理部１０７は、撮像映像においてユーザＡの手画像およびユーザＢの手画像の両方が検出されている期間が所定の閾値よりも長い期間になると、複数ユーザのうち１ユーザの手画像を操作者として選択する。そしてステータスを衝突ステータスから操作者確定ステータスに変更し、夫々のユーザの位置情報を格納（更新）する。

図７は、コンピュータ１００による操作者選択に係る処理フロー例を示す図である。
まずコンピュータ１００は、テレビ装置２００との接続を確立する（Ｓ７０１）。続いてコンピュータ１００は、撮像映像を受信し（Ｓ７０２）、当該撮像映像から手画像が検出されると（Ｓ７０３のＹｅｓ）、現在のステータスを確認する（Ｓ７０４）。ここでステータスが衝突ステータスの場合（Ｓ７０４の衝突）、コンピュータ１００は、図３（Ｂ）に示したように、手画像の夫々に例えば黄色の識別画像を配置した映像を出力し（Ｓ７０５）、コンピュータ１００はＳ７１２の処理を実行する。なおＳ７０５においてコンピュータ１００は、図４（Ａ）に示したような映像を出力しても良い。

Ｓ７０４において操作者なしステータスであった場合（Ｓ７０４の操作者なし）、ＧＵＩ生成部１０８は、Ｓ７０３で新たに検出された手画像の位置に、図３（Ｃ）の識別画像Ｐ３４のような灰色識別画像を配置した映像を出力し（Ｓ７０６）、コンピュータ１００はＳ７１２の処理を実行する。一方、Ｓ７０４において操作者確定ステータスであった場合（Ｓ７０４の操作者確定）、コンピュータ１００は図６に示したテーブルに格納された操作者の手画像の位置情報を参照し、Ｓ７０３で検出された手画像の位置が、格納されている位置情報が示す位置の近傍であるか否か判別する（Ｓ７０７）。

ここで、Ｓ７０３で検出された手画像の位置が、操作者の位置情報が示す位置の近傍にある場合（Ｓ７０７のＹｅｓ）、ジェスチャ処理部１０７は検出された手画像の位置情報を操作者の位置情報として格納（更新）し、ステータスを操作者確定ステータスとする（Ｓ７０８）。そしてコンピュータ１００は図３（Ａ）や（Ｃ）に示したような、操作者の手画像に例えば赤色識別画像を付加した映像を出力する（Ｓ７０９）。

そしてコンピュータ１００は、操作者として決定された手画像の動き（ジェスチャ）を検出し（Ｓ７１０）、検出したジェスチャに応じた処理を実行する（Ｓ７１１）。

一方Ｓ７０７において、Ｓ７０３で検出された手画像が、操作者の位置情報として格納されている位置と離れている場合（Ｓ７０７のＮｏ）、コンピュータ１００は手画像を複数検出したか否かを判別する（Ｓ７１２）。複数検出で無い場合（Ｓ７１２のＮｏ）、コンピュータ１００はＳ７０８の処理を実行する。一方、複数の手画像を検出した場合（Ｓ７１２のＹｅｓ）、コンピュータ１００は衝突ステータスとなってから経過した時間が所定の閾値以上か否かを判別する（Ｓ７１３）。なおステータスが衝突ステータスで無い場合には衝突継続時間は０とする。衝突継続時間が閾値より小さい場合（Ｓ７１３のＮｏ）、コンピュータ１００は衝突継続時間のカウントを開始する（Ｓ７１４）。なお、既にカウント中である場合にはカウントを積算する。またコンピュータ１００は、新規にカウントを開始する場合、ステータスを衝突ステータスに変更する。

一方、Ｓ７１３において衝突継続時間が閾値以上である場合（Ｓ７１３のＹｅｓ）、コンピュータ１００は、複数の手画像のうち１を操作者として選択し（Ｓ７１５）、衝突継続時間をリセットし（Ｓ７１６）、Ｓ７０８の処理を実行する。なおＳ７０８においては、Ｓ７１５で選択された手画像の位置情報を、操作者の位置情報として格納する。

なお、本フローにおいては、識別画像を識別情報として出力することにより、検出された手画像が操作者として選択されているか否かをユーザに識別させているが、ユーザに識別させる方法としてはこれに限るものではなく、例えば音声により識別させても良い。即ちコンピュータ１００は、撮像映像から複数の手画像を検出し、そのうちの１の手画像を操作者として選択している場合、テレビ装置２００に「左のユーザの右手を操作者として選択しています」等のアナウンス音声を出力させても良い。

つまりコンピュータ１００は、少なくとも、何れの手画像が操作者として選択しているかを示す識別情報をユーザに対して通知できれば良い。またコンピュータ１００は、衝突ステータスになっている場合にも、当該ステータスであることをユーザが識別できる識別情報を映像や音声等により通知すればよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００…コンピュータ、１０１…記憶部、１０２…受信部、１０３…映像処理部、１０４…表示部、１０５…通信部、１０６…検出部、１０７…ジェスチャ処理部、１０８…ＧＵＩ生成部、２００…テレビ装置、２０１…通信部、２０２…映像処理部、２０３…表示部、２０４…撮像部

Claims (9)

1. 撮像装置が撮像した撮像映像から、ユーザの手の画像を検出する検出手段と、
   検出された１以上の手の画像のうち１の画像を選択する選択手段と、
   選択された前記１の画像の識別情報を通知する通知手段と、
   選択された前記１の画像の動きに応じた所定処理を実行する処理手段と
   を備えた映像処理装置。
2. 前記通知手段は、前記検出手段が複数の手の画像を検出した場合であって、前記選択手段が前記１の画像を選択していない場合、検出された前記複数の手の画像夫々の識別情報を通知する、請求項１記載の映像処理装置。
3. 前記通知手段は、表示装置に前記識別情報を表示させる、請求項２記載の映像処理装置。
4. 前記通知手段は、前記撮像装置により撮像された撮像映像と、前記撮像映像に含まれる前記１の画像を示す前記識別情報とを表示装置に表示させる、請求項２記載の映像処理装置。
5. 前記表示装置を更に備える、請求項３又は４記載の映像処理装置。
6. 前記撮像装置を更に備える、請求項１記載の映像処理装置。
7. 前記撮像装置を備える外部表示装置との通信接続を確立し、コンテンツの映像を出力する映像出力手段と、
   前記通信接続を確立する場合に、前記撮像装置の機能を有効にする要求を外部表示装置に出力する要求出力手段と
   を更に備える、請求項１記載の映像処理装置。
8. 前記要求出力手段は、前記外部表示装置に、前記撮像装置の撮像映像の送信要求を送信し、
   前記検出手段は、前記送信要求に応じて前記外部表示装置から送信される映像からユーザの手の画像を検出する、請求項５記載の映像処理装置。
9. 映像処理装置における映像処理方法であって、
   撮像装置が撮像した撮像映像から、ユーザの手の画像を検出することと、
   検出された１以上の手の画像のうち１の画像を選択することと、
   選択された前記１の画像の識別情報を通知することと、
   選択された前記１の画像の動きに応じた所定処理を実行することと
   を備えた映像処理方法。

Images