本発明に関する実施の形態の一例を、以下で図面を参照しながら説明する。
図1は本実施形態におけるDTV1の一例を示す概念図である。
DTV1は例えばデジタルテレビ(Digital Television)であって本実施形態における電子機器の一例である。本実施形態では電子機器の一例としてDTV1を示すが、これに限定されるものではなく、例えばDVD(Digital Versatile Disc)プレーヤ、HDD(Hard Disk Drive)プレーヤ、STB(Set Top Box)、又はPC(Personal Computer)等の様々なものが電子機器の例として考えられる。
DTV1は、例えば放送波等から受信した放送信号をデコードし、これを映像や音声として、表示部120やスピーカ110から出力することができる。
DTV1は撮像部30を有しており、撮像部30は撮影手段としてDTV1正面の像を撮影することができる。つまり、DTV1に正対したユーザの顔を撮影することができる。
次にDTV1の内部構造に関して詳細に説明を行う。
図2は本実施形態におけるDTV1の内部構造の一例を示すブロック図である。
DTV1は、装置各部の動作を制御する制御部156を備えている。制御部156は、CPU(Central Processing Unit)等を内蔵している。制御部156は、操作部116から入力される操作信号や、リモートコントローラ117から送信され受光部118を介して受信される操作信号に応じて、ROM(Read Only Memory)157に予め記憶されたシステム制御プログラム及び各種処理プログラムを起動させる。制御部156は、起動したプログラムに従って、RAM(Random Access Memory)158をワークメモリとして装置各部の動作を制御する。また、制御部156は各種機能を実行するための処理部を有している。この処理部については図3を用いて後述にて説明を行う。
入力端子144は、BS/CSデジタル放送受信用のアンテナ143が受信した衛星デジタルテレビジョン放送信号を衛星デジタル放送用のチューナ145に供給する。チューナ145は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をPSK(Phase Shift Keying)復調器146に送信する。PSK復調器146は、TS(Transport Stream)の復調を行い、復調したTSをTS復号器147aに供給し、TS復号器147aは、TSをデジタル映像信信号、デジタル音声信号、およびデータ信号を含むデジタル信号に復号した後、信号処理部100にこれを出力する。ここでのデジタル映像信号とはDTV1が出力可能な映像に関するデジタル信号であり、音声信号はDTV1が出力可能な音声に関するデジタル信号である。またデータ信号とは、例えばDTV1が電子番組表であるEPG(Electronic Program Guide)を生成するときに使用する情報である番組関連情報等を含む、放送波の放送番組に関する情報に関するデジタル信号である。
入力端子149は、地上波デジタル放送受信用のアンテナ148が受信した地上波デジタルテレビジョン放送信号を地上波デジタル放送用のチューナ150に供給する。チューナ150は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をそれぞれのOFDM(Orthogonal Frequency Division Multiplexing)復調器151に送信する。OFDM復調器151は、TSの復調を行い、復調したTSをそれぞれのTS復号器147bに供給し、TS復号器147bは、TSをデジタル映像信号及び音声信号等に復号した後、信号処理部100にこれを出力する。また、DTV1は、一例として、アンテナ148が接続される入力端子149にCATV(Common Antenna Television)用のチューナを接続することによってCATVも視聴することができる。
信号処理部100は、TS復号器147a、147b、または制御部156から出力されたデジタル信号に、適切な信号処理を施す。より具体的には、信号処理部100はデジタル信号を映像信号、デジタル音声信号、およびデータ信号に分離する。分離された映像信号はグラフィック処理部152に、音声信号は音声処理部153に出力される。また信号処理部100は、ライン入力端子137からの入力信号にも所定のデジタル信号処理を施す。
OSD(On Screen Display)信号生成部154は、制御部156の制御に従って、UI(ユーザ・インタフェース)画面などを表示するためのOSD信号を生成する。また信号処理部100においてデジタル放送信号から分離されたデータ信号は、OSD信号生成部154により適切なフォーマットのOSD信号に変換され、グラフィック処理部152に出力される。
グラフィック処理部152は、信号処理部100から出力されるデジタルの映像信号のデコード処理を行う。デコードされた映像信号は、OSD信号生成部154から出力されたOSD信号と重ね合わせて合成され、映像処理部155に出力される。グラフィック処理部152は、デコードされた映像信号またはOSD信号を、映像処理部155に選択的に出力することもできる。
映像処理部155は、グラフィック処理部152から出力された信号に対して画質の補正を行った上で、表示部処理部155で表示可能なフォーマットの映像信号に変換する。映像処理部155で変換された映像信号は、表示部120に表示される。映像処理部155における画質の補正については、図3以降の説明にて詳細に述べる。
表示部120はLCD(Liquid Crystal Display)によって構成されており、液晶によって映像を表示する。バックライト121は表示部120を後方より照射する。
音声処理部153は、入力された音声信号を、スピーカ110で再生可能なフォーマットの音声信号に変換する。変換された音声信号は、スピーカ110に出力されて再生される。
LAN端子131は、LANI/F164を介して制御部156に接続されている。LAN端子131は、イーサネット(登録商標)を用いた一般的なLAN対応ポートとして使用される。本実施形態においてLAN端子131にはLANケーブルが接続されており、インターネット3と通信可能となっている。
カメラセンサモジュール160は表示部120の下側に設けられており、カメラ160正面の像を撮像することができる。カメラセンサモジュール160は撮像した映像の中からユーザの顔を検出することができ、更に、検出したユーザの顔の情報を登録されたユーザの顔の情報と照合することで、検出されたユーザが登録されたユーザであるか否かを判別することができる。DTV1は、カメラセンサモジュール160によって撮像された映像にユーザの顔が存在する(検出された)場合、つまり一般的にはユーザがDTV1を視聴している場合には、これに基づいて各種処理を実行することができる。また、ユーザの顔が登録されたユーザと一致するような場合には、ユーザ個別の機能又は設定を実行することができる。カメラセンサモジュール160は、撮像した映像よりユーザの顔が検出できた場合には、制御部156に検出できた旨を示す情報を通知し、登録ユーザの顔を認識できた場合には、このユーザを示す認識情報を制御部156に通知する機能を有している。ここでの顔検出の方法としては、例えばユーザの顔や、肩の輪郭に基づいて顔を検出するとしても良いし、これとは異なる方法で認識しても良い。また、ここでの顔認識の技術の方法としては、例えばユーザの目、鼻、口等の形状を認識し、これに基づいてユーザを認識(認識)しても良いし、これとは異なる特徴量に基づいて認識するとしても良い。
USB(Universal Serial Bus)端子133は、USB I/F166を介して制御部156に接続されている。USB端子133は、一般的なUSB対応ポートとして使用される。USB端子133には、例えばハブを介して、携帯電話、デジタルカメラ、各種メモリカードに対するカードリーダ/ライタ、HDD、キーボード等が接続される。制御部156は、USB端子133を介して接続される機器との間で、情報の通信(送受信)を行うことができる。
HDD170はDTV1に内蔵される磁気記憶媒体であってDTV1が有する各種情報を記憶する機能を有している。
本実施形態におけるDTV1は、撮像部で撮像した映像に基づいて、ユーザの顔を検出/認識し、これに基づいて各種処理を実行する機能を有している。以下では、この機能について詳細に説明を行う。
図3は本実施形態における、DTV1の顔検出/認識機能に関する構成の一例を示すブロック図で有る。
カメラセンサモジュール160及び制御部156が顔検出/認識機能に関する構成を有してしており、ここではまず、カメラセンサモジュール160内の機能構成について説明する。
撮像部30は、例えばカメラ等の撮像手段であり、表示部120正面の像を撮像する機能を有している。撮像部30は撮像した映像を映像調整部33に入力する。
検出/認識部34は映像調整部33から出力された映像の中から、ユーザの顔を検出/認識する機能を有する。ここでの検出/認識方法としては上述のように映像中から各種特徴量を抽出することで顔の検出/認識を行う。検出/認識部34は自身の持つレジスタの中に顔の特徴量の情報を有しており、この特徴量と照合することで、入力された映像の中に顔が存在するか(顔検出)、及び検出された顔は登録されたユーザの顔と対応(一致)するか否かの判別(顔認識)を行う。検出/認識部34は、入力された映像中より顔が検出された場合には、この旨及び映像中の顔の存在する位置の情報を制御部156の顔関連機能実行部37及び調整用画面作成部35に通知し、検出された顔と登録された顔の特徴量とが対応(一致)する場合には、このユーザを示す認識子を顔関連機能実行部37に通知する。
映像処理部33は、撮像部30から入力する映像に対して所定の映像処理を実行する機能を有している。撮像部30より入力された撮像映像は一般的に撮像部30のカメラレンズ等の特性の影響を受けた映像となっており、この映像を各種機能に利用するにはカメラレンズ等の特性の影響を低減させることが好適である。本実施形態においては、撮像部30で撮像した映像に対して、輝度ゲインを調整するガンマ補正という補正処理を実行する。つまり、映像処理部33は撮像部30から入力される映像について、輝度調整を行い、調整後の映像を検出/認識部34に出力する。映像処理部33が撮像部30より入力された映像に対して実行する所定の映像処理については図4を用いて後述にて詳細に説明する。
検出/認識処理について、検出/認識部34ではDTV1周囲の撮像環境又は検出/認識対象であるユーザの個性等により対象の検出/認識が困難である場合が存在する。例えば、対象であるユーザが照明の暗い環境にいるような場合には、撮像した映像の中から対象を検出/認識することが困難となる可能性があり、このような環境でユーザが色黒であるような場合には、より一層顔の検出/認識が困難となる。ユーザの顔の検出/認識ができない場合には、この顔の検出/認識に基づいた各種機能が使えず、ユーザに十分なサービスを提供することができない。このように、DTV1周囲の撮像環境又は検出/認識対象であるユーザの個性等により対象の検出/認識が困難である場合には、映像処理部33は撮像部30より入力される映像に対して所定の映像処理を実行し、映像中のユーザを顔の検出/認識し易くした上で検出/認識部34に対して映像を出力する。この処理によって検出/認識部34は映像中の顔の検出/認識率を向上させることができる。
調整用画面作成部35は、検出/認識部34が顔の検出/認識を実行する対象の映像の映像処理量を調整について、ユーザからの操作指示を受け付けるための画面を作成し、ユーザに対して提供する機能を有している。調整用画面作成部35は、映像処理部33及び検出/認識部34から入力した信号に基づいて調整用画面を作成する。この調整用画面の例は図5で示し、詳細な説明については、後に図5の説明として後述にて行う。
指示部36は、例えばリモートコントローラ117を介して入力されるユーザからの指示に基づいて、映像処理部33に映像処理量の調整を指示する機能を有している。
顔関連機能実行部37は、撮像部30によって撮像された映像からユーザの顔を検出/認識できた場合、この検出/認識結果に基づいて各種機能を実行する機能を有している。
ここでの、顔の検出結果に基づいた各種機能とは、DTV1の自動電源ON/OFF機能、表示部120のバックライトの輝度調整機能等が例として挙げられる。自動電源ON/OFF機能としては、DTV1がユーザの顔を検出しなくなると自動的に電源をOFFし、検出すると自動的にONする機能を指し、バックライト輝度調整機能とは、ユーザの顔を検出しなくなると自動的にバックライトの輝度を下げ、省エネを図る機能を指す。
また、顔の認識結果に基づいた各種機能とは、パーソナル画質・音質設定機能、パレンタルロック機能、ユーザお好みのEPG提供機能、お気に入りチャンネル機能、録画コンテンツの個別管理機能等の機能が挙げられる。パーソナル画質・音声設定機能とは登録されたユーザ個人の好みの画質・音質を設定しておき、認識されたユーザと対応する画質・音質で映像・音声を出力する機能を指し、パレンタルロック機能とはユーザの個人登録に基づいて、所定番組の視聴をロックする機能を指す。また、ユーザお好みEPG提供機能としては、例えば登録されたユーザによってカスタマイズされたEPGを表示する機能を指し、また、お気に入りチャンネル機能とは、登録されたユーザのお気に入りのチャンネルをユーザに推薦する機能を指し、録画コンテンツ個別管理機能とは、登録されたユーザごとに録画コンテンツを管理する機能を指す。
次に、映像処理部33が実行する映像処理について図4を用いて詳細に説明を行う。
図4は本実施形態における映像処理部33が顔検出/認識処理対象の映像に対する映像処理を説明するための図である。
上述のように撮像部30で撮像された映像は一般的にカメラレンズ等の特性の影響を受けており、映像処理部33は通常はこの特性の影響を低減するべく、ガンマ補正処理を実行する。
カメラレンズ等の特性の影響を受けると、撮像部30で撮像された映像(出力される映像の輝度)は実際の像(カメラレンズに入力される映像の輝度)と比較して、図4(A)直線40に示されるような理想的な輝度値ではなく、曲線41に示されるような理想的な輝度値からずれが生じたものとなってしまう。
この補正では、図4(B)の曲線42に示されるようなカメラレンズの特性の逆関数となるようなガンマ補正テーブルを、撮像された映像の輝度値に乗ずる。これにより、図4(C)直線43に示すように、映像は理想的な輝度値に近いものとなる。
ここで、本実施形態における映像処理部33は、特性を低減させるためのガンマ補正テーブルのみでなく、より多くのガンマ補正テーブルを有する。これらのガンマ補正テーブルは図4(D)に示されている。
図4(D)は映像にガンマ補正を行う場合に用いられるガンマ補正テーブルを示す図である。図4(D)に示される複数の曲線42、曲線44乃至曲線48はそれぞれ、複数のガンマ補正テーブルを示している。曲線44乃至曲線48はカメラレンズ等の特性を低減させるために行うガンマ補正に用いられるテーブルではなく、検出/認識部32が映像の中の顔を検出/認識しやすくするための輝度処理に用いられるガンマ補正テーブルである。
つまり、照明が暗い等によって映像が暗いと、映像が一部黒つぶれしてしまうという場合がある。そこで、映像の輝度を上昇させるべく撮像部30の特性に対応したガンマ補正テーブルとは異なるガンマ補正テーブルが用意されている。曲線44乃至曲線48の中では、曲線44が最も入力された映像信号と出力される輝度信号の輝度との差が最も小さくなる(輝度の上昇が小さい)ガンマ補正テーブルとなり、曲線48が最も輝度差が大きくなる(輝度の上昇が大きい)ガンマ補正テーブルとなる。
本実施形態においては、顔検出/認識用のガンマ補正テーブルとして、5段階のガンマ補正処理を行うべく、曲線44乃至曲線48のガンマ補正テーブルが用意されている。映像処理部33は、これらのガンマ補正テーブルを用いて入力される映像に対して映像信号の輝度を上昇させる(映像を明るくする)映像処理を実行し、これを検出/認識部34に対して出力する。また、本実施形態における曲線44乃至曲線48に入力される輝度値が小さいほど、この輝度に乗ずる補正値が高く設定されている。つまり、映像中の暗い箇所程、より大きく輝度が変化し、画素が明るくなる。
本実施形態においては、図4で示すように映像の輝度が上昇するように輝度調整処理(ガンマ補正処理)を実行する。これにより映像が明るくなるため、上述のように撮像した映像が暗い場合等であっても、映像の中での黒つぶれする箇所が減り、ユーザの輪郭、目、鼻、口等を検出/認識部34は検出/認識し易くなる。
この輝度調整(ガンマ補正)処理は、DTV1によって自動的に行われるとしても、ユーザによって指示されて行われるとしてもどちらでも良い。更に、これらが組み合わされるとしても良い。本実施形態では、ユーザが自動調整とユーザ入力による調整を切り換えることができ、更にユーザはガンマ補正の度合いを選択することができる。この選択の際には、ユーザにガンマ補正の調整用の画面である調整用画面が提供される。次にこの調整用画面について説明を行う。
図5は本実施形態における調整用画面の一例を示す概念図である。
調整用画面51は、ユーザがガンマ補正の自動/手動設定の切り替えや、手動の場合のガンマ補正の度合いの切り替えを行うためにユーザに提供される画面であって、調整用画面作成部35によって作成され、表示部120に表示される画面である。また、ユーザは現在自分の顔が検出されているのか否かを、この調整用画面51によって知ることができる。
調整用画面51は、一部に対象映像表示52を有している。この対象映像表示52は顔の検出/認識対象の映像の表示であり、この映像は映像処理部33から入力される映像をそのまま貼り付けたものである。つまり、検出/認識対象の映像にガンマ補正が施される場合には、ガンマ補正処理後の映像が表示されることとなる。これによって、現在撮像部30に撮像されている像を認識することができ、ユーザは自分が撮像部30に撮像されていることを確認することができる。例えば、ユーザがDTV1の前に存在するにも関わらず、顔検出/認識による機能が開始されないような場合には、一般的にユーザは顔検出/認識による機能が開始されない理由を判断することは難しい。これは、ユーザにとって顔検出/認識機能についてどこに問題点があるのかわからないためである。つまり、ユーザは撮像部30の故障なのか、顔が検出/認識されていないのかを知ることができない。しかし、本実施形態におけるDTV1では、ユーザは調整用画面51の表示指示を行うことが可能であり、この中に対象映像表示52が含まれているため、ユーザは自分が正しく撮像されているか否かを知ることができる。
また、調整用画面51では顔検出通知表示53を表示することができる。顔検出通知表示53は、検出/認識部32が映像からユーザの顔が検出していない間は暗い色で表示されており、検出すると明るい色で表示される。また、本実施形態においては顔検出通知表示53は「Face detected」と顔の検出の旨を示す表示である。
更に、調整用画面51では顔検出通知アイコン54が表示される。この顔検出通知アイコン54も、ユーザに対して顔を検出した旨を示す機能を有しており、本実施形態においてはユーザの顔を検出すると検出通知アイコン54の表情が変化することで、ユーザに検出した旨を通知する。この表情の変化としては、検出しない間は顔検出通知アイコン54が無表情であり、顔を検出すると笑顔になる等の例が挙げられる。また、表情が変化する以外でも、色が変わる、透明度が変化する等の変化によって通知するとしても良い。更に、この顔検出の通知については顔検出通知表示53、顔検出通知アイコン54をもって行われないとしても良い。例えば、顔を検出できた場合には、調整用画面作成部35が検出/認識部32から入力されるユーザの顔の映像上での位置情報に基づいてユーザの顔にカーソルを表示するとしても良い。
調整用画面51では、ユーザがガンマ補正について指示を行うための調整表示55が表示されている。調整表示55はユーザに、ガンマ補正をDTV1に自動で行わせるか、ユーザ指示の基で行わせるかの選択を促すことができる。ユーザはリモートコントローラ117等によって調整表示55にフォーカスを合わせ、リモートコントローラ117の横ボタンを押すことで、自動/手動調整の切り替え及びガンマ補正量の調整を行うことができる。フォーカスがあわせられ、横ボタンが押されるたびに、調整表示55は「AUTO」、「1」、「2」、「3」、「4」、「5」という表示をトグルで切り換えて表示する。この切り換えは横ボタンで行われなくてもよく、例えばリモコンに所定のボタンを割り当て、このボタンを押下すると、トグルで切り替わるとしてもよい。
ここでユーザが「AUTO」を選択すると、ユーザにガンマ補正の度合いを指示させず、DTV1が自動的にガンマ補正を行う。このとき、映像処理部33がガンマ補正テーブルを自動的に切り換えて、検出/認識部32が顔の検出/認識処理を実行する。
「AUTO」以外の選択肢はユーザが手動でガンマ補正の度合いの変更を行うためのものであり、番号の昇順でガンマ補正の処理の度合いが大きくなる。すなわち、「1」が選択されている場合には、映像処理部33はガンマ補正テーブルとして曲線44を用いてガンマ補正処理を行う。また、「5」が選択されている場合には、映像処理部33はガンマ補正テーブルとして曲線48を用いてガンマ補正処理を行う。
ここでは、リモートコントローラ117から操作指示を受信すると、指示部36が映像処理部33に対してガンマ補正処理の指示を行う。
次に、処理フローについて説明を行う。
図6は、本実施形態における顔検出/認識に関連する処理の一例を示すフロー図である。
まず、撮像部30がDTV1正面の像を撮像する(ステップS601)。
次に、検出/認識部32が入力された映像から顔検出/認識できたか否かを判別する(ステップS602)。
ステップS602において、検出/認識部32が入力された映像から顔検出/認識ができない場合(ステップS602:No)、制御部156は、撮像部30が撮像を開始してから所定時間が経過したか否かの判別を行う(ステップS603)。
所定時間が経過しない間(ステップS603:No)には、制御部156はユーザから調整用画面51の表示指示を受けたか否かの判別を行う(ステップS604)。
制御部156がユーザから調整用画面51の表示指示を受けた場合(ステップS604:Yes)、調整用画面作成部35は調整用画面51を作成し、表示部120に表示する(ステップS605)。
調整用画面51を表示すると、制御部156は、ユーザからガンマ補正について「AUTO」が選択されたか、それとも「1」、「2」、「3」、「4」、「5」が選択されたか(ユーザ指示が選択されたか)を判別する(ステップS606)。
制御部156がユーザから調整用画面51の表示指示を受けない場合(ステップS604:No)、及びユーザから「AUTO」が選択された場合には(ステップS606:AUTO)、映像処理部33は自動でガンマ補正テーブルを切り換えて、ガンマ補正処理を実行する(ステップS607)。
また、ステップS606においてユーザから「1」、「2」、「3」、「4」、「5」(ユーザ指示用選択肢)が選択された場合には(ステップS606:ユーザ指示)、映像処理部33はこの指示に基づいてガンマ補正テーブルを切り換えて、ガンマ補正処理を実行する(ステップS608)。
ここで、本実施形態では、調整表示55で「AUTO」が選択されている場合には、ユーザ指示用選択肢「1」乃至「5」が選択されている場合よりも、ガンマ値の小さいガンマ補正テーブルを用いてガンマ補正を実行するものと例示する。しかし、これに限定されない。
ステップS602において、検出/認識部32が入力された映像から顔検出/認識をできた場合(ステップS602:Yes)、検出/認識部32はこの旨及び/又は認識されたユーザの認識子を顔関連機能実行部37に送信し、顔関連機能実行部37が顔関連の各種機能を実行する(ステップS609)。
また、ステップS603において、撮像部30が撮像を開始してから所定時間したと判別するときは(ステップS610)、制御部156は検出/認識対象の映像から顔の検出/認識不可能であると判断する。
ステップS609、ステップS610の終了後、上記処理フローは終了となる。
本実施形態におけるDTV1は、顔の検出/認識対象の映像に対して輝度調整を行うことによって、顔の検出/認識率を向上させることができる。
上述においては、顔の検出/認識と並列して記載をしているが、顔の検出のみに上記の映像処理を行うとしても良い。また、検出/認識対象の部位としては顔でなくてもよく、手、肩等の人間の他の部位であっても良いし、さらに検出/認識対象は人間以外であっても良い。
また、本実施形態では暗い箇所を明るくするように映像の輝度調整を行って、検出/認識率を向上させているが、これに限定されず、明るい箇所を暗くするように輝度の調整を行って検出/認識を行うとしても良い。例えば、周囲が明るすぎて撮像映像が白とびをしてしまうような場合には、このような処理が有効であると考えられる。更に、上述では、ガンマ補正によって映像の輝度の調整を行って、検出/認識率を向上させているが、検出/認識率を向上させるための映像の調整処理としてはこれに限定されず、例えばRGB等のその他の値を調整することで検出/認識率を向上させるとしても良い。
さらに、撮像された映像の中にユーザが複数存在する場合において、ユーザの個性によって、複数のユーザの一部のユーザが検出/認識され、他のユーザが検出されないような場合が発生することも考えられる。本実施形態では、ユーザ操作によって検出/認識のための映像処理を実行することができるため、このような場合にも検出/認識されていないユーザの検出/認識を実行することができる。このとき、映像処理前に既に検出/認識されたユーザについては、検出/認識結果を保持し、映像処理後に新たに検出/認識されたユーザについての結果を、保持された結果に追加するとしても良い。つまり、このように構成することによって、映像処理前に既に検出/認識されたていたユーザが映像処理によって検出/認識できなくなってしまう場合であっても、DTV1は映像処理前と映像処理後のそれぞれの映像で検出/認識できるユーザを、検出/認識の結果として同時に管理することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。