JP2010273276A - テレビ制御装置 - Google Patents

Abstract

【課題】テレビの前の視聴者の顔を認識し、その結果によってきめ細かなテレビの制御を行う事が出来る様にする。
【解決手段】視聴者の顔を撮影するカメラと、前記カメラで撮影された顔を認識しテレビ制御装置までの距離を演算する演算手段と、上記演算手段による演算結果に応じてテレビを制御する制御手段と、上記演算手段の条件を設定できる条件設定手段を備え、更に望ましくは、上記演算手段が、認識した顔の大きさにより、テレビ制御装置までの距離を演算する事ができ、上記演算手段が同時に複数の視聴者を認識した場合に、テレビ制御装置もしくはテレビに一番近いと判断した視聴者の演算結果に応じて、制御手段がテレビを制御する様にする。
【選択図】図２

Description

本発明は、テレビモニタなどの表示装置において、人の顔を認識する機能を持たせて、その認識結果に基づいて知的にモニタをコントロールし、視聴者の目の健康や省エネに配慮した技術を提供するものである。

子供にテレビから離れて座ってテレビを見るようにと注意したところで、特に幼児は親の言葉を理解しているのか、理解していないのかは定かではないが、親の思うように目に悪くないと思われる距離を維持することは難しい。原因のひとつには、子供は熱中すると無意識で近づいていくことがあり、また幼児はとくに興味あるものについては、触ろうとして近づくのかも知れない。これは、親が同伴で見ていても同じことが言える。初めは親と子供で適切な距離をとってみていても、子供だけ前進していく傾向がある。

この改善策として、さまざまな特許が報告されている。実用新案登録第３０３５０２８号公報には、人感センサにより一定近接距離内に人が存在しないかどうかを判断しテレビをＯＮ／ＯＦＦするものである。実開平７−４３７４３号公報も同様に人とテレビとの距離を赤外線センサにより検出しテレビをＯＮ／ＯＦＦするものである。

また、特開平８−３０７８００号公報も赤外線で障害物までの距離を測り、テレビをＯＮ／ＯＦＦするものであり、特開２００７−１５８５１８号公報は子供がテレビに近づくと画面を消し、復帰にはパスワードを必要とするものである。

また、特開平１０−２８５４２５号公報はテレビを消すときにリモコンを利用するものである。また、特開２００８−２９８９７４号公報は距離検出センサを上向きと下向きについて大人と子供もしくは猫を区別しようとするものである。

また、特開２００１−１６５１４号公報は虹彩認識と距離センサにより、視聴者を特定しつつ、モニタの制御を行ったり、視聴時刻をモニタしたり、集計センターに送信したり、伝言機能をつけたものである。

また、特開２０００−５４４８号公報はゲームの進行に応じてゲーム休憩処理を行ったり、ディスプレイとプレイヤーの距離を計測し、音量を下げたりするものである。

しかしながら、赤外線センサでの距離検出は人体に関して、ＯＮかＯＦＦかの情報判断でしかないので、距離検出というより、いるかいないかの判断にしかならないため、子供がどれくらいの近さまで許可するかの設定を柔軟に行うことはできない。また、赤外線を発するものは誤動作の要因になるので、ヒーターや電気毛布などの熱戦を発するものが近くにあれば仕様不可能である。また、特開２０００−５４４８号公報の距離センサについても、同の用のことが言える。また、虹彩認識と距離センサの組み合わせについても、虹彩認識はカメラの近くに来たときに一人一人を認識するものであり、いちいちテレビの近くに来る必要があり、また、複数名で見るときにはどのように利用するのかの使用例が不明である。虹彩認識後にその人がどこへ行ったかの同定も難しかった。

実用新案登録第３０３５０２８号公報 実開平７−４３７４３号公報 特開平８−３０７８００号公報 特開２００７−１５８５１８号公報 特開平１０−２８５４２５号公報 特開２００８−２９８９７４号公報 特開２００１−１６５１４号公報 特開２０００−５４４８号公報

Ｐ． Ｖｉｏｌａ Ａｎｄ Ｍ. Ｊｏｎｅｓ：Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ, Ｐｒｏｃ. Ｏｎ ＣＶＰＲ, Ｖｏｌ. 1． Ｐｐ ５１１−５２０ ２００１

解決しようとする問題点は、従来技術においては、子供等の特定の視聴者のみを対象としてテレビを制御する事が難しく、また家庭内で誤感知を生じる恐れのある赤外線センサを用いず、更に複数の視聴者が居る場合にも、視聴者を選択して、テレビから視聴者までの距離を演算してテレビを制御する事が困難であった。

本発明は、上記課題を解決するためになされたものであって、テレビ制御装置が、テレビ本体に内蔵され、もしくはテレビに近接して配置されるテレビ制御装置において、視聴者の顔を撮影するカメラと、前記カメラで撮影された顔を認識しテレビ制御装置までの距離を演算する演算手段と、上記演算手段による演算結果に応じてテレビを制御する制御手段と、上記演算手段の条件を設定できる条件設定手段を備えたことを特徴とする。

さらに、上記演算手段が、認識した顔の大きさにより、テレビ制御装置までの距離を演算する事を特徴とする。

さらに、上記演算手段が同時に複数の視聴者を認識した場合に、テレビ制御装置もしくはテレビに一番近いと判断した視聴者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする。

また、上記条件設定手段が、事前に視聴者の顔を登録する機能を有し、事前に登録した視聴者毎に、夫々上記制御手段の条件が設定可能である事を特徴とする。

さらに、上記条件設定手段により複数の視聴者を登録した場合に、視聴者間での優先順位が設定可能に構成され、上記演算手段が同時に複数の登録された視聴者を認識した場合に、事前に設定された視聴者の中で優先順位の最上位者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする。

さらに、上記条件設定手段により視聴者を登録した場合に、登録した視聴者と未登録の視聴者との間での優先順位が設定可能に構成され、上記演算手段が同時に登録した視聴者と未登録の視聴者を認識した場合に、事前に設定された視聴者の優先順位の中で最上位者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする。

さらに、上記視聴者間での優先順位の設定は、複数の視聴者を同一順位に登録可能に構成され、上記演算手段が同時に複数の優先順位の最上位の視聴者を認識した場合は、複数の優先順位の最上位の視聴者の中で、最もテレビ制御装置もしくはテレビに一番近いと判断した視聴者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする。

さらに、上記演算手段により、認識された顔が、上記条件設定手段によりあらかじめ定められた距離以内でかつ、あらかじめ定められた姿勢でかつ、予め定めた時間以上の間、テレビを見ていると判断された場合に、テレビ制御手段によってテレビの動作状態を制御する事を特徴とする。

さらに、上記演算手段により、認識された顔が、上記条件設定手段によりあらかじめ定められた時間以上の間、テレビを見ていると判断された場合に、テレビ制御手段によってテレビの動作状態を制御する事を特徴とする。

さらに、上記演算手段が、認識された視聴者の顔が、寝ているかどうか判断し、寝ていると判断した場合にはテレビ制御手段によってテレビの動作状態を制御する事を特徴とする。

さらに、上記演算手段によって、認識された視聴者が寝ていると判断した事によりテレビの制御手段によってテレビの動作状態を制御した後に、認識された視聴者の顔が起きたと判断した場合には、テレビの動作状態を復帰させる事を特徴とする。

さらに、上記制御手段が、テレビのリモートコントローラ信号の送信によってテレビの制御を行う事を特徴とする。

さらに、上記制御手段によって、テレビの制御を行う際に、同時に映像記録装置の制御を行う事を特徴とする。

さらに、上記制御手段によって、テレビの制御を行う際に、同時に視聴者の周囲の家電装置の制御を行う事を特徴とする。

さらに、上記制御手段によって、テレビの制御を行う際に、上記カメラにより視聴者の周辺の明るさを検知して、適当な明るさでなければ警告を促すことを特徴とする。

本発明により、テレビの前の視聴者の顔を認識し、その結果によってきめ細かなテレビの制御を行える装置を提供することが出来る効果があり、テレビの視聴者の状態を判断することによって自動でテレビを制御することが可能となるので、視聴者の健康管理に貢献し、また視聴者の労力を軽減することが可能である。

その一例としては、子供や幼児がテレビに近づいてきたときのみ、テレビを消すことが可能である。また、顔を認識することにより視聴者の姿勢が悪いときは姿勢が悪いという注意を促すということも可能である。このように、より細やかな視聴者の健康への配慮が可能となる。

視聴者が寝てしまったときは、テレビを消して、さらには視聴者の周辺の家電の状態を変化させることも可能であり、冬の寒い日などは寝てしまったときは、冷えないように部屋を暖めるようにするといったことも可能となり、省電力への貢献や、視聴者の健康を維持にも貢献できる。

以下、本発明の実施の形態について、図を踏まえて具体的に説明する。

テレビを見るときに、子供は知らず知らずのうちに前に出てしまったり、興奮したり、自分の興味ある画面が出てきたときにも画面に近づき時には画面のあるものを指で指し、直接画面を触るようなことさえある。これは、子供が一人でテレビを見ているときにもいえることであるし、複数の子供や、親と子供で見ているときにもいえることである。ここで、親としてまず一番気になることは子供の目が悪くならないかということである。目が悪くなる要因としては、画面の近くでずっと凝視していることや、正しい姿勢で見ていないことや、周辺の明るさが暗い環境でテレビを見ていることや、テレビだけを長時間凝視していることなどがあげられる。また、画面の汚れや傷などが気になるため、子供にあまりべたべたと画面を触られたくないという要求もある。

このため、図１のようにテレビ１の上部に（下部や側部等でもかまわないが）カメラ２を取り付け、視聴者４、５、６の顔を映し、その映像を演算及びテレビ制御装置３によって、画像処理することにより顔の位置と大きさを特定して、視聴者が適切な位置に判断することによって、視聴者の健康を維持することができる。テレビを見るときは、視聴者は必ずテレビに顔を向けるため、顔検出が行いやすい。

テレビによって顔の検出を行い、図１の例では、大人４と子供５が座ってテレビを見ており、時間がたって子供が前に移動６したとする。カメラで取り込む画像では、図２のように、大人は７のようにほぼ同じ位置に検出できており、顔の位置及び大きさが変化していないが、子供５は初めの位置では検出した顔の大きさ及び位置は、子供の顔８のように小さくうつっており問題はないが、近づいてくると顔９のように大きくなってくるので顔のサイズで距離を推定することが可能となる。

このようになったときに、例えばテレビの制御で、電源をいきなり切ってもいいし、音を小さくしたり、画面を暗くしてみたりしてもよい。小さい子供の場合、テレビから離れてみないといけないというのは、なかなか理解させづらいので、例えばいきなり切るのではなく、制御装置として、「子供がテレビを見ており近づいてきたら、テレビが切れ、離れたらテレビがつく」という映像を見せてから切れれば、この映像が切れた後に、自分もテレビから離れればつくのではないかという学習をすることが可能であるかも知れない。

もしくは、一緒に見ていた親４が前に移動した子供６を抱えて適切な位置５に連れ戻すと自動でテレビがつけば、学習するかもしれない。このようにして、離れれば自動的につくということにより、子供が離れていれば連続してテレビを見ることができるという習慣付けにも効果があると予想される。

次に顔検出について説明する。図３で、設定条件の一例１１のようにカメラから得られた画像のサイズをＸ×Ｙとし、顔検出の着目点の座標を（ｘ、ｙ）とし、その座標から大きさＡ×Ａ（長方形でもいいが、ここでは簡単に正方領域とする）のサイズの領域を顔かどうか判断する領域とする。このすべての領域を検出するためには、着目点（ｘ、ｙ）はｘが０〜Ｘ−Ａまで、ｙは０〜Ｙ−Ａまでの範囲を走査させ、検出の大きさＡはＸ＞Ｙとして、Ａは最小検出サイズ〜Ｙの範囲までの大きさをセットする必要がある。最小検出サイズは、ここでは、使用するカメラの画角と解像度および家の大きさを想定して決定することが可能である。

これは家の広さやテレビの大きさによって変わるので一概に言えないが、ある程度大きなテレビは、遠くまで、小さなテレビは近くというようにテレビのインチ数で決定してもいい。顔検出を開始１２すると、（ｘ、ｙ）座標位置にＡの領域の顔があるか？１５という判定を、全場所で１４、全サイズで１３の範囲にわたって検索する。顔検知に用いる識別子は、非特許文献１に記載した、代表的なＡｄａｂｏｏｓｔ手法を用いて、顔学習データを学習して、Ｈａａｒパターンから、識別関数を作成することが可能である。

図４にカメラで撮影した人の顔の大きさとカメラからの距離の関係を示す。撮影したカメラはフィルムカメラの画角で２８ｍｍ相当のカメラで取得したデータである。縦軸は顔の縦の長さ（画素）横軸はそのときの距離（ｃｍ）である。実線はある大人のデータで、点線はある子供のデータである。画像のサイズはＶＧＡサイズ（６４０×４８０画素）である。このデータからもわかるのは、顔の長さ（大きさ）Ｆと顔とカメラの距離Ｄの関係は、ほぼ双曲線で近似できるということである。ここでＡの係数は、カメラの画角および検出する顔の大きさで決定できる。すなわちこの関係が明らかなので、検出する人が特定できれば、Ｆ＝Ａ／Ｄ （Ｆ：顔の大きさ、Ｄは顔とカメラの距離、Ａ：係数）の数式によって、その人がカメラからどれくらい離れているかを決定できるということである。

検出する人を特定しないで、距離を推定する場合は、大人と子供で、図４のグラフで実線と点線のような違いが出てしまうので、たとえば、子供が１００ｃｍに近づいたら、テレビを消そうという設定にした場合、子供の顔の長さであれば、顔のたての長さが約８０画素なので、１００ｃｍとなるが、大人の場合は、顔の長さが８０画素であれば、距離は１２５ｃｍ離れていると判断され、子供の場合と比較して、約２５ｃｍの誤差が出てしまう。また、子供がテレビから１５０ｃｍに近づいたら電源を切る設定の場合であれば、検出する子供の顔の大きさは約５５画素であり、５５画素の顔の長さの大人の距離は、テレビから１７５ｃｍ離れていると判断され、２５ｃｍの誤差が生じる。同様にして計算すると表１のような結果になる。１５０ｃｍ以下であれば誤差はそれほど大きくないが、２００ｃｍ以上になると誤差が大きくなる。このため、この画角のレンズで、子供が２００ｃｍ以上離れていないと、テレビが切れるという設定にした場合、大人は２７０ｃｍ以上離れていないとテレビが切れてしまうことになる。このテレビからの子供の距離とある子供と大人の顔での距離推定の誤差をまとめたものを表１に示す。

実施例としては、この誤差を承知で製品化することも可能であるし、やはり、誤差を減らすように顔を登録しておくことも可能である。

実際のテレビの制御については、図５のような流れで行えばよい。まず、見張りを開始２０したときに、テレビがついているかどうかを判断する。通常はテレビが起動したときに判断するので通常は開始と同時にＯＮになっている。そして、テレビがＯＮであれば、テレビＯＮの処理ルーチン２２に入り、顔検出２３を行い、画像中に設定した距離以内雛言っている人間がいるかどうかを判断２４し、入っていた場合は、テレビを消去２５し、テレビＯＦＦ時の処理ルーチン２６に入る。ここでも顔検出処理２３を行い、画像中に近距離にいる顔が存在しなければ、テレビを復帰２８し、テレビＯＮ処理ルーチン２２に再び戻る。

顔の登録についてもいろいろな方法が考えられるが、顔の特徴的な器官である目、鼻、口に相当する部分の位置関係や輪郭形状などの情報を使って、個人の顔を登録してもよい。その登録情報に基づき、検出できた顔がそれぞれ、監視対象かどうかを判断してテレビの制御をおこなう。図２の場合は、大人４と子供５，６をすでに登録してあるものとする。たとえば、優先度を子供の距離を最優先とすると、この場合、子供が９の位置にいたときにはテレビ制御を行うようにすることができる。

また、顔を登録していない人間が画面上に現れた場合、登録を促すもしくは、登録することが可能であることを告知することも可能である。来客などで登録の必要がない場合はそのままテレビを見るようにしてもいいし、子供が生まれた場合などには新たに登録するようにしておけばいい。顔の登場回数によって、登録を促してもよい。ある期間、ある頻度で現れる場合は登録画面を促すと頻繁に来客がある家では有効であると考えられる。顔の登録時は、距離を決めて登録するようにしておく。たとえば５０ｃｍくらいの距離であると、ＶＧＡの画質であれば、大人で１５０画素ほどあるので認識のテンプレートとして使うには十分であると思われる。

顔の中の目を認識することにより、視聴者が起きているかどうかの判断を行うことができる。これにより、視聴者が寝ていると判断した場合には、一定時間たつとテレビを消したり、音量を下げたり、また、エアコンのリモコンなどと連動することにより、冬の場合には、暖房をつけて冷えないようにすることや、周りの電気を消すという利用方法も考えられる。また、視聴者の目が開いたときには、テレビを起きていたときの状態に復帰させる作業が必要になる。これは図５のルーチンの中で、距離を演算する部分に、目が開いているかを追加することによって可能である。また、テレビの制御方法は、テレビ装置に組み込まず、後付としての製品の場合は、コンセントを中継するという機器として主電源をコントロールするようにしてもよいし、リモコンでＯＮ・ＯＦＦしてもよい。また、周囲の明るさを画像の平均濃度などで計算し、視聴者の視聴環境を推定して、暗い場合は、部屋の電気をつけて明るくするように促すことも可能である。

テレビの前の視聴者の顔を認識し、その結果によってきめ細かなテレビの制御を行う事が出来るため、子供や幼児がテレビに近づいてきたときのみ、テレビを消すことが可能であり。また、顔を認識することにより視聴者の姿勢が悪いときは姿勢が悪いという注意を促すこともでき、更に視聴者が寝てしまったときは、テレビを消して、さらには視聴者の周辺の家電の状態を変化させることも可能であり、冬の寒い日などは寝てしまったときは、冷えないように部屋を暖めるようにするといったことも可能となり、省電力への貢献や、視聴者の健康を維持など、テレビの制御に付随して、より細やかな視聴者の健康への配慮にも利用する事ができる。

一実施の形態の大人と子供がテレビを見ていて子供が近づくときの図 一実施の形態のカメラから見た図1の視聴者の様子 一実施の形態の顔検出の大まかな流れ 一実施の形態のカメラからの距離と顔の大きさの関係 一実施の形態の顔の距離の監視の大まかな流れ

１ テレビ
２ カメラ
３ 演算及びテレビ制御装置
４ 大人
５ 子供移動前
６ 子供移動後
７ カメラで見た大人の顔
８ カメラで見た子供移動前の顔
９ カメラで見た子供移動後の顔
１０ 顔検出処理部
１１ 顔検出の検出サイズおよび領域設定部分
１２ 顔検出開始
１３ 全サイズの顔を検出したか？
１４ 全エリアで顔検出したか？
１５ ある座標（ｘ、ｙ）にある大きさＡの顔があるか？
１６ 検出した顔の位置と大きさを記録
１７ 検出場所を移動させる
１８ 検出サイズを変更させる
１９ 顔検出終了
２０ 見張り開始
２１ テレビＯＮ？
２２ テレビＯＮ処理ルーチン
２３ 顔検出処理
２４ 距離ＮＧが存在？
２５ テレビ消去
２６ テレビＯＦＦ処理ルーチン
２７ 検出した顔の距離はすべてのエリアでＯＫ？
２８ テレビを復帰

Claims (15)

1. テレビ本体に内蔵され、もしくはテレビに近接して配置されるテレビ制御装置において、視聴者の顔を撮影するカメラと、前記カメラで撮影された顔を認識しテレビ制御装置までの距離を演算する演算手段と、上記演算手段による演算結果に応じてテレビを制御する制御手段と、上記演算手段の条件を設定できる条件設定手段を備えたテレビ制御装置。
2. 上記演算手段が、認識した顔の大きさにより、テレビ制御装置までの距離を演算する事を特徴とする請求項１記載のテレビ制御装置。
3. 上記演算手段が同時に複数の視聴者を認識した場合に、テレビ制御装置もしくはテレビに一番近いと判断した視聴者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする請求項１または２記載のテレビ制御装置。
4. 上記条件設定手段が、事前に視聴者の顔を登録する機能を有し、事前に登録した視聴者毎に、夫々上記制御手段の条件が設定可能である事を特徴とする請求項１〜３の何れか１項記載のテレビ制御装置。
5. 上記条件設定手段により複数の視聴者を登録した場合に、視聴者間での優先順位が設定可能に構成され、上記演算手段が同時に複数の登録された視聴者を認識した場合に、事前に設定された視聴者の中で優先順位の最上位者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする請求項４記載のテレビ制御装置。
6. 上記条件設定手段により視聴者を登録した場合に、登録した視聴者と未登録の視聴者との間での優先順位が設定可能に構成され、上記演算手段が同時に登録した視聴者と未登録の視聴者を認識した場合に、事前に設定された視聴者の優先順位の中で最上位者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする請求項４または５記載のテレビ制御装置。
7. 上記視聴者間での優先順位の設定は、複数の視聴者を同一順位に登録可能に構成され、上記演算手段が同時に複数の優先順位の最上位の視聴者を認識した場合は、複数の優先順位の最上位の視聴者の中で、最もテレビ制御装置もしくはテレビに一番近いと判断した視聴者の演算結果に応じて、制御手段がテレビを制御する事を特徴とする請求項５または６記載のテレビ制御装置。
8. 上記演算手段により、認識された顔が、上記条件設定手段によりあらかじめ定められた距離以内でかつ、あらかじめ定められた姿勢でかつ、予め定めた時間以上の間、テレビを見ていると判断された場合に、テレビ制御手段によってテレビの動作状態を制御する事を特徴とする請求項１〜７の何れか１項記載のテレビ制御装置。
9. 上記演算手段により、認識された顔が、上記条件設定手段によりあらかじめ定められた時間以上の間、テレビを見ていると判断された場合に、テレビ制御手段によってテレビの動作状態を制御する事を特徴とする請求項１〜８の何れか１項記載のテレビ制御装置。
10. 上記演算手段が、認識された視聴者の顔が、寝ているかどうか判断し、寝ていると判断した場合にはテレビ制御手段によってテレビの動作状態を制御する事を特徴とする請求項１〜９の何れか１項記載のテレビ制御装置。
11. 上記演算手段によって、認識された視聴者が寝ていると判断した事によりテレビの制御手段によってテレビの動作状態を制御した後に、認識された視聴者の顔が起きたと判断した場合には、テレビの動作状態を復帰させる事を特徴とする請求項１０記載のテレビ制御装置。
12. 上記制御手段が、テレビのリモートコントローラ信号の送信によってテレビの制御を行う事を特徴とする請求項１〜１１の何れか１項記載のテレビ制御装置。
13. 上記制御手段によって、テレビの制御を行う際に、同時に映像記録装置の制御を行う事を特徴とする請求項１〜１２の何れか１項記載のテレビ制御装置。
14. 上記制御手段によって、テレビの制御を行う際に、同時に視聴者の周囲の家電装置の制御を行う事を特徴とする請求項１〜１３の何れか１項記載のテレビ制御装置。
15. 上記制御手段によって、テレビの制御を行う際に、上記カメラにより視聴者の周辺の明るさを検知して、適当な明るさでなければ警告を促すことを特徴とする請求項１〜１４の何れか１項記載のテレビ制御装置。

Images