JP2008152720A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2008152720A
JP2008152720A JP2006342718A JP2006342718A JP2008152720A JP 2008152720 A JP2008152720 A JP 2008152720A JP 2006342718 A JP2006342718 A JP 2006342718A JP 2006342718 A JP2006342718 A JP 2006342718A JP 2008152720 A JP2008152720 A JP 2008152720A
Authority
JP
Japan
Prior art keywords
area
image
detection
signal
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006342718A
Other languages
English (en)
Other versions
JP4720738B2 (ja
Inventor
Shingo Kida
晋吾 木田
Masahiro Kitaura
正博 北浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006342718A priority Critical patent/JP4720738B2/ja
Priority to CN2007101851383A priority patent/CN101207746B/zh
Priority to US11/979,236 priority patent/US8203601B2/en
Publication of JP2008152720A publication Critical patent/JP2008152720A/ja
Application granted granted Critical
Publication of JP4720738B2 publication Critical patent/JP4720738B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザが表示装置に対してどの位置にいても、表示装置に表示された操作ボタンが操作されたことが確実に検出できる電子機器を提供する。
【解決手段】電子機器1はビデオカメラ2を有する。ビデオカメラ2によって撮影され表示装置21の画面上に表示されたユーザの大きさを調整するために、画面上に第1の面積を有する測定領域が設定されている。測定領域にユーザが手をかざしたときの第1の面積に占める手の面積の割合を示す情報を制御情報判断器18が生成する。生成された情報に応じて、画面上に表示されたユーザの大きさを拡大縮小するよう制御情報判断器18は画像調整器14を制御する。
【選択図】図2

Description

本発明は電子機器に係り、特にテレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器における遠隔操作の仕方を改良した電子機器に関する。
1980年代に赤外線リモートコントローラ(通称リモコン)がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは1つの機能を1つのキー(ボタン)を押すことにより実行させる仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
しかしながら、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上」「下」「左」「右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、EPG(電子プログラムガイド)は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。
本出願人による先願である特開2006−091948号公報(特許文献1)には、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器が提案されている。特許文献1に記載の電子機器はユーザの手の動作をビデオカメラで撮影して、その動作から表示装置に表示されている操作ボタンに対する操作内容を識別するものである。
特開2006−091948号公報
特許文献1に記載の電子機器においては、ユーザが表示装置に表示されている操作ボタンに手をかざして操作したことをかなり精度よく検出することが可能である。しかしながら、例えば操作ボタンの大きさや位置に対して撮影されたユーザの手の大きさや位置が適当ではなく、操作ボタンが操作しづらいことがある。
本発明はこの点に着目してなされたものであり、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する際に、ユーザの位置に関わらず操作ボタンの操作を更に確実に検出できる電子機器を提供することを目的とする。
上記した課題を解決するために本発明は、次の(a)〜(f)の電子機器を提供するものである。
(a)電子機器1において、ビデオカメラ2と、前記ビデオカメラの前に位置する操作者3を前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換器13と、前記ビデオカメラによって撮影した画像信号又は前記鏡像変換器により鏡像変換された画像信号を拡大又は縮小する画像調整器14と、前記鏡像変換器及び前記画像調整器を経た画像信号を表示する表示装置21と、前記表示装置の画面上に表示された操作者の大きさを調整するために前記画面上に第1の面積を有する測定領域51,53,55が設定され、前記画面に表示された操作者が対象物を前記測定領域にかざしたときの前記第1の面積に占める前記対象物の面積の割合を示す情報を生成する生成部18と、前記生成部によって生成された情報に応じて、前記表示装置の画面上に表示された操作者の大きさを調整するよう前記画像調整器を制御する制御部18とを備えることを特徴とする電子機器。
(b)前記測定領域に重畳する操作ボタン50用の操作用画像信号を生成する操作用画像生成器15と、前記鏡像変換器及び前記画像調整器を経た画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器16と、前記操作ボタンに対応する第1の検出領域500を前記対象物により操作する所定の動作に対応した前記第1の検出領域内の画像信号に基づいて第1の検出信号を発生する第1の検出器(171〜17nいずれかの検出器)とを備え、前記制御部は、前記第1の検出器が前記第1の検出信号を発生したのに応答して前記操作者の大きさを調整することを特徴とする(a)記載の電子機器。
(c)前記測定領域と一致した第2の検出領域52が設定され、前記鏡像変換器及び前記画像調整器を経た画像信号における前記第2の検出領域に相当する部分的な画像信号を抽出する抽出部30,31と、前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器(171〜17nいずれかの検出器)とを備え、前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする(a)又は(b)記載の電子機器。
(d)前記測定領域より小なる第2の面積を有する第3の検出領域54が設定され、前記第3の検出領域を前記測定領域内で所定の時間をかけて順次移動させる移動制御部12,18と、前記移動制御部によって前記第3の検出領域を前記測定領域内で移動させることによって、前記鏡像変換器及び前記画像調整器を経た画像信号における前記測定領域に相当する部分的な画像を抽出する抽出部30,31と、前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器(171〜17nいずれかの検出器)とを備え、前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする(a)又は(b)記載の電子機器。
(e)前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、前記画像調整器は、前記第2の検出信号に応じて前記画面に表示された操作者の位置を移動させることを特徴とする(d)記載の電子機器。
(f)前記測定領域は、前記検出領域が移動する初期状態の範囲として設定された初期測定領域551と前記初期測定領域に隣接した予備測定領域552とを含み、前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、前記対象物の位置を示す情報に基づいて、前記検出領域が移動する領域を前記初期測定領域から前記予備測定領域を含む領域553へと移動させる測定領域移動制御部18を有することを特徴とする(d)記載の電子機器。
本発明によれば、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する際に、ユーザの位置に関わらず操作ボタンの操作を更に確実に検出できる。
図1は、電子機器(テレビジョン受像機1)を操作する方法において、リモコン装置による従来の操作方法と、本発明の一実施形態である操作方法との違いを説明するための図である。
操作者(ユーザ)3がテレビジョン受像機1を従来の操作方法で操作する場合、ユーザ3はリモコン装置4を手に持ち、所望の機能を働かせるキーをテレビジョン受像機1に向けて押下する。したがって、リモコン装置4が無ければテレビジョン受像機1を操作できず、不便を強いられる場合を時々経験する。
これに対し、本実施形態の操作方法では、テレビジョン受像機1に、ビデオカメラ2が設けられており、ビデオカメラ2によりユーザ3が撮影され、ビデオカメラ2の画像からユーザ3の動作を得て、テレビジョン受像機1及びそれに関連する機器の操作が行われる。
ユーザ3の動作とは、具相的にはテレビジョン受像機1に表示されるメニュー画面から所望のボタンを選択する身体(手、足、顔など)の動きのことである。本実施形態では後述するように最も実用的である手の動きで操作する手法が採用されている。またテレビジョン受像機1の周囲が暗いときは、自発光機能を具備した遠隔操作用機器(手元制御機器)を用いることにより、手の動作と同様の効果を得るようにしている。
図2は、テレビジョン受像機1の構成を示すブロック図であり、テレビジョン受像機1は、ビデオカメラ2、基準同期発生器11、タイミングパルス発生器12、鏡像変換器13、スケーラ14、グラフィックス生成器15、第1の混合器16、検出部17、制御情報判断器(CPU)18、画素数変換器19、第2の混合器20、及び表示装置21を備えている。
基準同期発生器11は、入力される同期信号に基づいて、テレビジョン受像機1の基準になる水平周期パルスと垂直周期パルスを発生する。ここで、同期信号は画素数変換器19に入力される映像信号の水平及び垂直同期信号である。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、基準同期発生器11はその入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器12は、図2に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
ビデオカメラ2は、図1に示すようにテレビジョン受像機1の前面に位置してユーザ3、またはテレビジョン受像機1の前の映像を撮影する。ビデオカメラ2の出力信号は、輝度(Y)信号、及び色差(R−Y、B−Y)信号であり、基準同期発生器11から出力される水平周期パルス及び垂直周期パルスに同期している。
鏡像変換器13は、ビデオカメラ2で撮影したユーザ3の画像(被写体像)を表示装置21上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる方法により鏡像変換が行われる。表示装置21として陰極線管(CRT(Cathode Ray Tube))を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転させておく必要がある。
スケーラ14は、ビデオカメラ2により撮影した被写体像の大きさを拡大又は縮小して調整する画像調整器で、制御情報判断器18の制御で拡大率と縮小率を2次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。
本実施形態では、図2に示すようにスケーラ14は鏡像変換器13の後段に設け、鏡像変換器13により鏡像変換された画像を調整するが、ビデオカメラ2と鏡像変換器13の間にスケーラ14を設け、ビデオカメラ2より出力された画像を調整させてもよい。
グラフィックス生成器15は、制御情報判断器18から供給されるメニュー画面(操作用画像)を生成するための制御信号に基づいてメニュー画面を展開するもので、メモリ上の信号がR(赤)信号、G(緑)信号、B(青)信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、輝度(Y)信号と色差(R−Y、B−Y)信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、本実施形態では1プレーンでよい。
メニュー画面を構成するグラフィックスの画素数は、本実施形態では表示装置21の画素数に一致させるようにしている。一致していない場合は、グラフィックス生成器15内またはグラフィックス生成器15の後段に画素数変換器を設けて、互いの画素数を一致させればよい。
第1の混合器16は、スケーラ14の出力信号S1とグラフィックス生成器15の出力信号Gsとを、制御値α1により混合割合を制御して混合する。具体的には、下記(1)式で出力信号M1oが表される。
M1o=α1×S1+(1−α1)×Gs…(1)
制御値α1は、「0」から「1」の間の値に設定され、制御値α1を大きくするとスケーラ14の出力信号S1の割合が大きくなり、グラフィックス生成器15の出力信号Gsの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される2系統の信号情報が入っていれば同様の効果が得られる。なお、既述したようにビデオカメラ2と鏡像変換器13の間にスケーラ14を設けた場合には、鏡像変換器13から出力される信号を出力信号S1とすればよい。
検出部17は、第1の検出器171、第2の検出器172、…第nの検出器17nを備える。検出部17に含まれる検出器は数を特定するものではなく、グラフィックス生成器15で生成されるメニュー画面と連携した制御内容を表す後述する操作ボタンの数に対応して変動する。なお、操作ボタンとはパソコンにおいてマウスでクリック操作する操作ボタンに該当するものである。
制御情報判断器18は、検出部17から出力されるデータ(検出信号)の解析を行い、各種制御信号を出力する。制御情報判断器18は、入力されるデータに基づいて操作された操作ボタンに対応する制御信号を生成し、各部を制御する。制御情報判断器18はソフトウェアで各種の処理を行うものであり、アルゴリズムについての詳細は後述する。本実施形態では、ハードウェア(各機能ブロック)による処理と、ソフトウェア(制御情報判断器18のCPU)による処理とが混在するが、特にここで示す区分けに限定するものではなく、ハードウェアとソフトウェアとをどのように用いてもよい。
画素数変換器19は、入力される映像信号の画素数と表示装置21の画素数を合わせるための画素数変換を行う。入力映像信号は、図示を省略している内蔵のチューナにて受信したテレビジョン信号(データ放送なども含む)による映像信号やビデオ(VTR)入力などテレビジョン受像機1の外部から入力される映像信号である。ここでは図示を省略するが、入力映像信号から水平及び垂直同期信号を抽出して、基準同期発生器11によって各部を入力映像信号の水平及び垂直同期信号に同期させるようにしている。
第2の混合器20は、第1の混合器16と同様の機能を有する。すなわち、第1の混合器16の出力信号M1oと、画素数変換器19の出力信号S2とを制御値α2で混合割合を制御して混合する。具体的には、下記(2)式で出力信号M2oが表される。
M2o=α2×M1o+(1−α2)×S2…(2)
制御値α2は、「0」から「1」の間の値に設定され、制御値α2を大きくすると第1の混合器16の出力信号M1oの割合が大きくなり、画素数変換器19の出力信号S2の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される2系統の信号情報が入っていれば同様の効果が得られる。
表示装置21は、CRT、液晶ディスプレイ(LCD)、プラズマディスプレイ(PDP)あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置21の入力信号は、輝度信号Yと、色差信号R−Y及びB−Yであり、表示装置21の内部にてRGB原色信号にマトリクス変換されて表示される。
各検出器171〜17nは、図3に示すように、オブジェクト抽出器30と、タイミングゲート器31と、オブジェクト特徴データ検出部32とを備えている。オブジェクト抽出器30は、画像の特徴に添ったフィルタを備えており、フィルタ処理をした画像信号をタイミングゲート器31に出力する。
タイミングゲート器31は、タイミングパルスに基づいてビデオカメラ2からの画像信号の通過を制御する。通過する領域は後述する検出エリア内である。この検出エリア内に限定した信号に対して、オブジェクト特徴データ検出部32は種々のフィルタ処理を施してビデオカメラ2で撮影したユーザ3の手の画像を抽出する。
オブジェクト特徴データ検出部32は、抽出されたユーザ3の手(対象物)の画像信号から、さまざまな特徴を検出し検出信号を発生するための機能ブロックを備える。本実施形態では、ヒストグラム検出器33、平均輝度(APL)検出器34、高域頻度検出器35、最小値検出器36、最大値検出器37を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器より発生される検出信号を用い、制御情報判断器18によって手であることを判別すると共にその動作を認識する。
図4に、オブジェクト抽出器30の詳細ブロック図を示す。本実施形態ではユーザ3の手を検出するために、特に肌色に着目したフィルタ処理を行う。すなわち、本実施形態のオブジェクト抽出器30は、特定色フィルタ71と、階調限定器72と、時間差分フィルタ75と、合成器73と、オブジェクトゲート器74とを備えている。
特定色フィルタ71、階調限定器72及び時間差分フィルタ75は、それぞれオブジェクトを特定するフィルタである。特定色フィルタ71は、色差信号で入力される色信号の色相と色の濃さ(飽和度)を限定し、階調限定器72は、輝度信号の特定の階調の範囲を限定する。時間差分フィルタ75は、人の手の背景が肌色であっても、わずかな輝度の差などを基に手の領域を抽出し、人の手を識別する。本実施形態では人の手を、後述する操作ボタンを操作する対象物としているが、パラメータである色相や階調を調整し最適化することにより、オブジェクト抽出器30は手以外の対象物も検出することができる。
合成器73は、特定色フィルタ71と階調限定器72と時間差分フィルタ75から入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ71を通過した信号と階調限定器72を通過した信号と時間差分フィルタ75を通過した信号とが全て存在(AND)する場合に、ハイレベルとなる領域パルスを出力する。なお、特定色フィルタ71と階調限定器72と時間差分フィルタ75のうち1つまたは2つを通過した信号が存在すれば、ハイレベルとなる領域パルスを出力するようにしてもよい。
特定色フィルタ71と階調限定器72と時間差分フィルタ75のうちの、2つを通過した信号が存在すればハイレベルとなるようにすれば誤検出しにくく、3つを通過した信号が存在すればハイレベルとなるようにすれば更に誤検出しにくくなる。
合成器73で生成された領域パルスは、オブジェクトゲート器74に供給される。オブジェクトゲート器74は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル(領域パルス外の範囲)であるときは、輝度信号も色差信号も通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度0の色差信号を出力する。
(実施例1)
実施例1では、画面内のユーザ3の画像の大きさを制御する方法(ズーム機能)の一例を示す。
図5(A)は、図2に示したグラフィックス生成器15で生成される操作用画像を表示装置21に表示させた図であり、ズーム機能を働かせるための操作ボタン50と、操作ボタン50より画面の水平方向に大きい測定領域51とを有するズームボタン5Aを示す図である。操作ボタン50は測定領域51に重畳されている。操作用画像には、テレビジョン受像機1を制御するための操作内容をそれぞれ示すメニューボタン40〜45も含まれている。
操作ボタン50は、後述するようにビデオカメラ2から入力される画像に対するズーム機能を働かせるためのものである。測定領域51は、後述するようにズームボタン5Aにかざされている手の割合を求めるための領域である。実施例1の測定領域51は、実際にはユーザ3に視認されない。ズームボタン5Aは、ユーザ3がどの位置にいても操作しやすい位置に配置してあればよく、例えば図5(A)のように画面の上部中央、または画面の中央部に配置すればよい。
図5(B)は、手を操作ボタン50にかざした状態を拡大して示している。
図2に示す第1の混合器16にて、図5(A)に示す操作用画像と、鏡像変換器13及びスケーラ14を経た画像である鏡像変換及びスケーラ処理済みの画像とを、制御値α1に対応する混合割合で混合する。
鏡像変換及びスケーラ処理済みの画像には、検出部17の各検出器171〜17nに対応する検出領域が含まれている。各検出領域は、操作ボタン50、測定領域51及びメニューボタン40〜45にそれぞれ対応し、鏡像変換及びスケーラ処理済みの画像上に、図5(A)の操作用画像上に示した各ボタン40〜45、50又は測定領域51と同じ位置に配置されている。ここで、操作ボタン50に対応した検出領域を検出領域500、測定領域51に一致した検出領域を検出領域52とする。
検出部17は、ユーザ3が手をかざした各ボタン40〜45、50及び測定領域51に対応して設けられている各検出領域内の手を検出した検出データを制御情報判断器18に出力する。
図6(A)は、図5(B)のようにズームボタン5Aに対象物(手)をかざした際の、測定領域51と一致した検出領域52における手の占める割合を示す図である。検出領域52に対応する検出器は、測定領域51にかざされた手の面積の割合に応じた検出信号を発生させる。鏡像変換器13及びスケーラ14を経た画像における検出領域52に相当する部分的な画像信号は、図3に示すオブジェクト抽出器30及びタイミングゲート器31からなる抽出部によって抽出される。
手がかざされている領域522は、オブジェクト抽出器30(時間差分フィルタ75)によって発生した差分が抽出され、輝度信号と色差信号とが出力される。手がかざされている領域522以外の何もかざされていない領域521は差分が発生しないため、オブジェクト抽出器30より黒レベルの輝度信号及び飽和度0の色差信号が出力される。
本実施形態ではオブジェクト抽出器30より出力され、タイミングゲート器31において検出領域内に限定された画像信号(輝度信号)に基づいて、オブジェクト特徴データ検出部32のヒストグラム検出器33より検出領域52における手の面積の割合に応じた検出信号を発生させる。検出信号を発生させる検出器は、オブジェクト特徴データ検出部32を構成する他の検出器としてもよい。図6(B)は、図6(A)の状態の検出領域52における、明るさの頻度分布(ヒストグラム)を示す図である。縦軸に頻度を示し、横軸に輝度信号の階調(明るさ)を0〜7の8ステップに区切って示している。図6(B)において階調0は、オブジェクトが検出されない領域521、階調4〜7は手がかざされている領域522の明るさをそれぞれ示す。
制御情報判断器18は、ヒストグラム検出器33から出力された手の面積の割合に応じた各階調における頻度分布の情報を示す検出信号を受け取り、検出領域52に占める手の割合HRを示す情報を生成する。制御情報判断器18は生成部として、手の割合HR[%]を下記(3)式より求める。
Figure 2008152720
ここで、hist[i]は、階調iのヒストグラムを示す。なお本実施形態では、階調2〜7の範囲のヒストグラムを基にして手の割合HRを求めるが、これに限定されるものではない。
実施例1では、手の割合HRの情報(HR情報)に基づいて制御情報判断器18がスケーラ14のパラメータを制御し、スケーラ14のズーム機能を働かせる。なお、ビデオカメラ2から取り込んだ手の画像に基づいたHR情報によりズーム機能を働かせるため、ユーザ3の手の大きさに応じて最適化されるものであり、大人の手、子供の手と言った絶対的な手の大きさは問題にならない。
図7は、制御情報判断器18がHR情報を用いてスケーラ14のズーム機能を制御するためのズームパラメータである。縦軸は、スケーラ14のズーム倍率を示し、横軸は手の割合HRを示している。手の割合HRが小さい程拡大率を上げ、手の割合HRが大きい程縮小率を上げている。手の割合HRが50%の時は、ユーザ3が操作に対して最適な位置にいるとみなし、ズーム機能は働かせないものとする。
次に、制御情報判断器18がスケーラ14のズーム機能を制御するタイミングを、図8(A)〜(D)を用いて説明する。図8(A)の縦軸は操作ボタン50に対応する検出領域500に占める手の割合HRを表し、横軸は時間を表している。図8(B)の縦軸は、検出領域52に占める手の割合HRを表し、横軸は時間を表している。図8(C)は活性化フラグを表し、横軸は時間を表している。図8(D)はズーム確定フラグを表し、横軸は時間を表している。図8(A)〜(D)の全ての時間軸は同じとする。なお、操作ボタン50に対応する検出領域500に占める手の割合HRも(3)式を用いて求めた。図8(A)及び(B)はユーザ3の手が、操作ボタン50を完全に覆いかつ検出領域52の半分くらいを覆うようにかざされている場合を示す。
図8(A)において、検出領域500に占める手の割合HRが100%に到達し、図8(B)において、検出領域52に占める手の割合HRが50%に到達すると、時定数T1を経て、(C)に示す活性化フラグが立ち上がる。続いて、図8(A)に示すt1からt2までの期間のように、ユーザ3が操作ボタン50を操作する所定の動作に対応した検出領域500内の画像信号に基づいた検出信号が検出領域500に対応する検出器より発生され、操作ボタン50が操作されたことが確定すると、時定数T2を経て、(D)に示すズーム確定フラグが立ち上がる。本実施形態において所定の動作とは、ユーザ3が操作ボタン50上に手をかざし、2度繰り返し指を折り曲げる動作である。
本実施形態では、検出領域500に占める手の割合HRが100%に到達し、検出領域52に占める手の割合HRが50%に到達したときに活性化フラグが立ち上がるが、それぞれの手の割合HRはこれに限るものではない。
図8(D)に示すようにズーム確定フラグがハイになると、制御情報判断器18は次のように表示装置21の画面上に表示されたユーザ3の大きさを調整する。
制御情報判断器18は、時定数Tmを経たあとに続く所望のフレーム数における検出領域52に占める手の割合HRの平均値を示す情報を生成する。平均値を示す情報に応じて、制御情報判断器18はスケーラ14のズーム機能を図7に示すズームパラメータに従って制御する。例えば、ズーム確定フラグがハイになった3フレーム後(Tm)から、制御情報判断器18は生成部として3フレーム分の検出領域52に占める手の割合HRの平均値を示す情報を生成する。続いて制御情報判断器18は制御部として、平均値の情報に応じて表示装置21の画面上に表示されたユーザ3の大きさを適当な大きさに調整するよう、スケーラ14のズーム機能を制御する。
なお、制御情報判断器18は、図8(C)に示す活性化フラグがハイになったあとからズーム確定フラグがハイになるまでの期間(t1からt2までの期間は除く)に、上記したような方法で手の割合HRの平均値を示す情報を生成してもよい。
(実施例2)
実施例2では、画面内のユーザ3の画像の大きさを制御する方法(ズーム機能)の他の一例を示す。
図9(A)は、図2に示したグラフィックス生成器15で生成される操作用画像を表示装置21に表示させた図であり、ズーム機能を働かせるための操作ボタン50と、スキャン測定領域53とを有するズームボタン5Bを示す図である。操作ボタン50はスキャン測定領域53に重畳されている。操作用画像には、既述したメニューボタン40〜45も含まれている。スキャン測定領域53は、実施例1の測定領域51と同様の働きをもつ領域であり、実施例2では測定領域51と同じ大きさとした。
ズームボタン5Bは、ユーザ3がどの位置にいても操作しやすいように表示装置21の画面の上部中央や、中央部に配置すればよい。なお、スキャン測定領域53はユーザ3が視認できなくてもよい。
図9(B)は、手を操作ボタン50にかざした状態を拡大して示している。
また既述したように、鏡像変換及びスケーラ処理済みの画像には、操作ボタン50に対応した図示しない検出領域500及び各メニューボタン40〜45に対応する各検出領域が設定され、図9(A)に示す各ボタンに対応する位置に配置されている。更に、鏡像変換及びスケーラ処理済みの画像にはスキャン測定領域53より小なる面積を有するスキャン検出領域(スキャナ)54が設定されている。各メニューボタン40〜45に対応する各検出領域、検出領域500及びスキャナ54は、検出部17の各検出器171〜17nで検出される。
制御情報判断器18及びタイミングパルス生成器12(移動制御部)によって、図3に示したタイミングゲート器31に入力するタイミングパルスを変更することで、後述するようにスキャナ54を所定の時間をかけてスキャン測定領域53内を順次移動させる。スキャナ54をスキャン測定領域53内で移動させることで、鏡像変換器13及びスケーラ14を経た画像信号におけるスキャン測定領域53に相当する部分的な画像信号を、抽出部(オブジェクト抽出器30及びタイミングゲート器31)が抽出する。スキャナ54は実際にはユーザ3に視認されない。
図10は、スキャン測定領域53をスキャナ(スキャン検出領域)54が移動する第1のスキャン方法と第2のスキャン方法とを示す。図10(A)は、スキャン測定領域53の左端部から右端部に向かって垂直周期単位で、スキャナ54が移動する第1のスキャン方法を示す。図10(B)は、スキャン測定領域53の中心部から左右端部に向かって交互に、垂直周期単位でスキャナ54が移動する第2のスキャン方法を示す。図10の上から下へ向かってスキャンが進んでいる。
第2のスキャン方法は、ユーザ3が手をかざす操作ボタン50の中心付近からスキャナ54の移動が開始する。従って、操作ボタン50にかざされた手によりスキャン測定領域53に発生する差分を、第1のスキャン方法よりも速い時間において検出できる。しかしながら第1、第2いずれのスキャン方法を用いても、スキャン測定領域53が全てスキャンされるまで手をかざしておく必要があるため、操作ボタン50に手をかざしている時間に差異はない。このことから、画面にオンスクリーン表示する等の方法によってスキャンが全て終わるまでユーザ3は操作ボタン50に手をかざし続けるよう、ユーザ3に知らしめることが好ましい。
図11は、第1のスキャン方法を用いて、スキャン測定領域53にかざされた手をスキャンする説明図である。図11(A)はスキャン測定領域53にかざされた手を示す上記した部分的な画像信号であり、図11(B)はスキャナ54がスキャン測定領域53の左から右(0〜19)へ移動する20ステップを、図11(C)〜(F)は所定のステップにおけるヒストグラムをそれぞれ示す。なお、ズームボタン5Bにおいて操作ボタン50はスキャン測定領域53の中心付近に設けられているが、説明を分かりやすくするために、ここでは図示を省略している。
図11(B)に示すように本実施形態では、スキャナ54はスキャン測定領域53を全20ステップでスキャンする。ここで、スキャナ54がスキャン測定領域53を全てスキャンするのにかかる期間、すなわち20ステップのスキャンにかかる期間を1スキャン期間とする。
図11(C)は、スキャン測定領域53のステップ0〜5及びステップ14〜19のヒストグラムである。スキャン測定領域53の各ステップ0〜5及びステップ14〜19には手がかざされていないため、各ステップ0〜5及びステップ14〜19におけるスキャナ54には差分が発生しない。従って、スキャナ54に対応する検出器は、オブジェクト抽出器30より黒レベルの輝度信号及び飽和度0の色差信号を出力し、後段のヒストグラム検出器33で生成されるヒストグラムは階調0のみとなる。
図11(D)は、スキャン測定領域53のステップ6のヒストグラムである。スキャン測定領域53のステップ6には、手がかざされている領域と何もかざされていない領域とが存在する。従ってスキャナ54に対応する検出器より検出された検出信号に基づくヒストグラムは、何もかざされていない領域に基づく階調0と、手がかざされている領域において発生した差分に基づく階調2〜7とに分布している。
図11(E)は、スキャン測定領域53のステップ7〜12のヒストグラムである。スキャン測定領域53の各ステップ7〜12には、手がかざされている。従ってスキャナ54に対応する検出器より検出された検出信号に基づくヒストグラムは、手がかざされている領域において発生した差分に基づく階調2〜7に分布している。
図11(F)は、スキャン測定領域53のステップ13のヒストグラムである。スキャン測定領域53のステップ13には、手がかざされている領域と何もかざされていない領域とが存在する。従ってスキャナ54に対応する検出器より検出された検出信号に基づくヒストグラムは、何もかざされていない領域に基づく階調0と、手がかざされている領域において発生した差分に基づく階調2〜7とに分布している。
抽出部によって抽出された部分的な画像信号に基づいて、スキャナ54に対応した検出器からスキャン測定領域53における手の面積の割合に応じた検出信号が発生される。制御情報判断器18は、検出信号に基づいてスキャン測定領域53の各ステップj(j=0〜19)における手の割合HRS(j)[%]を示す情報を生成する。制御情報判断器18は生成部として、手の割合HRS(j)を下記(4)式より求める。
Figure 2008152720
ここで、hist(j)[i]はステップj(j=0〜19)の階調iのヒストグラムを示す。本実施形態では、階調2〜7の範囲のヒストグラムを基にして手の割合HRSを求めるが、これに限定されるものではない。
実施例2では、スキャン測定領域53の各ステップjに占める手の割合HRS(j)の平均値HRAを下記の(5)式で求める。平均値HRAは、実施例1で(3)式より求めた手の割合HRに相当する。制御情報判断器18は生成部として手の割合HRS(j)より平均値HRAを生成し、制御情報判断器18は制御部として平均値HRAを示す情報に応じてスケーラ14のズーム機能を図7に示すズームパラメータに従って制御する。
Figure 2008152720
制御情報判断器18がスケーラ14のズーム機能を制御するタイミングは、既に図8(A)〜(D)で説明したものと同様である。
(実施例3)
実施例3では、画面内のユーザ3の画像の大きさと位置を制御する方法(ズーム機能とシフト機能)の一例を示す。
図12は、図2に示したグラフィックス生成器15で生成される操作用画像を表示装置21に表示させた図であり、ズーム機能を働かせるための操作ボタン50と、測定領域55とを有するズームボタン5Cを示す図である。操作ボタン50は測定領域55に重畳されている。操作用画像には、既述したメニューボタン40〜45も含まれている。
測定領域55は、実施例1の測定領域51と同様の働きをもつ領域である。測定領域55は、後述するようにスキャナ54がデータを検出するために移動する初期状態の範囲として設定された初期測定領域551と、初期測定領域551に隣接した予備測定領域552とを含む。初期状態とは、ズームボタン5Cにユーザ3の手がかざされる前の状態をさす。初期測定領域551は操作ボタン50を中心として設定されており、実施例3では初期測定領域551を測定領域51と同じ大きさとした。従って、図11と同様にスキャナ54は初期測定領域551を全20ステップで移動する。スキャナ54は、操作ボタン50がユーザ3によって操作されるまで、初期測定領域551内を移動し続ける。
ズームボタン5Cは、ユーザ3がどの位置にいても操作しやすいように表示装置21の画面の上部中央や、中央部に配置すればよい。なお図12では、操作ボタン50及び初期測定領域551は、測定領域55の中央部に配置されているがこれに限るものではない。更に、本実施例では初期測定領域551はユーザ3から視認でき、測定領域55は視認できないが、これに限るものではない。
また既述したように、鏡像変換及びスケーラ処理済みの画像には、操作ボタン50及びメニューボタン40〜45に対応する検出領域がそれぞれ設定され、図12に示す各ボタンと同様に配置されている。操作ボタン50に対応した検出領域は図示していない検出領域500、測定領域55及び初期測定領域551に対応する検出領域は、測定領域55より小なる面積を有するスキャナ54である。各メニューボタン40〜45に対応する各検出領域、検出領域500及びスキャナ54は検出部17の各検出器171〜17nで検出される。
スキャナ54の測定領域55内での移動は、既述したとおり、移動制御部の制御に基づいてタイミングゲート器31に入力されるタイミングパルスによるものである。移動制御部は、スキャナ54を測定領域55内で所定の時間をかけて順次移動させる。実施例3では、図10に示した第1のスキャン方法で、操作ボタン50がユーザ3によって操作されるまでスキャナ54を初期測定領域551内で常時移動させている。
ここで、ユーザ3がズーム機能を起動させるためにズームボタン5Cに対して手をかざす際、様々な理由から操作ボタン50に手がかざされないことが想定できる。図13(A)〜(C)は、ユーザ3が手をズームボタン5Cにかざした状態を示している。先に述べたように測定領域55はユーザ3から視認されないため、ユーザ3にとってズームボタン5Cの両端は初期測定領域551の両端となる。
図13(A)は、ズームボタン5Cの左端に手をかざしている図である。図13(B)は、ズームボタン5Cの中央部に手をかざしている図である。図13(C)は、ズームボタン5Cの右端に手をかざしている図である。
図14(A)〜(C)は、図13(A)〜(C)に示したズームボタン5Cにかざされた手の位置に基づいて、操作ボタン50と、スキャナ54が移動する領域553とが測定領域55内を移動(シフト)した図をそれぞれ示している。ここで、スキャナ54が移動する領域553を画面上での位置変更後の測定領域553と称し、初期測定領域551と画面上での位置変更後の測定領域553とは同じ面積を有する。
図14(A)は、図13(A)でズームボタン5Cの左端にかざされていた手の中央部に、操作ボタン50が位置するように操作ボタン50と測定領域553とからなる可動ボタンが移動している。同様に図13(B)、図13(C)の手の位置においても、図14(B)、図14(C)に示すようにかざされた手の中央部に操作ボタン50が位置するように可動ボタンが移動している。
このような可動ボタンの移動を、以下で詳細に説明する。
まず、ズームボタン5Cの手の位置を検出するアルゴリズムについて説明する。
スキャナ54は、タイミングゲート器31に入力されるタイミングパルスによって初期測定領域551内を全20ステップで移動する。20ステップは図11(B)に図示したものと同様である。スキャナ54を初期測定領域551内で順次移動させることで、鏡像変換器13及びスケーラ14を経た画像信号における初期測定領域551に相当する部分的な画像信号を抽出部(オブジェクト抽出器30及びタイミングゲート器31)が抽出する。抽出された部分的な画像信号に基づいて、スキャナ54に対応した検出器から、初期測定領域551における手の面積の割合に応じた検出信号が発生される。
制御情報判断器18は検出信号に基づいて、1スキャン期間毎に上記した初期測定領域551の各ステップj(j=0〜19)における手の割合HRS(j)を示す情報を(4)式より生成する。ノイズによる変動を抑えるため、手の割合HRS(j)が30%未満の値を示すステップjは、手の割合HRS(j)を0とする。
実施例3では、スキャナ54に対応した検出器が発生する検出信号は、初期測定領域551にかざされた手の位置を示す情報も含む。制御情報判断器18は検出信号に基づいて下記(6)式より、初期測定領域551にかざされた手の重心HRCを示す情報を生成する。
Figure 2008152720
続いて、求めた手の重心HRCに基づいて、操作ボタン50が手の重心HRCに位置するように操作ボタン50を移動させる。
移動は例えば、操作ボタン50の設定パラメータの1つである水平スタートポイントと手の重心HRCとを一致させればよい。水平スタートポイントに対して、図15に示すIIRフィルタをかけ、操作ボタン50の移動における不連続な動作を抑圧する。
図15(A)は、時間軸方向に導入したIIRフィルタの構成を示す図である。IIRフィルタは、少ない部品点数で抑制効果が大きい、応答特性の変更が容易、ハンチングのない応答(一次の伝達特性の場合)という特徴を有する。伝達特性は、(7)式で示され、kは帰還係数(リーク係数)であり、k<1である。
Figure 2008152720
図15(B)はIIRフィルタの特性図である。横軸はフィールド数、縦軸は(7)式で求めた伝達特性を示している。帰還係数値を導くパラメータnの値により、応答速度を可変させることができる。
本実施形態のIIRフィルタはソフトウェアで構成したが、ハードウェアで構成してもよい。
以上の処理より、ユーザ3の手がかざされている位置に操作ボタン50が移動する。
次に制御情報判断器18は、操作ボタン50が手のぶれの影響などを受けずに安定して動作するよう、操作ボタン50の位置を固定する。固定は、図8(C)に示す活性化フラグがハイになったタイミングで行う。また制御情報判断器18は、操作ボタン50に対応する検出領域500の位置も移動させるよう、タイミングゲート器31に入力するタイミングパルスを変更する。
続いて制御情報判断器18は測定領域移動制御部として手の重心HRCを示す情報に基づいて、スキャナ54が移動する領域を初期測定領域551から画面上での位置変更後の測定領域553へと測定領域55内で移動させる。画面上での位置変更後の測定領域553が操作ボタン50を中心として位置するように設定する。スキャナ54の移動範囲の変更は、タイミングゲート器31に入力されるタイミングパルスを移動制御部が制御して行う。従って、図14(A)〜(C)に示すようにユーザ3の手の重心(中央部)に操作ボタン50が位置するように、可動ボタンが移動する。
実施例3で制御情報判断器18は、手の重心HRCから求めた手の位置の情報に基づいて、スケーラ14のシフト機能を制御し可動ボタンをシフトさせる。更に制御情報判断器18は、(5)式で求める測定領域553の各ステップjにおける手の割合HRS(j)の平均値HRAに基づき、図7に示すスケーラ14のズーム機能を図7に示すズームパラメータに従って制御する。
制御情報判断器18が制御部として、スケーラ14のシフト機能を制御するためのシフトパラメータを図16に示す。縦軸は、スケーラ14のシフト方向を示し、横軸は手の位置をステップjで示している。なお本実施形態では全ステップを20ステップ(j=0〜19)としたが、これに限るものではない。測定開始時に手が、画面に向かって初期測定領域551の左側に位置すると、操作ボタン50及び測定領域553(可動ボタン)がユーザ3に対して左にシフトするように、可動ボタンを測定領域55内で右方向にシフトさせる。可動ボタンの移動に伴い、鏡像変換器13及びスケーラ14を経た画像信号における操作ボタン50に対応する検出領域500の位置及びスキャナ54の移動する範囲も変更される。
測定開始時に手が、初期測定領域551の中央に位置すると、ユーザ3が操作に対して最適な位置にいるとみなし、スケーラ14のシフト機能は働かせないものとする。測定開始時に手が、画面に向かって初期測定領域551の右側に位置すると、スケーラ14は可動ボタンがユーザ3に対して右にシフトするように、可動ボタンを測定領域55内で左方向にシフトさせる。可動ボタンの移動に伴って、検出領域500の位置及びスキャナ54の移動する範囲も変更される。
ズーム機能を働かせるタイミングは、図8に示したとおりである。図8(D)に示すズーム確定フラグがハイになり、時定数Tmを経たあと、スキャナ54が画面上での位置変更後の測定領域553の測定を開始する。
制御情報判断器18は生成部として、スキャナ54に対応する検出器から出力された測定領域553における手の面積の割合に応じた検出信号に基づいて、(4)式より測定領域553における20ステップ全ての手の割合HRS(j)を示す情報を生成し、(5)式より手の平均値HRAを示す情報を生成する。続いて制御情報判断器18は制御部として、平均値HRAを示す情報に応じてスケーラ14のズーム機能を図7に示すズームパラメータに従って制御する。また、ノイズによる変動を抑えるため、手の割合HRS(j)が30%未満の値を示すステップjは、手の割合HRS(j)を0とする。
図17に、スキャナ54の他の実施形態であるスキャナ540を示す。スキャンは、図17の上から下へ向かって進んでいる。スキャナ540は、スキャナ54より水平方向に広い領域のデータを検出できるものであり、例えばスキャン測定領域53の2ステップ分の領域を一度に検出できる。スキャナ540は、スキャン測定領域53の左端部(0ステップ)から右端部(19ステップ)に向かって、2ステップ分の領域の半分ずつ移動する。従って、各ステップから重複してデータを検出することとなり、手の重心HRCを求める際など安定した動作を行え、好ましい。
図18(A)〜(E)に、実施例3のスケーラ14のズーム機能及びシフト機能を用いた、画面内のユーザ3の大きさ及び位置の最適化について説明する。ここで最適化とは、図18(E)に示すように画面中央に適当な大きさでユーザ3が映ることを言う。
図18(A)は、ユーザ3が画面左側に大きく映っている場合を示している。図18(E)のように最適化するためスケーラ14は、ビデオカメラ2より出力された画像信号又は鏡像変換器13により鏡像変換された画像信号を縮小し、表示画面21に表示されたユーザ3の位置を左方向にシフトさせる。
図18(B)は、ユーザ3が画面右側に大きく映っている場合を示している。図18(E)のように最適化するためスケーラ14は、ビデオカメラ2より出力された画像信号又は鏡像変換器13により鏡像変換された画像信号を縮小し、表示画面21に表示されたユーザ3の位置を右方向にシフトさせる。
図18(C)は、ユーザ3が画面左側に小さく映っている場合を示している。図18(E)のように最適化するためスケーラ14は、ビデオカメラ2より出力された画像信号又は鏡像変換器13により鏡像変換された画像信号を拡大し、表示画面21に表示されたユーザ3の位置を左方向にシフトさせる。
図18(D)は、ユーザ3が画面右側に小さく映っている場合を示している。図18(E)のように最適化するためスケーラ14は、ビデオカメラ2より出力された画像信号又は鏡像変換器13により鏡像変換された画像信号を拡大し、表示画面21に表示されたユーザ3の位置を右方向にシフトさせる。
ビデオカメラ2より出力される画像信号は、表示装置21に表示されている画像信号の範囲よりも広い範囲を撮影したものである。従って、図18で説明したように表示画像を最適化するために拡大縮小及び移動しても、表示画像は切れることがない。
図19(A)は、ユーザ3が表示装置21に対して近い位置にいる場合を示し、図19(B)は、ユーザ3が表示装置21に対して遠い位置にいる場合を示す。ユーザ3がいずれの位置にいても、ビデオカメラ2によって撮影され、表示装置21に表示されているユーザ3の大きさは同じである。本発明の一実施形態であるスケーラ14のズーム機能及びシフト機能を使用することで、ユーザ3がどこに位置していても、表示装置21に表示されたユーザ3の大きさと操作用画像との大きさとが同じ関係になるように制御できる。従って、ユーザ3は表示装置21に対してどの位置にいても、操作ボタン等の操作が確実に検出され、ユーザ3の操作性が向上する。
本発明の電子機器の操作方法の概要を説明するための図である。 本発明の一実施形態にかかる電子機器(テレビジョン受像機1)の要部の構成を示すブロック図である。 図2に示す検出器の構成を示すブロック図である。 図2に示すオブジェクト抽出器の構成を示すブロック図である。 実施例1のズームボタン5Aを示す図である。 ズームボタン5Aに占める手の割合と、手の割合に基づいたヒストグラムとを示す図である。 本実施形態のスケーラ14のズームパラメータを示す図である。 本実施形態のスケーラ14のズーム機能を制御するタイミングを示す図である。 実施例2のズームボタン5Bを示す図である。 第1と第2のスキャン方法を示す図である。 ズームボタン5Bに占める手の割合と、手の割合に基づいたヒストグラムとを示す図である。 実施例3のズームボタン5Cを示す図である。 ユーザ3が手をズームボタン5Cにかざした状態を示す図である。 可動ボタンが移動した後の状態を示す図である。 本実施形態のIIRフィルタを示す図である。 本実施形態のスケーラ14のシフトパラメータを示す図である。 スキャナ54の他の実施形態であるスキャナ540を示す図である。 実施例3のスケーラ14を用いた画面内のユーザ3の大きさ及び位置の最適化について説明するための図である。 本実施形態のスケーラ14による画像調整を示す図である。
符号の説明
1 テレビジョン受像機(電子機器)
2 ビデオカメラ
3 ユーザ(操作者)
12 タイミングパルス発生器(移動制御部)
13 鏡像変換器
14 スケーラ(画像調整器)
15 グラフィックス生成器(操作用画像生成器)
16 第1の混合器(混合器)
17 検出部
17n 検出器
18 制御情報判断器(生成部、制御部、移動制御部、測定領域移動制御部)
21 表示装置
30 オブジェクト抽出器(抽出部)
31 タイミングゲート器(抽出部)

Claims (6)

  1. 電子機器において、
    ビデオカメラと、
    前記ビデオカメラの前に位置する操作者を前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換器と、
    前記ビデオカメラによって撮影した画像信号又は前記鏡像変換器により鏡像変換された画像信号を拡大又は縮小する画像調整器と、
    前記鏡像変換器及び前記画像調整器を経た画像信号を表示する表示装置と、
    前記表示装置の画面上に表示された操作者の大きさを調整するために前記画面上に第1の面積を有する測定領域が設定され、前記画面に表示された操作者が対象物を前記測定領域にかざしたときの前記第1の面積に占める前記対象物の面積の割合を示す情報を生成する生成部と、
    前記生成部によって生成された情報に応じて、前記表示装置の画面上に表示された操作者の大きさを調整するよう前記画像調整器を制御する制御部とを備えることを特徴とする電子機器。
  2. 前記測定領域に重畳する操作ボタン用の操作用画像信号を生成する操作用画像生成器と、
    前記鏡像変換器及び前記画像調整器を経た画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器と、
    前記操作ボタンに対応する第1の検出領域を前記対象物により操作する所定の動作に対応した前記第1の検出領域内の画像信号に基づいて第1の検出信号を発生する第1の検出器とを備え、
    前記制御部は、前記第1の検出器が前記第1の検出信号を発生したのに応答して前記操作者の大きさを調整することを特徴とする請求項1記載の電子機器。
  3. 前記測定領域と一致した第2の検出領域が設定され、前記鏡像変換器及び前記画像調整器を経た画像信号における前記第2の検出領域に相当する部分的な画像信号を抽出する抽出部と、
    前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器とを備え、
    前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする請求項1又は2記載の電子機器。
  4. 前記測定領域より小なる第2の面積を有する第3の検出領域が設定され、前記第3の検出領域を前記測定領域内で所定の時間をかけて順次移動させる移動制御部と、
    前記移動制御部によって前記第3の検出領域を前記測定領域内で移動させることによって、前記鏡像変換器及び前記画像調整器を経た画像信号における前記測定領域に相当する部分的な画像を抽出する抽出部と、
    前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器とを備え、
    前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする請求項1又は2記載の電子機器。
  5. 前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、
    前記画像調整器は、前記第2の検出信号に応じて前記画面に表示された操作者の位置を移動させることを特徴とする請求項4記載の電子機器。
  6. 前記測定領域は、前記検出領域が移動する初期状態の範囲として設定された初期測定領域と前記初期測定領域に隣接した予備測定領域とを含み、
    前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、
    前記対象物の位置を示す情報に基づいて、前記検出領域が移動する領域を前記初期測定領域から前記予備測定領域を含む領域へと移動させる測定領域移動制御部を有することを特徴とする請求項4記載の電子機器。
JP2006342718A 2006-12-20 2006-12-20 電子機器 Expired - Fee Related JP4720738B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006342718A JP4720738B2 (ja) 2006-12-20 2006-12-20 電子機器
CN2007101851383A CN101207746B (zh) 2006-12-20 2007-10-30 电子设备
US11/979,236 US8203601B2 (en) 2006-12-20 2007-10-31 Electronic appliance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006342718A JP4720738B2 (ja) 2006-12-20 2006-12-20 電子機器

Publications (2)

Publication Number Publication Date
JP2008152720A true JP2008152720A (ja) 2008-07-03
JP4720738B2 JP4720738B2 (ja) 2011-07-13

Family

ID=39542179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006342718A Expired - Fee Related JP4720738B2 (ja) 2006-12-20 2006-12-20 電子機器

Country Status (3)

Country Link
US (1) US8203601B2 (ja)
JP (1) JP4720738B2 (ja)
CN (1) CN101207746B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106921A (ja) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd ポインティング装置及びポインティング装置用プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720738B2 (ja) * 2006-12-20 2011-07-13 日本ビクター株式会社 電子機器
JP4702418B2 (ja) * 2008-09-09 2011-06-15 カシオ計算機株式会社 撮影装置、画像領域の存否判定方法及びプログラム
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US20120288251A1 (en) * 2011-05-13 2012-11-15 Cyberlink Corp. Systems and methods for utilizing object detection to adaptively adjust controls
CN103207725B (zh) * 2012-01-13 2017-02-08 腾讯科技(深圳)有限公司 一种图标变换方法及装置
JP5969847B2 (ja) * 2012-07-19 2016-08-17 オリンパス株式会社 撮像装置
JP6008309B2 (ja) * 2013-03-29 2016-10-19 パナソニックIpマネジメント株式会社 電子ミラー装置
TWI524213B (zh) * 2013-04-02 2016-03-01 宏達國際電子股份有限公司 控制方法及電子裝置
US9749541B2 (en) * 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
KR101511117B1 (ko) * 2014-01-07 2015-04-10 주식회사 토비스 양면 디스플레이장치
JP6702746B2 (ja) * 2016-02-10 2020-06-03 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
KR101882202B1 (ko) * 2016-07-11 2018-08-24 현대자동차주식회사 사용자 인터페이스 장치, 이를 포함하는 차량 및 차량의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311508A (ja) * 1993-04-26 1994-11-04 Toshiba Corp テレビ電話装置
JP2006091948A (ja) * 2004-09-21 2006-04-06 Victor Co Of Japan Ltd 電子機器の制御装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124891A (en) * 1987-11-04 2000-09-26 Canon Kabushiki Kaisha Exposure control device
US4972265A (en) * 1988-05-06 1990-11-20 Minolta Camera Kabushiki Kaisha Electronic camera having a controllable light blocking member
EP0364137A3 (en) * 1988-09-29 1991-07-03 Nikon Corporation Automatic focus state detecting apparatus
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
DE69634913T2 (de) * 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
EP0837602A3 (en) * 1996-10-17 1999-10-06 Kabushiki Kaisha Toshiba Letterbox image detection apparatus
US7472047B2 (en) * 1997-05-12 2008-12-30 Immersion Corporation System and method for constraining a graphical hand from penetrating simulated graphical objects
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US7148909B2 (en) * 1998-05-27 2006-12-12 Canon Kabushiki Kaisha Image display system capable of displaying and scaling images on plurality of image sources and display control method therefor
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US7084884B1 (en) * 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
US6560410B2 (en) * 2000-05-26 2003-05-06 Fuji Photo Film Co., Ltd. Image forming apparatus and method for calibrating the same
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7421727B2 (en) * 2003-02-14 2008-09-02 Canon Kabushiki Kaisha Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method
JP3918788B2 (ja) * 2003-08-06 2007-05-23 コニカミノルタフォトイメージング株式会社 撮像装置、およびプログラム
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
EP1859432A4 (en) * 2005-03-01 2011-09-14 Nissi Vilcovsky DEVICES, SYSTEMS AND METHOD FOR RECORDING AND DISPLAYING APPEARANCE PICTURES
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
US20070003913A1 (en) * 2005-10-22 2007-01-04 Outland Research Educational verbo-visualizer interface system
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
JP4650381B2 (ja) * 2006-09-08 2011-03-16 日本ビクター株式会社 電子機器
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
JP4720738B2 (ja) * 2006-12-20 2011-07-13 日本ビクター株式会社 電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311508A (ja) * 1993-04-26 1994-11-04 Toshiba Corp テレビ電話装置
JP2006091948A (ja) * 2004-09-21 2006-04-06 Victor Co Of Japan Ltd 電子機器の制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106921A (ja) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd ポインティング装置及びポインティング装置用プログラム

Also Published As

Publication number Publication date
CN101207746B (zh) 2012-01-11
CN101207746A (zh) 2008-06-25
US20080151045A1 (en) 2008-06-26
JP4720738B2 (ja) 2011-07-13
US8203601B2 (en) 2012-06-19

Similar Documents

Publication Publication Date Title
JP4720738B2 (ja) 電子機器
US8144121B2 (en) Method and apparatus for controlling electronic appliance
US7629959B2 (en) Controller for electronic appliance
US8179367B2 (en) Electronic appliance having a display and a detector for generating a detection signal
US20140333533A1 (en) Information processing apparatus, method and program
US6226040B1 (en) Apparatus for converting video signal
JP2009089068A (ja) 電子機器の制御装置、制御方法及び制御プログラム
JP6753049B2 (ja) プロジェクター、及び、プロジェクターの制御方法。
JP2007087100A (ja) 電子機器システム
US20060221237A1 (en) Display apparatus and control method thereof
US20070094610A1 (en) Display apparatus and control method thereof
JP2009087095A (ja) 電子機器の制御装置、制御方法及び制御プログラム
JP7195816B2 (ja) 投影装置、投影装置の制御方法、プログラム、および記憶媒体
JP4378978B2 (ja) 表示処理装置および固定画素型表示システム
JP2008118633A (ja) 電子機器の制御装置及び制御方法
JP2008282131A (ja) 電子機器の制御装置
JP2009010849A (ja) 電子機器の制御装置
JP4438652B2 (ja) 照明装置の制御方法及び電子機器の遠隔操作方法
JP4963577B2 (ja) 画像表示装置
KR100597749B1 (ko) 디스플레이장치 및 그 제어방법
US11665327B2 (en) Image processing apparatus
JP5180569B2 (ja) カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム
KR100720341B1 (ko) 디스플레이장치
JP2010003303A (ja) 電子機器の制御装置
JP2006202106A (ja) 表示装置および画像の拡大、縮小方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees