JP2008152720A - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP2008152720A JP2008152720A JP2006342718A JP2006342718A JP2008152720A JP 2008152720 A JP2008152720 A JP 2008152720A JP 2006342718 A JP2006342718 A JP 2006342718A JP 2006342718 A JP2006342718 A JP 2006342718A JP 2008152720 A JP2008152720 A JP 2008152720A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- detection
- signal
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】電子機器1はビデオカメラ2を有する。ビデオカメラ2によって撮影され表示装置21の画面上に表示されたユーザの大きさを調整するために、画面上に第1の面積を有する測定領域が設定されている。測定領域にユーザが手をかざしたときの第1の面積に占める手の面積の割合を示す情報を制御情報判断器18が生成する。生成された情報に応じて、画面上に表示されたユーザの大きさを拡大縮小するよう制御情報判断器18は画像調整器14を制御する。
【選択図】図2
Description
(a)電子機器1において、ビデオカメラ2と、前記ビデオカメラの前に位置する操作者3を前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換器13と、前記ビデオカメラによって撮影した画像信号又は前記鏡像変換器により鏡像変換された画像信号を拡大又は縮小する画像調整器14と、前記鏡像変換器及び前記画像調整器を経た画像信号を表示する表示装置21と、前記表示装置の画面上に表示された操作者の大きさを調整するために前記画面上に第1の面積を有する測定領域51,53,55が設定され、前記画面に表示された操作者が対象物を前記測定領域にかざしたときの前記第1の面積に占める前記対象物の面積の割合を示す情報を生成する生成部18と、前記生成部によって生成された情報に応じて、前記表示装置の画面上に表示された操作者の大きさを調整するよう前記画像調整器を制御する制御部18とを備えることを特徴とする電子機器。
(b)前記測定領域に重畳する操作ボタン50用の操作用画像信号を生成する操作用画像生成器15と、前記鏡像変換器及び前記画像調整器を経た画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器16と、前記操作ボタンに対応する第1の検出領域500を前記対象物により操作する所定の動作に対応した前記第1の検出領域内の画像信号に基づいて第1の検出信号を発生する第1の検出器(171〜17nいずれかの検出器)とを備え、前記制御部は、前記第1の検出器が前記第1の検出信号を発生したのに応答して前記操作者の大きさを調整することを特徴とする(a)記載の電子機器。
(c)前記測定領域と一致した第2の検出領域52が設定され、前記鏡像変換器及び前記画像調整器を経た画像信号における前記第2の検出領域に相当する部分的な画像信号を抽出する抽出部30,31と、前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器(171〜17nいずれかの検出器)とを備え、前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする(a)又は(b)記載の電子機器。
(d)前記測定領域より小なる第2の面積を有する第3の検出領域54が設定され、前記第3の検出領域を前記測定領域内で所定の時間をかけて順次移動させる移動制御部12,18と、前記移動制御部によって前記第3の検出領域を前記測定領域内で移動させることによって、前記鏡像変換器及び前記画像調整器を経た画像信号における前記測定領域に相当する部分的な画像を抽出する抽出部30,31と、前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器(171〜17nいずれかの検出器)とを備え、前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする(a)又は(b)記載の電子機器。
(e)前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、前記画像調整器は、前記第2の検出信号に応じて前記画面に表示された操作者の位置を移動させることを特徴とする(d)記載の電子機器。
(f)前記測定領域は、前記検出領域が移動する初期状態の範囲として設定された初期測定領域551と前記初期測定領域に隣接した予備測定領域552とを含み、前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、前記対象物の位置を示す情報に基づいて、前記検出領域が移動する領域を前記初期測定領域から前記予備測定領域を含む領域553へと移動させる測定領域移動制御部18を有することを特徴とする(d)記載の電子機器。
操作者(ユーザ)3がテレビジョン受像機1を従来の操作方法で操作する場合、ユーザ3はリモコン装置4を手に持ち、所望の機能を働かせるキーをテレビジョン受像機1に向けて押下する。したがって、リモコン装置4が無ければテレビジョン受像機1を操作できず、不便を強いられる場合を時々経験する。
ユーザ3の動作とは、具相的にはテレビジョン受像機1に表示されるメニュー画面から所望のボタンを選択する身体(手、足、顔など)の動きのことである。本実施形態では後述するように最も実用的である手の動きで操作する手法が採用されている。またテレビジョン受像機1の周囲が暗いときは、自発光機能を具備した遠隔操作用機器(手元制御機器)を用いることにより、手の動作と同様の効果を得るようにしている。
ビデオカメラ2は、図1に示すようにテレビジョン受像機1の前面に位置してユーザ3、またはテレビジョン受像機1の前の映像を撮影する。ビデオカメラ2の出力信号は、輝度(Y)信号、及び色差(R−Y、B−Y)信号であり、基準同期発生器11から出力される水平周期パルス及び垂直周期パルスに同期している。
本実施形態では、図2に示すようにスケーラ14は鏡像変換器13の後段に設け、鏡像変換器13により鏡像変換された画像を調整するが、ビデオカメラ2と鏡像変換器13の間にスケーラ14を設け、ビデオカメラ2より出力された画像を調整させてもよい。
メニュー画面を構成するグラフィックスの画素数は、本実施形態では表示装置21の画素数に一致させるようにしている。一致していない場合は、グラフィックス生成器15内またはグラフィックス生成器15の後段に画素数変換器を設けて、互いの画素数を一致させればよい。
M1o=α1×S1+(1−α1)×Gs…(1)
制御値α1は、「0」から「1」の間の値に設定され、制御値α1を大きくするとスケーラ14の出力信号S1の割合が大きくなり、グラフィックス生成器15の出力信号Gsの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される2系統の信号情報が入っていれば同様の効果が得られる。なお、既述したようにビデオカメラ2と鏡像変換器13の間にスケーラ14を設けた場合には、鏡像変換器13から出力される信号を出力信号S1とすればよい。
M2o=α2×M1o+(1−α2)×S2…(2)
制御値α2は、「0」から「1」の間の値に設定され、制御値α2を大きくすると第1の混合器16の出力信号M1oの割合が大きくなり、画素数変換器19の出力信号S2の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される2系統の信号情報が入っていれば同様の効果が得られる。
タイミングゲート器31は、タイミングパルスに基づいてビデオカメラ2からの画像信号の通過を制御する。通過する領域は後述する検出エリア内である。この検出エリア内に限定した信号に対して、オブジェクト特徴データ検出部32は種々のフィルタ処理を施してビデオカメラ2で撮影したユーザ3の手の画像を抽出する。
オブジェクト特徴データ検出部32は、抽出されたユーザ3の手(対象物)の画像信号から、さまざまな特徴を検出し検出信号を発生するための機能ブロックを備える。本実施形態では、ヒストグラム検出器33、平均輝度(APL)検出器34、高域頻度検出器35、最小値検出器36、最大値検出器37を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器より発生される検出信号を用い、制御情報判断器18によって手であることを判別すると共にその動作を認識する。
特定色フィルタ71、階調限定器72及び時間差分フィルタ75は、それぞれオブジェクトを特定するフィルタである。特定色フィルタ71は、色差信号で入力される色信号の色相と色の濃さ(飽和度)を限定し、階調限定器72は、輝度信号の特定の階調の範囲を限定する。時間差分フィルタ75は、人の手の背景が肌色であっても、わずかな輝度の差などを基に手の領域を抽出し、人の手を識別する。本実施形態では人の手を、後述する操作ボタンを操作する対象物としているが、パラメータである色相や階調を調整し最適化することにより、オブジェクト抽出器30は手以外の対象物も検出することができる。
特定色フィルタ71と階調限定器72と時間差分フィルタ75のうちの、2つを通過した信号が存在すればハイレベルとなるようにすれば誤検出しにくく、3つを通過した信号が存在すればハイレベルとなるようにすれば更に誤検出しにくくなる。
合成器73で生成された領域パルスは、オブジェクトゲート器74に供給される。オブジェクトゲート器74は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル(領域パルス外の範囲)であるときは、輝度信号も色差信号も通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度0の色差信号を出力する。
実施例1では、画面内のユーザ3の画像の大きさを制御する方法(ズーム機能)の一例を示す。
図5(A)は、図2に示したグラフィックス生成器15で生成される操作用画像を表示装置21に表示させた図であり、ズーム機能を働かせるための操作ボタン50と、操作ボタン50より画面の水平方向に大きい測定領域51とを有するズームボタン5Aを示す図である。操作ボタン50は測定領域51に重畳されている。操作用画像には、テレビジョン受像機1を制御するための操作内容をそれぞれ示すメニューボタン40〜45も含まれている。
操作ボタン50は、後述するようにビデオカメラ2から入力される画像に対するズーム機能を働かせるためのものである。測定領域51は、後述するようにズームボタン5Aにかざされている手の割合を求めるための領域である。実施例1の測定領域51は、実際にはユーザ3に視認されない。ズームボタン5Aは、ユーザ3がどの位置にいても操作しやすい位置に配置してあればよく、例えば図5(A)のように画面の上部中央、または画面の中央部に配置すればよい。
図5(B)は、手を操作ボタン50にかざした状態を拡大して示している。
鏡像変換及びスケーラ処理済みの画像には、検出部17の各検出器171〜17nに対応する検出領域が含まれている。各検出領域は、操作ボタン50、測定領域51及びメニューボタン40〜45にそれぞれ対応し、鏡像変換及びスケーラ処理済みの画像上に、図5(A)の操作用画像上に示した各ボタン40〜45、50又は測定領域51と同じ位置に配置されている。ここで、操作ボタン50に対応した検出領域を検出領域500、測定領域51に一致した検出領域を検出領域52とする。
検出部17は、ユーザ3が手をかざした各ボタン40〜45、50及び測定領域51に対応して設けられている各検出領域内の手を検出した検出データを制御情報判断器18に出力する。
手がかざされている領域522は、オブジェクト抽出器30(時間差分フィルタ75)によって発生した差分が抽出され、輝度信号と色差信号とが出力される。手がかざされている領域522以外の何もかざされていない領域521は差分が発生しないため、オブジェクト抽出器30より黒レベルの輝度信号及び飽和度0の色差信号が出力される。
本実施形態ではオブジェクト抽出器30より出力され、タイミングゲート器31において検出領域内に限定された画像信号(輝度信号)に基づいて、オブジェクト特徴データ検出部32のヒストグラム検出器33より検出領域52における手の面積の割合に応じた検出信号を発生させる。検出信号を発生させる検出器は、オブジェクト特徴データ検出部32を構成する他の検出器としてもよい。図6(B)は、図6(A)の状態の検出領域52における、明るさの頻度分布(ヒストグラム)を示す図である。縦軸に頻度を示し、横軸に輝度信号の階調(明るさ)を0〜7の8ステップに区切って示している。図6(B)において階調0は、オブジェクトが検出されない領域521、階調4〜7は手がかざされている領域522の明るさをそれぞれ示す。
制御情報判断器18は、ヒストグラム検出器33から出力された手の面積の割合に応じた各階調における頻度分布の情報を示す検出信号を受け取り、検出領域52に占める手の割合HRを示す情報を生成する。制御情報判断器18は生成部として、手の割合HR[%]を下記(3)式より求める。
実施例1では、手の割合HRの情報(HR情報)に基づいて制御情報判断器18がスケーラ14のパラメータを制御し、スケーラ14のズーム機能を働かせる。なお、ビデオカメラ2から取り込んだ手の画像に基づいたHR情報によりズーム機能を働かせるため、ユーザ3の手の大きさに応じて最適化されるものであり、大人の手、子供の手と言った絶対的な手の大きさは問題にならない。
図8(A)において、検出領域500に占める手の割合HRが100%に到達し、図8(B)において、検出領域52に占める手の割合HRが50%に到達すると、時定数T1を経て、(C)に示す活性化フラグが立ち上がる。続いて、図8(A)に示すt1からt2までの期間のように、ユーザ3が操作ボタン50を操作する所定の動作に対応した検出領域500内の画像信号に基づいた検出信号が検出領域500に対応する検出器より発生され、操作ボタン50が操作されたことが確定すると、時定数T2を経て、(D)に示すズーム確定フラグが立ち上がる。本実施形態において所定の動作とは、ユーザ3が操作ボタン50上に手をかざし、2度繰り返し指を折り曲げる動作である。
本実施形態では、検出領域500に占める手の割合HRが100%に到達し、検出領域52に占める手の割合HRが50%に到達したときに活性化フラグが立ち上がるが、それぞれの手の割合HRはこれに限るものではない。
制御情報判断器18は、時定数Tmを経たあとに続く所望のフレーム数における検出領域52に占める手の割合HRの平均値を示す情報を生成する。平均値を示す情報に応じて、制御情報判断器18はスケーラ14のズーム機能を図7に示すズームパラメータに従って制御する。例えば、ズーム確定フラグがハイになった3フレーム後(Tm)から、制御情報判断器18は生成部として3フレーム分の検出領域52に占める手の割合HRの平均値を示す情報を生成する。続いて制御情報判断器18は制御部として、平均値の情報に応じて表示装置21の画面上に表示されたユーザ3の大きさを適当な大きさに調整するよう、スケーラ14のズーム機能を制御する。
なお、制御情報判断器18は、図8(C)に示す活性化フラグがハイになったあとからズーム確定フラグがハイになるまでの期間(t1からt2までの期間は除く)に、上記したような方法で手の割合HRの平均値を示す情報を生成してもよい。
実施例2では、画面内のユーザ3の画像の大きさを制御する方法(ズーム機能)の他の一例を示す。
図9(A)は、図2に示したグラフィックス生成器15で生成される操作用画像を表示装置21に表示させた図であり、ズーム機能を働かせるための操作ボタン50と、スキャン測定領域53とを有するズームボタン5Bを示す図である。操作ボタン50はスキャン測定領域53に重畳されている。操作用画像には、既述したメニューボタン40〜45も含まれている。スキャン測定領域53は、実施例1の測定領域51と同様の働きをもつ領域であり、実施例2では測定領域51と同じ大きさとした。
ズームボタン5Bは、ユーザ3がどの位置にいても操作しやすいように表示装置21の画面の上部中央や、中央部に配置すればよい。なお、スキャン測定領域53はユーザ3が視認できなくてもよい。
図9(B)は、手を操作ボタン50にかざした状態を拡大して示している。
制御情報判断器18及びタイミングパルス生成器12(移動制御部)によって、図3に示したタイミングゲート器31に入力するタイミングパルスを変更することで、後述するようにスキャナ54を所定の時間をかけてスキャン測定領域53内を順次移動させる。スキャナ54をスキャン測定領域53内で移動させることで、鏡像変換器13及びスケーラ14を経た画像信号におけるスキャン測定領域53に相当する部分的な画像信号を、抽出部(オブジェクト抽出器30及びタイミングゲート器31)が抽出する。スキャナ54は実際にはユーザ3に視認されない。
第2のスキャン方法は、ユーザ3が手をかざす操作ボタン50の中心付近からスキャナ54の移動が開始する。従って、操作ボタン50にかざされた手によりスキャン測定領域53に発生する差分を、第1のスキャン方法よりも速い時間において検出できる。しかしながら第1、第2いずれのスキャン方法を用いても、スキャン測定領域53が全てスキャンされるまで手をかざしておく必要があるため、操作ボタン50に手をかざしている時間に差異はない。このことから、画面にオンスクリーン表示する等の方法によってスキャンが全て終わるまでユーザ3は操作ボタン50に手をかざし続けるよう、ユーザ3に知らしめることが好ましい。
図11(B)に示すように本実施形態では、スキャナ54はスキャン測定領域53を全20ステップでスキャンする。ここで、スキャナ54がスキャン測定領域53を全てスキャンするのにかかる期間、すなわち20ステップのスキャンにかかる期間を1スキャン期間とする。
図11(D)は、スキャン測定領域53のステップ6のヒストグラムである。スキャン測定領域53のステップ6には、手がかざされている領域と何もかざされていない領域とが存在する。従ってスキャナ54に対応する検出器より検出された検出信号に基づくヒストグラムは、何もかざされていない領域に基づく階調0と、手がかざされている領域において発生した差分に基づく階調2〜7とに分布している。
図11(F)は、スキャン測定領域53のステップ13のヒストグラムである。スキャン測定領域53のステップ13には、手がかざされている領域と何もかざされていない領域とが存在する。従ってスキャナ54に対応する検出器より検出された検出信号に基づくヒストグラムは、何もかざされていない領域に基づく階調0と、手がかざされている領域において発生した差分に基づく階調2〜7とに分布している。
実施例2では、スキャン測定領域53の各ステップjに占める手の割合HRS(j)の平均値HRAを下記の(5)式で求める。平均値HRAは、実施例1で(3)式より求めた手の割合HRに相当する。制御情報判断器18は生成部として手の割合HRS(j)より平均値HRAを生成し、制御情報判断器18は制御部として平均値HRAを示す情報に応じてスケーラ14のズーム機能を図7に示すズームパラメータに従って制御する。
実施例3では、画面内のユーザ3の画像の大きさと位置を制御する方法(ズーム機能とシフト機能)の一例を示す。
図12は、図2に示したグラフィックス生成器15で生成される操作用画像を表示装置21に表示させた図であり、ズーム機能を働かせるための操作ボタン50と、測定領域55とを有するズームボタン5Cを示す図である。操作ボタン50は測定領域55に重畳されている。操作用画像には、既述したメニューボタン40〜45も含まれている。
測定領域55は、実施例1の測定領域51と同様の働きをもつ領域である。測定領域55は、後述するようにスキャナ54がデータを検出するために移動する初期状態の範囲として設定された初期測定領域551と、初期測定領域551に隣接した予備測定領域552とを含む。初期状態とは、ズームボタン5Cにユーザ3の手がかざされる前の状態をさす。初期測定領域551は操作ボタン50を中心として設定されており、実施例3では初期測定領域551を測定領域51と同じ大きさとした。従って、図11と同様にスキャナ54は初期測定領域551を全20ステップで移動する。スキャナ54は、操作ボタン50がユーザ3によって操作されるまで、初期測定領域551内を移動し続ける。
スキャナ54の測定領域55内での移動は、既述したとおり、移動制御部の制御に基づいてタイミングゲート器31に入力されるタイミングパルスによるものである。移動制御部は、スキャナ54を測定領域55内で所定の時間をかけて順次移動させる。実施例3では、図10に示した第1のスキャン方法で、操作ボタン50がユーザ3によって操作されるまでスキャナ54を初期測定領域551内で常時移動させている。
図13(A)は、ズームボタン5Cの左端に手をかざしている図である。図13(B)は、ズームボタン5Cの中央部に手をかざしている図である。図13(C)は、ズームボタン5Cの右端に手をかざしている図である。
図14(A)は、図13(A)でズームボタン5Cの左端にかざされていた手の中央部に、操作ボタン50が位置するように操作ボタン50と測定領域553とからなる可動ボタンが移動している。同様に図13(B)、図13(C)の手の位置においても、図14(B)、図14(C)に示すようにかざされた手の中央部に操作ボタン50が位置するように可動ボタンが移動している。
まず、ズームボタン5Cの手の位置を検出するアルゴリズムについて説明する。
スキャナ54は、タイミングゲート器31に入力されるタイミングパルスによって初期測定領域551内を全20ステップで移動する。20ステップは図11(B)に図示したものと同様である。スキャナ54を初期測定領域551内で順次移動させることで、鏡像変換器13及びスケーラ14を経た画像信号における初期測定領域551に相当する部分的な画像信号を抽出部(オブジェクト抽出器30及びタイミングゲート器31)が抽出する。抽出された部分的な画像信号に基づいて、スキャナ54に対応した検出器から、初期測定領域551における手の面積の割合に応じた検出信号が発生される。
制御情報判断器18は検出信号に基づいて、1スキャン期間毎に上記した初期測定領域551の各ステップj(j=0〜19)における手の割合HRS(j)を示す情報を(4)式より生成する。ノイズによる変動を抑えるため、手の割合HRS(j)が30%未満の値を示すステップjは、手の割合HRS(j)を0とする。
実施例3では、スキャナ54に対応した検出器が発生する検出信号は、初期測定領域551にかざされた手の位置を示す情報も含む。制御情報判断器18は検出信号に基づいて下記(6)式より、初期測定領域551にかざされた手の重心HRCを示す情報を生成する。
移動は例えば、操作ボタン50の設定パラメータの1つである水平スタートポイントと手の重心HRCとを一致させればよい。水平スタートポイントに対して、図15に示すIIRフィルタをかけ、操作ボタン50の移動における不連続な動作を抑圧する。
本実施形態のIIRフィルタはソフトウェアで構成したが、ハードウェアで構成してもよい。
次に制御情報判断器18は、操作ボタン50が手のぶれの影響などを受けずに安定して動作するよう、操作ボタン50の位置を固定する。固定は、図8(C)に示す活性化フラグがハイになったタイミングで行う。また制御情報判断器18は、操作ボタン50に対応する検出領域500の位置も移動させるよう、タイミングゲート器31に入力するタイミングパルスを変更する。
続いて制御情報判断器18は測定領域移動制御部として手の重心HRCを示す情報に基づいて、スキャナ54が移動する領域を初期測定領域551から画面上での位置変更後の測定領域553へと測定領域55内で移動させる。画面上での位置変更後の測定領域553が操作ボタン50を中心として位置するように設定する。スキャナ54の移動範囲の変更は、タイミングゲート器31に入力されるタイミングパルスを移動制御部が制御して行う。従って、図14(A)〜(C)に示すようにユーザ3の手の重心(中央部)に操作ボタン50が位置するように、可動ボタンが移動する。
制御情報判断器18が制御部として、スケーラ14のシフト機能を制御するためのシフトパラメータを図16に示す。縦軸は、スケーラ14のシフト方向を示し、横軸は手の位置をステップjで示している。なお本実施形態では全ステップを20ステップ(j=0〜19)としたが、これに限るものではない。測定開始時に手が、画面に向かって初期測定領域551の左側に位置すると、操作ボタン50及び測定領域553(可動ボタン)がユーザ3に対して左にシフトするように、可動ボタンを測定領域55内で右方向にシフトさせる。可動ボタンの移動に伴い、鏡像変換器13及びスケーラ14を経た画像信号における操作ボタン50に対応する検出領域500の位置及びスキャナ54の移動する範囲も変更される。
測定開始時に手が、初期測定領域551の中央に位置すると、ユーザ3が操作に対して最適な位置にいるとみなし、スケーラ14のシフト機能は働かせないものとする。測定開始時に手が、画面に向かって初期測定領域551の右側に位置すると、スケーラ14は可動ボタンがユーザ3に対して右にシフトするように、可動ボタンを測定領域55内で左方向にシフトさせる。可動ボタンの移動に伴って、検出領域500の位置及びスキャナ54の移動する範囲も変更される。
制御情報判断器18は生成部として、スキャナ54に対応する検出器から出力された測定領域553における手の面積の割合に応じた検出信号に基づいて、(4)式より測定領域553における20ステップ全ての手の割合HRS(j)を示す情報を生成し、(5)式より手の平均値HRAを示す情報を生成する。続いて制御情報判断器18は制御部として、平均値HRAを示す情報に応じてスケーラ14のズーム機能を図7に示すズームパラメータに従って制御する。また、ノイズによる変動を抑えるため、手の割合HRS(j)が30%未満の値を示すステップjは、手の割合HRS(j)を0とする。
図18(A)は、ユーザ3が画面左側に大きく映っている場合を示している。図18(E)のように最適化するためスケーラ14は、ビデオカメラ2より出力された画像信号又は鏡像変換器13により鏡像変換された画像信号を縮小し、表示画面21に表示されたユーザ3の位置を左方向にシフトさせる。
図18(B)は、ユーザ3が画面右側に大きく映っている場合を示している。図18(E)のように最適化するためスケーラ14は、ビデオカメラ2より出力された画像信号又は鏡像変換器13により鏡像変換された画像信号を縮小し、表示画面21に表示されたユーザ3の位置を右方向にシフトさせる。
図18(D)は、ユーザ3が画面右側に小さく映っている場合を示している。図18(E)のように最適化するためスケーラ14は、ビデオカメラ2より出力された画像信号又は鏡像変換器13により鏡像変換された画像信号を拡大し、表示画面21に表示されたユーザ3の位置を右方向にシフトさせる。
2 ビデオカメラ
3 ユーザ(操作者)
12 タイミングパルス発生器(移動制御部)
13 鏡像変換器
14 スケーラ(画像調整器)
15 グラフィックス生成器(操作用画像生成器)
16 第1の混合器(混合器)
17 検出部
17n 検出器
18 制御情報判断器(生成部、制御部、移動制御部、測定領域移動制御部)
21 表示装置
30 オブジェクト抽出器(抽出部)
31 タイミングゲート器(抽出部)
Claims (6)
- 電子機器において、
ビデオカメラと、
前記ビデオカメラの前に位置する操作者を前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換器と、
前記ビデオカメラによって撮影した画像信号又は前記鏡像変換器により鏡像変換された画像信号を拡大又は縮小する画像調整器と、
前記鏡像変換器及び前記画像調整器を経た画像信号を表示する表示装置と、
前記表示装置の画面上に表示された操作者の大きさを調整するために前記画面上に第1の面積を有する測定領域が設定され、前記画面に表示された操作者が対象物を前記測定領域にかざしたときの前記第1の面積に占める前記対象物の面積の割合を示す情報を生成する生成部と、
前記生成部によって生成された情報に応じて、前記表示装置の画面上に表示された操作者の大きさを調整するよう前記画像調整器を制御する制御部とを備えることを特徴とする電子機器。 - 前記測定領域に重畳する操作ボタン用の操作用画像信号を生成する操作用画像生成器と、
前記鏡像変換器及び前記画像調整器を経た画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器と、
前記操作ボタンに対応する第1の検出領域を前記対象物により操作する所定の動作に対応した前記第1の検出領域内の画像信号に基づいて第1の検出信号を発生する第1の検出器とを備え、
前記制御部は、前記第1の検出器が前記第1の検出信号を発生したのに応答して前記操作者の大きさを調整することを特徴とする請求項1記載の電子機器。 - 前記測定領域と一致した第2の検出領域が設定され、前記鏡像変換器及び前記画像調整器を経た画像信号における前記第2の検出領域に相当する部分的な画像信号を抽出する抽出部と、
前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器とを備え、
前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする請求項1又は2記載の電子機器。 - 前記測定領域より小なる第2の面積を有する第3の検出領域が設定され、前記第3の検出領域を前記測定領域内で所定の時間をかけて順次移動させる移動制御部と、
前記移動制御部によって前記第3の検出領域を前記測定領域内で移動させることによって、前記鏡像変換器及び前記画像調整器を経た画像信号における前記測定領域に相当する部分的な画像を抽出する抽出部と、
前記抽出部によって抽出した前記部分的な画像信号に基づいて前記対象物の面積の割合に応じた第2の検出信号を発生する第2の検出器とを備え、
前記制御部は、前記第2の検出信号に応じて前記画像調整器を制御することを特徴とする請求項1又は2記載の電子機器。 - 前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、
前記画像調整器は、前記第2の検出信号に応じて前記画面に表示された操作者の位置を移動させることを特徴とする請求項4記載の電子機器。 - 前記測定領域は、前記検出領域が移動する初期状態の範囲として設定された初期測定領域と前記初期測定領域に隣接した予備測定領域とを含み、
前記第2の検出器が発生する前記第2の検出信号は、前記測定領域における前記対象物の位置を示す情報も含み、
前記対象物の位置を示す情報に基づいて、前記検出領域が移動する領域を前記初期測定領域から前記予備測定領域を含む領域へと移動させる測定領域移動制御部を有することを特徴とする請求項4記載の電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006342718A JP4720738B2 (ja) | 2006-12-20 | 2006-12-20 | 電子機器 |
CN2007101851383A CN101207746B (zh) | 2006-12-20 | 2007-10-30 | 电子设备 |
US11/979,236 US8203601B2 (en) | 2006-12-20 | 2007-10-31 | Electronic appliance |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006342718A JP4720738B2 (ja) | 2006-12-20 | 2006-12-20 | 電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008152720A true JP2008152720A (ja) | 2008-07-03 |
JP4720738B2 JP4720738B2 (ja) | 2011-07-13 |
Family
ID=39542179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006342718A Expired - Fee Related JP4720738B2 (ja) | 2006-12-20 | 2006-12-20 | 電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8203601B2 (ja) |
JP (1) | JP4720738B2 (ja) |
CN (1) | CN101207746B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014106921A (ja) * | 2012-11-29 | 2014-06-09 | Samsung R&D Institute Japan Co Ltd | ポインティング装置及びポインティング装置用プログラム |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4720738B2 (ja) * | 2006-12-20 | 2011-07-13 | 日本ビクター株式会社 | 電子機器 |
JP4702418B2 (ja) * | 2008-09-09 | 2011-06-15 | カシオ計算機株式会社 | 撮影装置、画像領域の存否判定方法及びプログラム |
JP5343773B2 (ja) * | 2009-09-04 | 2013-11-13 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
KR20120046973A (ko) * | 2010-11-03 | 2012-05-11 | 삼성전자주식회사 | 움직임 정보 생성 방법 및 장치 |
US20120288251A1 (en) * | 2011-05-13 | 2012-11-15 | Cyberlink Corp. | Systems and methods for utilizing object detection to adaptively adjust controls |
CN103207725B (zh) * | 2012-01-13 | 2017-02-08 | 腾讯科技(深圳)有限公司 | 一种图标变换方法及装置 |
JP5969847B2 (ja) * | 2012-07-19 | 2016-08-17 | オリンパス株式会社 | 撮像装置 |
JP6008309B2 (ja) * | 2013-03-29 | 2016-10-19 | パナソニックIpマネジメント株式会社 | 電子ミラー装置 |
TWI524213B (zh) * | 2013-04-02 | 2016-03-01 | 宏達國際電子股份有限公司 | 控制方法及電子裝置 |
US9749541B2 (en) * | 2013-04-16 | 2017-08-29 | Tout Inc. | Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device |
KR101511117B1 (ko) * | 2014-01-07 | 2015-04-10 | 주식회사 토비스 | 양면 디스플레이장치 |
JP6702746B2 (ja) * | 2016-02-10 | 2020-06-03 | キヤノン株式会社 | 撮像装置、その制御方法、プログラム及び記憶媒体 |
KR101882202B1 (ko) * | 2016-07-11 | 2018-08-24 | 현대자동차주식회사 | 사용자 인터페이스 장치, 이를 포함하는 차량 및 차량의 제어 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06311508A (ja) * | 1993-04-26 | 1994-11-04 | Toshiba Corp | テレビ電話装置 |
JP2006091948A (ja) * | 2004-09-21 | 2006-04-06 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6124891A (en) * | 1987-11-04 | 2000-09-26 | Canon Kabushiki Kaisha | Exposure control device |
US4972265A (en) * | 1988-05-06 | 1990-11-20 | Minolta Camera Kabushiki Kaisha | Electronic camera having a controllable light blocking member |
EP0364137A3 (en) * | 1988-09-29 | 1991-07-03 | Nikon Corporation | Automatic focus state detecting apparatus |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
DE69634913T2 (de) * | 1995-04-28 | 2006-01-05 | Matsushita Electric Industrial Co., Ltd., Kadoma | Schnittstellenvorrichtung |
EP0837602A3 (en) * | 1996-10-17 | 1999-10-06 | Kabushiki Kaisha Toshiba | Letterbox image detection apparatus |
US7472047B2 (en) * | 1997-05-12 | 2008-12-30 | Immersion Corporation | System and method for constraining a graphical hand from penetrating simulated graphical objects |
KR19990011180A (ko) * | 1997-07-22 | 1999-02-18 | 구자홍 | 화상인식을 이용한 메뉴 선택 방법 |
US7148909B2 (en) * | 1998-05-27 | 2006-12-12 | Canon Kabushiki Kaisha | Image display system capable of displaying and scaling images on plurality of image sources and display control method therefor |
US6501515B1 (en) * | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
US7084884B1 (en) * | 1998-11-03 | 2006-08-01 | Immersion Corporation | Graphical object interactions |
US6560410B2 (en) * | 2000-05-26 | 2003-05-06 | Fuji Photo Film Co., Ltd. | Image forming apparatus and method for calibrating the same |
JP3725460B2 (ja) * | 2000-10-06 | 2005-12-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US7421727B2 (en) * | 2003-02-14 | 2008-09-02 | Canon Kabushiki Kaisha | Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method |
JP3918788B2 (ja) * | 2003-08-06 | 2007-05-23 | コニカミノルタフォトイメージング株式会社 | 撮像装置、およびプログラム |
JP3847753B2 (ja) * | 2004-01-30 | 2006-11-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
EP1859432A4 (en) * | 2005-03-01 | 2011-09-14 | Nissi Vilcovsky | DEVICES, SYSTEMS AND METHOD FOR RECORDING AND DISPLAYING APPEARANCE PICTURES |
JP2007087100A (ja) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | 電子機器システム |
US20070003913A1 (en) * | 2005-10-22 | 2007-01-04 | Outland Research | Educational verbo-visualizer interface system |
US20070040033A1 (en) * | 2005-11-18 | 2007-02-22 | Outland Research | Digital mirror system with advanced imaging features and hands-free control |
JP4569555B2 (ja) * | 2005-12-14 | 2010-10-27 | 日本ビクター株式会社 | 電子機器 |
JP4650381B2 (ja) * | 2006-09-08 | 2011-03-16 | 日本ビクター株式会社 | 電子機器 |
US8144121B2 (en) * | 2006-10-11 | 2012-03-27 | Victor Company Of Japan, Limited | Method and apparatus for controlling electronic appliance |
JP4720738B2 (ja) * | 2006-12-20 | 2011-07-13 | 日本ビクター株式会社 | 電子機器 |
-
2006
- 2006-12-20 JP JP2006342718A patent/JP4720738B2/ja not_active Expired - Fee Related
-
2007
- 2007-10-30 CN CN2007101851383A patent/CN101207746B/zh not_active Expired - Fee Related
- 2007-10-31 US US11/979,236 patent/US8203601B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06311508A (ja) * | 1993-04-26 | 1994-11-04 | Toshiba Corp | テレビ電話装置 |
JP2006091948A (ja) * | 2004-09-21 | 2006-04-06 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014106921A (ja) * | 2012-11-29 | 2014-06-09 | Samsung R&D Institute Japan Co Ltd | ポインティング装置及びポインティング装置用プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN101207746B (zh) | 2012-01-11 |
CN101207746A (zh) | 2008-06-25 |
US20080151045A1 (en) | 2008-06-26 |
JP4720738B2 (ja) | 2011-07-13 |
US8203601B2 (en) | 2012-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4720738B2 (ja) | 電子機器 | |
US8144121B2 (en) | Method and apparatus for controlling electronic appliance | |
US7629959B2 (en) | Controller for electronic appliance | |
US8179367B2 (en) | Electronic appliance having a display and a detector for generating a detection signal | |
US20140333533A1 (en) | Information processing apparatus, method and program | |
US6226040B1 (en) | Apparatus for converting video signal | |
JP2009089068A (ja) | 電子機器の制御装置、制御方法及び制御プログラム | |
JP6753049B2 (ja) | プロジェクター、及び、プロジェクターの制御方法。 | |
JP2007087100A (ja) | 電子機器システム | |
US20060221237A1 (en) | Display apparatus and control method thereof | |
US20070094610A1 (en) | Display apparatus and control method thereof | |
JP2009087095A (ja) | 電子機器の制御装置、制御方法及び制御プログラム | |
JP7195816B2 (ja) | 投影装置、投影装置の制御方法、プログラム、および記憶媒体 | |
JP4378978B2 (ja) | 表示処理装置および固定画素型表示システム | |
JP2008118633A (ja) | 電子機器の制御装置及び制御方法 | |
JP2008282131A (ja) | 電子機器の制御装置 | |
JP2009010849A (ja) | 電子機器の制御装置 | |
JP4438652B2 (ja) | 照明装置の制御方法及び電子機器の遠隔操作方法 | |
JP4963577B2 (ja) | 画像表示装置 | |
KR100597749B1 (ko) | 디스플레이장치 및 그 제어방법 | |
US11665327B2 (en) | Image processing apparatus | |
JP5180569B2 (ja) | カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム | |
KR100720341B1 (ko) | 디스플레이장치 | |
JP2010003303A (ja) | 電子機器の制御装置 | |
JP2006202106A (ja) | 表示装置および画像の拡大、縮小方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110321 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |