JP2000010696A - 画像処理装置および方法、並びに提供媒体 - Google Patents

画像処理装置および方法、並びに提供媒体

Info

Publication number
JP2000010696A
JP2000010696A JP17458498A JP17458498A JP2000010696A JP 2000010696 A JP2000010696 A JP 2000010696A JP 17458498 A JP17458498 A JP 17458498A JP 17458498 A JP17458498 A JP 17458498A JP 2000010696 A JP2000010696 A JP 2000010696A
Authority
JP
Japan
Prior art keywords
operator
image
user
display
operated device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP17458498A
Other languages
English (en)
Inventor
Atsushi Yokoyama
敦 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP17458498A priority Critical patent/JP2000010696A/ja
Publication of JP2000010696A publication Critical patent/JP2000010696A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ビデオテープレコーダ7を非接触的に操作す
る。 【解決手段】 ディスプレイ1上に表示された3次元C
G操作パネル2を操作しているユーザ3を複数のビデオ
カメラ4が3次元的に撮像する。検出装置5は、撮像さ
れたユーザ3の映像からユーザ3の3次元的な画像を生
成する。映像認識合成装置6は、生成されたユーザ3の
画像からユーザ3と操作パネル2とのインタラクション
を認識し、ビデオテープレコーダ7を制御すると共に、
制御した内容が示された操作パネル2の画像をディスプ
レイ1上に表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、操作者が被操作
装置を接触せずに操作できるようにした画像処理装置お
よび方法、並びに提供媒体に関する。
【0002】
【従来の技術】近年、家電製品にコンピュータが埋め込
まれていて、高機能化が進んでいる。例えば、テレビジ
ョン受像機、ビデオテープレコーダ等の家電製品のマン
・マシンインターフェースでは、専用のリモートコント
ローラや本体付属の操作スイッチを用いて多機能な操作
が可能となっている。
【0003】
【発明が解決しようとする課題】しかしながら、その反
面、機器の使いやすさに関しては、機能が高機能化にな
るにつれ、反比例して使いにくいシステムとなっている
という課題があった。
【0004】例えば、専用のリモートコントローラや本
体付属のスイッチは、多機能性を具現化するために限ら
れたスペースの中に多くの機能を埋め込む必要があり、
複雑になってしまう。
【0005】また、電化製品を使用するためには、リモ
ートコントローラあるいは操作パネルを直接手で操作し
なければならないため、操作が煩わしい。例えば、リモ
ートコントローラを用いて操作するためには、まず、リ
モートコントローラを探し、手で持った上で初めて操作
が可能となり、その上複雑な操作をしなければならな
い。
【0006】また、使い方が分からない場合は、専用の
マニュアル等を用いて調べなくてはならない。すなわ
ち、何か問題が起こると、マニュアルを探しだし、読ん
で理解しなくてはならない。また製品によっては、ヘル
プボタンがあり、リモートコントローラ上の複数の複雑
なキーを用いてメニューを操作するものもあるが、限ら
れた簡単な説明が得られる程度であり、使いにくい。
【0007】上述したように、ヒューマンインターフェ
ースに関しては、操作スイッチの複雑性、また直接手で
操作しなければならないという物理的制約、困った時の
解決方法のわかりにくさ等の理由により、これまでも困
難なものであったが、今後もさらに製品の高機能化が進
むにつれて、さらに困難なものになっていくと考えられ
る。
【0008】本発明はこのような状況に鑑みてなされた
ものであり、操作者が被操作装置に接触せずに、かつ被
操作装置を容易に操作できるようにするものである。
【0009】
【課題を解決するための手段】請求項1に記載の画像処
理装置は、被操作装置を操作するための操作部と操作者
の表示を制御する表示制御手段と、前記操作部を操作す
る前記操作者を撮像する撮像手段と、前記撮像手段によ
り撮像された前記操作者の画像から前記操作者の操作を
認識し、その認識結果に対応して前記被操作装置を制御
する被操作装置制御手段とを備えることを特徴とする。
【0010】請求項3に記載の画像処理方法は、被操作
装置を操作するための操作部と操作者の表示を制御する
表示制御ステップと、前記操作部を操作する前記操作者
を撮像する撮像ステップと、前記撮像ステップにおいて
撮像された前記操作者の画像から前記操作者の操作を認
識し、その認識結果に対応して前記被操作装置を制御す
る被操作装置制御ステップとを含むことを特徴とする。
【0011】請求項4に記載の提供媒体は、被操作装置
を操作するための操作部と操作者の表示を制御する表示
制御ステップと、前記操作部を操作する前記操作者を撮
像する撮像ステップと、前記撮像ステップにおいて撮像
された前記操作者の画像から前記操作者の操作を認識
し、その認識結果に対応して前記被操作装置を制御する
被操作装置制御ステップとを含む処理を画像処理装置に
実行させるコンピュータが読み取り可能なプログラムを
提供することを特徴とする。
【0012】請求項1に記載の画像処理装置、および請
求項3に記載の画像処理方法、並びに請求項4に記載の
提供媒体は、被操作装置を操作するための操作部を操作
する操作者を撮像し、撮像された操作者の画像から操作
者の操作を認識し、その認識結果に対応して被操作装置
を制御する。
【0013】
【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態(但し一例)を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
【0014】請求項1に記載の画像処理装置は、操作装
置を操作するための操作部と操作者の表示を制御する表
示制御手段(例えば、図1のディスプレイ1)と、前記
操作部を操作する前記操作者を撮像する撮像手段(例え
ば、図1のビデオカメラ4及び検出装置5)と、前記撮
像手段により撮像された前記操作者の画像から前記操作
者の操作を認識し、その認識結果に対応して前記被操作
装置を制御する被操作装置制御手段(例えば、図1の映
像認識合成装置6)とを備えることを特徴とする。
【0015】本発明の画像処理装置を適用した3D(3
次元)センシングシステムの構成例について添付の図面
を用いて説明する。図1は、3Dセンシングシステムの
構成例を示すブロック図である。なお、本明細書におい
て、システムとは、複数の装置により構成される装置全
体を表すものとする。
【0016】本実施の形態の3Dセンシングシステムで
は、ディスプレイ1上に表示されている操作パネル2を
操作するユーザ3をビデオカメラ4−1乃至4−Nによ
り撮像するようになされている。操作パネル2は、後述
するが、CG(Computer Graphics)で記述された仮想
的な3次元操作パネルであり、操作対象としてのビデオ
テープレコーダ7を操作するためのものである。
【0017】ビデオカメラ4−1乃至4−N(以下、個
々について区別する必要のない場合、単にビデオカメラ
4と称する)は、ユーザ3の位置及び動きなどの動作を
撮像し、これにより、ユーザ3の動作が3次元的に捉え
られるようになされている。そして、撮像されたユーザ
3の映像は、検出装置5に送られるようになされてい
る。
【0018】検出装置5は、送られてきたユーザ3の映
像からユーザ3の3次元的な画像を生成する。そして、
生成されたユーザ3の3次元的な映像は、映像認識合成
装置6に送られる。
【0019】なお、検出装置5は、ユーザ3の映像が3
次元的に捉えられる装置であればよい。例えば、Procee
dings of the 7th Sony Research Forum (1997)第43
頁乃至第48頁に、「Stereo Camera System and Its App
lication」として掲載されているステレオシステム、ま
たは電気通信学会論文誌 Vol.J79-D-II NO.9 SEPTEMBER
1996 第1442頁乃至1500頁に、「無調整型フォトVL
SIセンサを用いた実時間距離画像計測」として掲載さ
れているリアルタイムレンジファインダなどを用いるこ
とができる。
【0020】図2は、映像認識合成装置6の構成例を示
すブロック図である。CPU31は、ROM32に記憶
されているプログラムに従って、各種の処理を実行す
る。RAM33には、CPU31が各種の処理を実行す
る上において必要なデータ、プログラムなどが、適宜記
憶される。入出力インターフェース34は、検出装置5
から送られてきた映像の取り込み処理と、合成画像のデ
ィスプレイ1への出力処理、及びビデオテープレコーダ
7への出力処理を行う。
【0021】また、映像認識合成装置6では、送られて
きた映像からユーザ3の位置と動き等の動作と操作パネ
ル2とのインタラクション(ユーザ3と操作パネル2と
の位置関係)を高速に認識するようになされており、認
識されたユーザ3と操作パネル2との位置関係から、ユ
ーザ3が操作パネル2のどの操作メニューを選択し、ま
た、ユーザ3は何をしたのかを解析するようになされて
いる。また、映像認識合成装置6は、解析した結果に対
応して、ビデオテープレコーダ7を制御すると共に、制
御した内容を操作パネル2に表示させるようになされて
いる。なお、上述した各種の処理は、すべてCPU31
により実行される。
【0022】ユーザ3の行う操作は次のようになる。す
なわち、ディスプレイ1は、ユーザ3が見ることができ
る位置に置かれている。ディスプレイ1には、図3
(A)に示すように、ユーザ3の映像(ビデオカメラ4
−1乃至4−Nのうちの1台が撮像した映像)が常時表
示されており、ユーザ3を示す映像の周辺部の操作パネ
ル2には、ユーザ3がビデオテープレコーダ7を操作す
るための操作スイッチとしての再生スイッチ21、停止
スイッチ22、および録画スイッチ23が表示されてい
る。
【0023】操作スイッチは、そのオンまたはオフ、あ
るいはスライドスイッチの場合、そのスライドを3次元
的にできるようになされている。操作パネル2には3次
元ページめくり機能が備えられており、この3次元ペー
ジめくり機能により、ユーザ3は、操作パネル2に、様
々なスイッチを表示させることができるようになされて
いる。
【0024】例えば、ユーザ3は、ビデオテープレコー
ダ7を再生させようとした場合、図3(B)に示すよう
に、ディスプレイ1を見ながら、ディスプレイ1に表示
されている再生スイッチ21を押すような形で自分自身
の映像がディスプレイ1上に表示されるように、手を移
動する。その様子は、ビデオカメラ4によって常時撮像
されていて、その3次元的な画像は、検出装置5で検出
される。映像認識合成装置6は、ユーザ3の3次元的な
画像から、その動作を認識し、ユーザ3が何をしようと
しているのかを解析する。
【0025】図3(C)に示すように、ユーザ3が、再
生スイッチ21を手で押した場合、その映像が、検出装
置5により検出され、映像認識合成装置6により、その
動作の意味が認識される。映像認識合成装置6は、ユー
ザ3が再生スイッチ21を押したことが解析されたと
き、ビデオテープレコーダ7に再生を開始させるための
制御信号を出力する。これにより、ビデオテープレコー
ダ7は再生動作を開始する。また、映像認識合成装置6
は、ディスプレイ1の操作パネル2上に、そのような制
御が行われたことを示す画像を表示させる。図3(C)
の表示例では、再生スイッチ21の色が他のスイッチと
異なる色に変更されている。
【0026】ここで、映像認識合成装置6に於ける処理
について、図4のフローチャートを用いて説明する。ま
ず、ステップS1において、CPU31は、検出装置5
から送られてきた映像から、ユーザ3と操作パネル2と
の3次元的なインタラクションを高速に認識する。つま
り、ユーザ3の3次元的位置と操作パネル2の3次元的
位置との関係が認識される。
【0027】次に、ステップS2において、CPU31
は、ユーザ3が操作スイッチの何を選択して何をしたの
かを解析する。つまり、どの操作スイッチが押されたの
か、また、どの操作スイッチも押されていないのかが解
析される。例えば、図3(B)に示すような場合、操作
スイッチが押されていないと解析され、図3(C)に示
すような場合、再生スイッチ21が押されていると解析
される。
【0028】次いで、ステップS3において、操作スイ
ッチが押されたか否かが判定され、操作スイッチが押さ
れたと判定された場合、ステップS4に進み、操作スイ
ッチが押されていないと判定された場合、ステップS5
に進む。
【0029】ステップS3において操作スイッチが押さ
れたと判定された場合、CPU31は、ステップS4に
おいて、押した操作スイッチに対応する制御信号を、ビ
デオテープレコーダ7に出力すると共に、ビデオテープ
レコーダ7が操作されたということを示す情報を生成す
る。例えば、図3(C)に示すように、ユーザ3が再生
スイッチ21を押した場合、ビデオテープレコーダ7に
再生開始信号が出力されると共に、再生スイッチ21が
操作されたということを示すために、再生スイッチの色
を変更する画像が生成される。
【0030】その後、ステップS5において、生成され
た画像がディスプレイ1上に表示される。例えば、図3
(C)に示すように、ユーザ3が操作パネル2上の再生
スイッチ21の色が異なる色で表示される。その後、処
理はステップS1に戻る。
【0031】また、ステップ S3において、操作スイ
ッチが押されていないと判定された場合、ステップS1
に戻り、映像認識合成装置6は、上述した動作を繰り返
す。
【0032】以上のように、本実施の形態の3Dセンシ
ングシステムにおいては、ディスプレイ1に表示されて
いる操作パネル2を3次元的に操作することにより、ビ
デオテープレコーダ7を制御するようにしたため、非接
触的な操作が可能となる。
【0033】また、狭い箇所で多くのスイッチの中から
所定のスイッチを探して操作するようなことが回避さ
れ、物理的にリモートコントローラなどを探し、手で持
つような煩わしさも回避され、人間的感覚に訴えた操作
になるため、操作が容易となる。
【0034】また、使用方法について困った時には電子
化された説明を受ける機能を付加するとも容易である。
このようにすれば、操作がさらに容易となる。
【0035】なお、以上においては、被操作装置とし
て、ビデオテープレコーダを用いたが、テレビジョン受
像機その他、電子制御が可能な電子機器を用いることが
可能である。
【0036】また、本実施の形態の3Dセンシングシス
テムを、プレゼンテーションシステムとして、イベント
会場、公共スペース等の多数の視聴者がいる場所で用い
ることができる。このような場所で、本実施の形態の3
Dセンシングステムを用いれば、視聴者(周りにいる人
々)が、操作者が何をしているのかを容易に認識するこ
とができ、よりわかりやすく、かつ魅力的な展示とする
ことができる。
【0037】また、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。
【0038】
【発明の効果】以上のように、請求項1に記載の画像処
理装置、請求項3に記載の画像処理方法、および請求項
4に記載の提供媒体によれば、操作部を操作する操作者
の動作を撮像し、その撮像画像から、操作内容を認識
し、被操作装置を制御するようにしたので、被操作装置
を簡単に非接触的に制御することができる。
【図面の簡単な説明】
【図1】本発明を適用した3Dセンシングシステムの構
成例を示すブロック図である。
【図2】図1の映像認識合成装置の構成例を示すブロッ
ク図である。
【図3】図1のディスプレイの表示例を示す図である。
【図4】図1の映像認識合成装置の処理を説明するフロ
ーチャートである。
【符号の説明】
1 ディスプレイ, 2 操作パネル, 3 ユーザ,
4−1乃至4−Nビデオカメラ,5 検出装置, 6
映像認識合成装置, 7 ビデオテープレコーダ,
21 再生スイッチ, 22 停止スイッチ, 23
録画スイッチ

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 被操作装置を操作するための操作部と操
    作者の表示を制御する表示制御手段と、 前記操作部を操作する前記操作者を撮像する撮像手段
    と、 前記撮像手段により撮像された前記操作者の画像から前
    記操作者の操作を認識し、その認識結果に対応して前記
    被操作装置を制御する被操作装置制御手段とを備えるこ
    とを特徴とする画像処理装置。
  2. 【請求項2】 前記表示制御手段は、前記被操作装置制
    御手段の制御の内容の表示もさらに制御することを特徴
    とする請求項1に記載の画像処理装置。
  3. 【請求項3】 被操作装置を操作するための操作部と操
    作者の表示を制御する表示制御ステップと、 前記操作部を操作する前記操作者を撮像する撮像ステッ
    プと、 前記撮像ステップにおいて撮像された前記操作者の画像
    から前記操作者の操作を認識し、その認識結果に対応し
    て前記被操作装置を制御する被操作装置制御ステップと
    を含むことを特徴とする画像処理方法。
  4. 【請求項4】被操作装置を操作するための操作部と操作
    者の表示を制御する表示制御ステップと、 前記操作部を操作する前記操作者を撮像する撮像ステッ
    プと、 前記撮像ステップにおいて撮像された前記操作者の画像
    から前記操作者の操作を認識し、その認識結果に対応し
    て前記被操作装置を制御する被操作装置制御ステップと
    を含む処理を画像処理装置に実行させるコンピュータが
    読み取り可能なプログラムを提供することを特徴とする
    提供媒体。
JP17458498A 1998-06-22 1998-06-22 画像処理装置および方法、並びに提供媒体 Pending JP2000010696A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17458498A JP2000010696A (ja) 1998-06-22 1998-06-22 画像処理装置および方法、並びに提供媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17458498A JP2000010696A (ja) 1998-06-22 1998-06-22 画像処理装置および方法、並びに提供媒体

Publications (1)

Publication Number Publication Date
JP2000010696A true JP2000010696A (ja) 2000-01-14

Family

ID=15981123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17458498A Pending JP2000010696A (ja) 1998-06-22 1998-06-22 画像処理装置および方法、並びに提供媒体

Country Status (1)

Country Link
JP (1) JP2000010696A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005065798A1 (ja) * 2004-01-06 2005-07-21 Sony Computer Entertainment Inc. 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法
JPWO2007013652A1 (ja) * 2005-07-29 2009-02-12 パイオニア株式会社 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム
JP2010122735A (ja) * 2008-11-17 2010-06-03 Toshiba Information Systems (Japan) Corp インタフェース装置及びインタフェース用プログラム
JP2014238792A (ja) * 2013-06-10 2014-12-18 長崎県公立大学法人 学習支援装置および学習支援方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005065798A1 (ja) * 2004-01-06 2005-07-21 Sony Computer Entertainment Inc. 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法
US8345001B2 (en) 2004-01-06 2013-01-01 Sony Computer Entertainment Inc. Information processing system, entertainment system, and information processing system input accepting method
JPWO2007013652A1 (ja) * 2005-07-29 2009-02-12 パイオニア株式会社 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム
JP4712804B2 (ja) * 2005-07-29 2011-06-29 パイオニア株式会社 画像表示制御装置及び画像表示装置
JP2010122735A (ja) * 2008-11-17 2010-06-03 Toshiba Information Systems (Japan) Corp インタフェース装置及びインタフェース用プログラム
JP2014238792A (ja) * 2013-06-10 2014-12-18 長崎県公立大学法人 学習支援装置および学習支援方法

Similar Documents

Publication Publication Date Title
JP5641970B2 (ja) 操作装置、再生装置及びテレビ受信装置
CN102193730B (zh) 图像处理设备,图像处理方法和程序
JP2010134629A (ja) 情報処理装置および情報処理方法
US8675136B2 (en) Image display apparatus and detection method
US20100188352A1 (en) Information processing apparatus, information processing method, and program
EP2677741A1 (en) Remote control apparatus and control method thereof
JP2003316510A (ja) 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
CN104081319A (zh) 信息处理设备和信息处理方法
KR101730881B1 (ko) 증강 원격제어장치 및 그 동작 방법
KR20140125078A (ko) 전자 장치 및 전자 장치에서 잠금 해제 방법
KR20180024504A (ko) 영상 표시 장치 및 그 동작방법
JP2005524289A (ja) タッチスクリーンを用いてイメージを操作するための方法および装置
US20120242868A1 (en) Image capturing device
JP2004356819A (ja) リモート操作装置
JP2010079332A (ja) 遠隔操作装置及び遠隔操作方法
CN109661809A (zh) 显示设备
JPH1195895A (ja) 情報入力装置
JP2004164375A (ja) 情報処理装置
JPH05227578A (ja) リモートコントローラ
CN112041803A (zh) 电子设备及其操作方法
JP2000010696A (ja) 画像処理装置および方法、並びに提供媒体
JP2006041884A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2007264006A (ja) 画像観賞システム、画像表示装置、電子式写真立て、データハンドリング装置、画像表示方法、データハンドリング方法、画像表示プログラムおよびデータハンドリングプログラム
US20140118294A1 (en) Display processor and display processing method
JPH07222027A (ja) コントロールシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080201