JP2003503773A - コンピュータシステムに制御情報を入力するための装置及び方法 - Google Patents

コンピュータシステムに制御情報を入力するための装置及び方法

Info

Publication number
JP2003503773A
JP2003503773A JP2001506486A JP2001506486A JP2003503773A JP 2003503773 A JP2003503773 A JP 2003503773A JP 2001506486 A JP2001506486 A JP 2001506486A JP 2001506486 A JP2001506486 A JP 2001506486A JP 2003503773 A JP2003503773 A JP 2003503773A
Authority
JP
Japan
Prior art keywords
input device
information
unit
image information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001506486A
Other languages
English (en)
Inventor
ボック ゲルハルト
ココレーク クリスティーネ
ザイター フリッツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2003503773A publication Critical patent/JP2003503773A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467—Methods of retrieving data
    • H04M1/2747—Scrolling on a display

Abstract

(57)【要約】 本発明は、画像情報（Ａ、Ａ’）を連続的に撮影するための撮影ユニット（１）を有するコンピュータシステムのための入力装置及びこの入力装置に所属するに関する。画像評価ユニット（３）はこの場合連続的に撮影された画像情報（Ａ、Ａ’）の相対的なシフトを評価し、データ処理ユニット（４）は表示ユニット（２）を介して表示される選択情報（Ｐ）をもとめられた制御情報に相応してシフトする。

Description

【発明の詳細な説明】
【０００１】 本発明はコンピュータシステムに制御情報を入力するための装置及び方法に関
し、とりわけ移動マルチメディア通信端末機器（移動画像電話）の操作のための
入力装置及びこの入力装置に所属する方法に関する。
【０００２】 例えば携帯電話のような移動通信端末機器はますますいわゆる「オンラインサ
ービス」へアクセスをするようになってきている。とりわけ将来のブロードバン
ド移動無線ネットワークＵＭＴＳの導入によって質的に高い価値を有するインタ
ーネットアクセスがモバイルで可能となる。
【０００３】 同様にいわゆる（例えばＰａｌｍ機器のような）小型コンピュータシステムが
ますます重要になって来ており、これらの小型コンピュータシステムにおいて（
例えばアドレス管理、デイプランナー、ジョブリストのような）非常に様々な編
成機能が実装されている。
【０００４】 これらの表示制御コンピュータシステムの操作のためには入力装置が必要であ
り、この入力装置によって表示ユニットに表示される情報が制御乃至は選択され
る。
【０００５】 通常は、このような移動小型コンピュータシステムは入力装置としていわゆる
「タッチスクリーン」を有し、表示ユニットには接触感知層が設けられており、
付加的な入力ペンを介して制御情報の相応の入力乃至は表示される情報の選択が
可能である。しかし、このような従来の入力装置においては不利なことに、付加
的な入力ペンが機器に収容されなくてはならず、従って紛失するかもしれない。
さらにこれらの従来の「タッチスクリーン」表示ユニットの表面は機械的に非常
にロバストではない。
【０００６】 さらにいわゆる従来の「マウス」入力装置が公知であり、回転するボールが相
応の電気信号に変換され、この電気信号がポインタシンボル乃至は選択情報とし
て表示ユニットに表示される。さらに制御ボタンがコンピュータシステムのため
の入力装置として使用される。
【０００７】 しかし、とりわけ小型コンピュータシステムにおいてはこのような入力装置は
その大きな所要面積のために不可能である。
【０００８】 上記の接触制御入力装置の代わりに、いわゆる無接触入力装置が公知であり、
この無接触入力装置では例えばビデオカメラが入力ペンの位置を検出し、評価し
、この評価に基づいて次いで表示ユニットに表示されるポインタシンボル乃至は
選択情報がシフトされる（例えばＵＳ５７２６６８５）。さらに、刊行物ＵＳ５
６１７３１２からいわゆるジェスチャー入力装置が公知であり、このジェスチャ
ー入力装置では人物のジェスチャーがカメラによって撮影され、次いで表示ユニ
ットに表示されるポインタシンボル乃至は選択情報を制御するための相応の制御
信号に変換される。しかし、これらの入力装置は比較的複雑なパターン認識に基
づいているので、これらの入力装置は大抵の場合エラーしやすく、高い計算パワ
ーを必要とする。
【０００９】 従って、本発明の課題は、場所をとらず、コスト安で、信頼性の高い、コンピ
ュータシステムのための入力装置及びこの入力装置に所属する方法を提供するこ
とである。
【００１０】 上記課題は、装置に関しては請求項１の構成によって解決され、方法に関して
は請求項１７の構成によって解決される。
【００１１】 とりわけ、連続的に撮影された画像情報の相対的なシフトから制御情報をもと
める画像評価ユニットを使用することによって、非常に小さい所要面積において
制御情報をきわめて確実にカメラ乃至は撮影ユニット及び撮影されたオブジェク
トの相対的な運動乃至はシフトからもとめる入力装置が得られる。
【００１２】 有利には、画像評価ユニットとして動きベクトルの発生のために画像圧縮装置
が使用され、制御情報はメイン動きベクトルから導出される。こうして、とりわ
け移動画像電話において既存の撮影ユニットならびにこれに所属する画像圧縮方
法が同時に入力装置として使用される。
【００１３】 有利には制御情報のｘ及びｙ成分の発生のためにｘ及びｙ方向における画像情
報のそれぞれの平行なシフト成分が使用され、これによってポインタシンボル乃
至は選択情報の制御が２次元表示において実現される。しかし、制御情報はｚ成
分を有することもでき、このｚ成分はｘ及びｙ方向における画像情報の同心的な
シフトから得られ、これによってポインタシンボル乃至は選択情報の制御が３次
元又は準３次元表示において実現される。さらに、これによって写像スケールの
直観的な拡大乃至は縮小が発生される。３次元入力のための画像情報のこのよう
な同心的なシフトの発生のために、撮影ユニットは有利にはズーム機能ユニット
を有する。
【００１４】 コンピュータシステムとしてはとりわけ移動マルチメディア通信端末機器が使
用され、移動画像電話において撮影ユニットは対話相手の撮影のためにも入力装
置としても使用される。同様に、表示ユニットは対話相手の表示のためにもイン
ターネットページ、編成ページなどの表示のためにも使用される。従って、きわ
めてコスト的に有利でかつ場所をとらない入力装置の実現がなされる。撮影ユニ
ットはこの場合とりわけＣＣＤ又はＣＭＯＳセンサカメラから成り、これによっ
て所要面積がさらに低減される。
【００１５】 有利には撮影ユニットは表示ユニットの表示方向において入力制御のための画
像情報を撮影するが、この撮影ユニットは画像情報を正反対の方向において撮影
することもできる。これは、入力装置が移動画像電話に形成されている場合にと
りわけ有利に作用する。なぜなら、適当な台の上に画像電話を置いた際にこの画
像電話の相応の往復運動によってこれに所属するポインタシンボルが表示ユニッ
トにおいて従来のマウス入力装置の場合のようにシフトされるからである。
【００１６】 有利には撮影ユニットは非常に短い距離から画像情報を撮影するためのマクロ
カメラシステムを有し、これによって例えば指を直接撮影ユニット上に置くこと
によって入力が行われる。さらに撮影ユニットが表示される選択情報の操作のた
めの圧力センサを有する場合、この入力装置は従来の「タッチスクリーン」入力
装置のように使用される。
【００１７】 従属請求項には更なる本発明の有利な実施形態が記載されている。
【００１８】 本発明を次に図面を参照しつつ実施例に基づいて詳しく記述する。
【００１９】 図１は本発明の入力装置の概略図を示し、 図２は３次元制御を説明するための連続的に撮影された画像情報の概略図を示
し、 図３ａ及び３ｂは、第１の実施例による入力装置を有する移動通信端末機器の
概略図を示し、 図４は第２の実施例による入力装置を有する移動通信端末機器の概略図を示し
、 図５ａ〜５ｃは第３の実施例による入力装置を有する移動通信端末機器の概略
的な部分図を示す。
【００２０】 図１は本発明の入力装置の概略図を示す。図１では参照符号１が画像情報の連
続的な撮影のための撮影ユニットを示し、第１の画像情報Ａは基本的に１つの家
、２本の木及び工場を有する風景を表している。負のｙ方向に撮影ユニット１を
旋回（verschwenken）した後で、第２の画像情報Ａ’が撮影される。この第２の
画像情報Ａ’は基本的に第１の画像情報Ａの家、１本の木及び工場と１つの付加
的な柵とから成る。第１の画像情報Ａに存在する更に別の木は撮影ユニット１の
旋回のために第２の画像情報Ａ’において欠如している。
【００２１】 画像評価ユニット３（ＡＷ）は連続的に撮影された第１及び第２の画像情報Ａ
及びＡ’を評価するために使用され、制御情報ｘ、ｙ及びｚがもとめられる。画
像評価ユニット３の評価は、この場合、基本的に連続的に撮影された画像情報の
間の、すなわち第１の画像情報Ａと第２の画像情報Ａ’との間の相対的なシフト
をもとめることに基づいている。より精確に言えば、画像情報Ａ及びＡ’内の重
要な画像構成部分のシフトに相応するメインシフトベクトルＨＶがもとめられる
。
【００２２】 従って、ｙ方向における撮影ユニット１の図１に図示された旋回において、評
価ユニット３での画像情報Ａ及びＡ’の評価によってメインシフトベクトルＨＶ
がもとめられ、このメインシフトベクトルＨＶは基本的にｙ方向におけるシフト
を表す。こうして得られたｙ方向における制御情報は次いでデータ処理ユニット
４（ＤＶ）で処理され、このデータ処理ユニット４に接続された表示ユニット２
はこの表示ユニット２に表示される選択情報ＰからＰ’への相応のシフトを惹起
する。図１では表示ユニット２に表示された選択情報はポインタシンボルＰであ
り、このポインタシンボルＰは第１の画像情報Ａの撮影のための第１のカメラ位
置において上方の位置に存在し、第２の画像情報Ａ’の撮影のための撮影ユニッ
ト１の旋回によって下方の位置（Ｐ’）に移る。
【００２３】 従って、図１によれば、撮影ユニット１の旋回によって連続的に撮影される画
像情報の相対的なシフトが喚起されて評価される。この相対的なシフトは表示ユ
ニット２において表示されるポインタシンボルＰのＰ’へのシフトを喚起する。
【００２４】 相対的なシフトはこの場合画像情報Ａ及びＡ’の基本的な構造に基づいてもと
められる。より精確に言えば、この相対的なシフトは、画像情報Ａ及びＡ’にお
けるマイクロシフトに基づいてではなく、マクロシフトに基づいてもとめられる
。マクロシフトとは例えば画像情報Ａ及びＡ’の全般的な背景のシフトであると
見なす。他方で、マイクロシフトとは瞬時の迅速な運動に基づく限定された画像
領域のシフトである。従って、図１に図示された風景の中を通過する自動車はマ
クロシフトを喚起せず、入力装置によっては考慮されない画像情報のマイクロシ
フトしか喚起しない。
【００２５】 本発明によれば、制御情報の入力乃至は表示ユニット２に表示される選択情報
Ｐ及びＰ’の制御のためには、撮影された画像情報のマクロシフトだけが考慮さ
れ、ここには図示されていない閾値判定器がマクロシフトに対する絶対的な大き
さを調整する。従って、例えば、撮影ユニット１により撮影される画像情報の少
なくとも９０％が同一又は類似シフトを有する場合に、評価ユニット３によって
マクロシフトが考慮される。同一シフトとはこの場合基本的に同一のｘ及びｙ方
向における平行なシフトであると見なす。他方で、類似シフトとはｚ方向におけ
るシフトを意味する。
【００２６】 図２はｚ方向における画像情報の相対的なシフトの説明のための概略図を示す
。図２によれば、撮影ユニット１により撮影された画像情報は、まず最初に遠く
に存在する１つの家（画像情報Ａ）、そしてｚ方向において接近することによっ
て拡大されて画像情報Ａ’によって表示されている同一の家から成る。従って、
ｚ方向のシフトによってこのシフトベクトルは互いに平行にｘ又はｙ方向には配
向されてはおらず、このシフトベクトルは同心的なシフト方向を示している。従
って、このような同心的に配向されたシフトベクトルは評価ユニット３によって
ｚ方向における制御情報として評価され、これによって表示ユニット２に表示さ
れる選択情報すなわちポインタシンボルＰ及びＰ’の３次元的な制御が可能にな
る。この場合、表示ユニット２は３次元的な表示ユニットである（例えばホログ
ラフィックな表示ユニット）。
【００２７】 ｚ方向における撮影ユニット１の運動の代わりに、すなわち撮影すべきオブジ
ェクトへの接近の代わりに、撮影ユニット１はここには図示されていない（電子
的な又は機械的な）ズーム機能ユニットを有することができる。このズーム機能
ユニットによって同じように画像情報の同心的なシフトが実施される。同様に撮
影ユニット１はここには図示されていない回転又は旋回ユニットを有することが
できる。この回転又は旋回ユニットによってｘ及びｙ方向におけるマクロシフト
が実現され得る。
【００２８】 図３ａ及び３ｂは第１の実施例による本発明の入力装置を有する移動マルチメ
ディア通信端末機器の概略図を示す。図３ａではＭＭが例えばインターネットア
クセスを有する移動画像電話の形式で実現されるような移動マルチメディア通信
端末機器を示す。この移動マルチメディア通信端末機器ＭＭは通常の機能ユニッ
トの他に基本的に撮影ユニット１、表示ユニット２ならびに入力装置の活性化/
不活性化のための活性化ボタンＴを有する。インターネットアクセスの際には、
表示ユニット２において例えば拡大表示されたインターネットページＩＳ（ウェ
ブページ）が表示され、ポインタシンボルＰが位置Ｉにおいて選択情報として表
示される。ポインタシンボルＰの位置Ｉから位置ＩＩへの移動のために、図３ｂ
ではユーザが例えばこの移動マルチメディア通信端末機器ＭＭをこのユーザの顔
の前で下方に移動させ、これによって位置Ｉにおける画像情報Ａの代わりに位置
ＩＩにおける画像情報Ａ’が撮影ユニット１において撮影される。これによって
生じるマクロシフトは上記のように評価ユニット３によって検出され、データ処
理ユニット４によって処理され、表示ユニット２がポインタＰをこの表示された
インターネットページＩＳの位置ＩＩに表示する。こうして、撮影ユニット１の
シフトによって撮影された背景に対して相対的に選択情報を示すポインタシンボ
ルＰのＰ’へのシフトが得られる。
【００２９】 上記のように、位置Ｉから位置ＩＩへの移動マルチメディア通信端末機器の垂
直方向シフトの代わりに旋回を実施することもでき、これによってポインタシン
ボルＰは同じようにポインタシンボルＰ’に対する位置ＩＩにシフトされる。
【００３０】 移動マルチメディア通信端末機器は、例えば図３ａ及び図３ｂに図示されてい
るように、とりわけ、移動画像電話として構成されている場合に利点を有する。
移動画像電話はいずれにせよ大面積の表示ユニット２ならびに画像情報の撮影の
ための撮影ユニット１を有する。さらにこのような移動画像電話は既に画像評価
ユニット３として撮影された画像情報の圧縮のための画像圧縮装置を有する。画
像圧縮において使用されるアルゴリズムはこの場合画像情報Ａ及びＡ’における
動きを識別し、画像情報全体の動きが計算され、全動きベクトル乃至はメイン動
きベクトルが得られる。この全動きベクトル乃至はメイン動きベクトルは、移動
マルチメディア通信端末機器ＭＭ乃至はこれに所属する画像情報Ａ及びＡ’の動
き乃至はシフトと同じ意味である。画像圧縮において容易にもとめられるこの全
動きベクトル乃至はメイン動きベクトルは相応のｘ、ｙ及びｚ成分を有する制御
情報として処理され、選択情報すなわちポインタシンボルＰ乃至はＰ’を相応に
シフトすることができる。使用される圧縮アルゴリズムは基本的に移動画像電話
において既に存在しているので、従ってこれ以上のコストは生じない。入力装置
のスイッチング乃至は活性化/不活性化のためには、この移動画像電話乃至は移
動マルチメディア通信端末機器ＭＭは活性化ボタンＴだけを必要とする。
【００３１】 図４は第２の実施例による入力装置を有する移動マルチメディア通信端末機器
の概略図を示す。同一の参照符号は図４において図３ａ及び３ｂと同一の又は相
応するコンポーネントを示し、それゆえ詳細な記述は以下において省略する。
【００３２】 第２の実施例による入力装置を有する移動マルチメディア通信端末機器ＭＭに
おいては表示ユニット２は完全なインターネットページＩＳを表示せず、選択部
分Ｆだけを表示する。例えばインターネット又はその他のアプリケーションから
の情報のこのような表示方式は、表示されるページＩＳの情報がユーザにとって
改善された読みやすさを有するという利点を有する。
【００３３】 本発明によれば、入力装置は表示すべき情報ページＩＳの直観的な制御を有す
る。より精確に言えば、ユーザは、情報ページＩＳのそれぞれの領域に到達する
ために、撮影ユニット１を有する移動マルチメディア通信端末機器をｘ及びｙ方
向にシフトしさえすればよく、これによってキー又は入力媒体の更なる使用なし
に情報ページＩＳが直観的に（すなわち視野窓のシフト）読み出される。
【００３４】 さらに、ｚ方向におけるシフト、すなわち移動マルチメディア通信端末機器Ｍ
Ｍの前方/後方移動はこの選択部分Ｆの拡大/縮小を惹起し、この拡大/縮小はル
ーぺの直観的な利用と比較できる。
【００３５】 図３及び４によれば、撮影ユニット１は移動マルチメディア通信端末機器ＭＭ
の前面に存在する。しかし、この撮影ユニット１はこの機器の裏面に存在しても
よいし、乃至は、第２の撮影ユニットがこの移動マルチメディア通信端末機器Ｍ
Ｍの裏面に配置されてもよい。光学系の適当な構成において、すなわち撮影ユニ
ット１の焦点は非常に短い距離でも可能であるが、この移動マルチメディア通信
端末機器ＭＭは裏面が適当な構造化された台の上に載せられ、全体としてマウス
のようにシフトされてもよい。裏面に存在する撮影ユニットがこの場合上記のよ
うに撮影された画像情報（構造化された台）の相対的な動き乃至は相対的なシフ
トを識別し、これから選択情報すなわちポインタシンボルＰ又は情報ページＩＳ
の表示領域Ｆの制御のための相応の制御情報をもとめる。こうして入力装置に対
する特に簡単な操作性が得られる。なぜなら、この入力装置は基本的に従来のマ
ウス入力装置と一致するからである。有利にはこの場合にこの移動マルチメディ
ア通信端末機器は従来のマウス入力装置によって公知の（ここでは図示しない）
選択キーを有する。
【００３６】 図５ａ〜５ｃは第３の実施例による入力装置を有する移動マルチメディア通信
端末機器ＭＭの拡大された部分図を示す。図５ａ〜５ｃには図１〜４と同一のコ
ンポーネントが示されている。それゆえ、詳細な記述を以下では省略する。
【００３７】 図５ａ〜５ｃによれば、第３の実施例による入力装置はいわゆる従来の「タッ
チパッド」入力装置と同じように使用される。図５ａでは参照符号１は撮影ユニ
ット１を示しているが、この撮影ユニット１は特別なマクロカメラシステムであ
る。より精確に言えば、図５ａ〜５ｃの撮影ユニット１は微細な構造をこのカメ
ラのすぐ近くで撮影することができる。これによって例えば撮影ユニットに直接
載せられた指の指紋がシャープに撮影される。
【００３８】 表示ユニット２は図５ａ〜５ｃにおいて多数の名前及びこれらの名前に所属す
る電話番号を有する電話帳リストを示している。従って、この表示ユニット２に
表示された電話帳リストは情報ページＩＳに相応し、選択情報は選択位置を指示
するためのポインタシンボルＰでも表示面Ｆでもなくて例えば色でマーキングさ
れたバーの形式の所定の選択フィールドＢである。入力の制御乃至は電話番号３
４５６７８を有する名前Ｍｅｉｅｒの選択のためには、ユーザは自分の指を撮影
ユニット１の上に置き、入力装置はここには図示されていない活性化ボタンＴを
介して活性化されている。図５ｂでは指紋が画像情報Ａとして撮影され、ユーザ
はバーＢをシフトするために自分の指を下方に動かす。図５ｃはこの場合移動マ
ルチメディア通信端末機器ＭＭの部分図を示しており、指は下方の位置に図示さ
れている。従って、撮影ユニット１は撮影された画像情報Ａ→Ａ’のシフトを指
紋に基づいて識別し、下方への垂直方向シフトとして評価する。その結果、相応
の制御情報は評価ユニット３からデータ処理ユニット４に出力され、これによっ
てバーＢは表示ユニット２において下方にシフトされ、電話番号３４５６７８を
有する所望の名前Ｍｅｉｅｒにところに来る。
【００３９】 所望の名前の選択のために、さらに第３の実施例の入力装置は表示された選択
情報すなわちバーＢのところにある名前の操作のための圧力センサを有し、これ
によって更に別の固定キー又はいわゆるメニュー制御された「ソフトキー」が削
減される。
【００４０】 撮影ユニット１及び評価ユニット３の相応の設計仕様によって、このようにし
て例えば従来の「タッチパッド」及び/又は「タッチスクリーン」によって公知
であるように入力も行われる。撮影ユニット１への圧力センサの統合によって、
入力装置の所要面積はさらに低減され、操作快適性が改善される。とりわけ従来
の「タッチパッド」に比べて、第３の実施例の入力装置においては接触面の重心
がもとめられるのではなく、指の精確な位置乃至は運動がこの指の指紋に基づい
て追跡される。よって、この入力装置の精度は従来の入力装置よりもはるかに大
きい。従って、基本的に第３の実施例の入力装置においても撮影された画像情報
の相対的なマクロシフトは選択情報の制御のために使用される。
【００４１】 有利には撮影ユニット１としてＣＣＤ又はＣＭＯＳセンサカメラが使用される
。撮影ユニット１はこの場合それぞれの入力システム乃至はコンピュータシステ
ムの前面か又は裏面かのいずれかに存在する。しかし、この撮影ユニット１はこ
れに限定されず、同様に別の位置に配置することもでき、例えばミラーを介して
表示ユニット２の表示方向と同じ方向に又はこの表示方向とは正反対の方向に向
けられる。
【００４２】 本発明は上記において移動マルチメディア通信端末機器に基づいて記述された
。しかし、本発明はこれに限定されず、同様に例えばいわゆるＰａｌｍ機器のよ
うな通信接続のない小型コンピュータシステムを含む。同様に、本発明はコード
接続遠隔通信端末機器及びその他のコンピュータシステムにも適用され得る。
【図面の簡単な説明】
【図１】 図１は本発明の入力装置の概略図を示す。
【図２】 図２は３次元制御を説明するための連続的に撮影された画像情報の概略図を示
す。
【図３】 図３ａ及び３ｂは、第１の実施例による入力装置を有する移動通信端末機器の
概略図を示す。
【図４】 図４は第２の実施例による入力装置を有する移動通信端末機器の概略図を示す
。
【図５】 図５ａ〜５ｃは第３の実施例による入力装置を有する移動通信端末機器の概略
的な部分図を示す。
【符号の説明】
１ 撮影ユニット ２ 表示ユニット ３ 評価ユニット ４ データ処理ユニット Ｐ、Ｐ’ ポインタシンボル Ｂ バー Ｆ 選択部分、表示面 ＩＳ 情報ページ、インターネットページ Ａ、Ａ’ 画像情報 ＭＭ 移動マルチメディア通信端末機器 Ｔ 活性化ボタン
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１３年５月４日（２００１．５．４）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】 上記の接触制御入力装置の代わりに、いわゆる無接触入力装置が公知であり、
この無接触入力装置では例えばビデオカメラが入力ペンの位置を検出し、評価し
、この評価に基づいて次いで表示ユニットに表示されるポインタシンボル乃至は
選択情報がシフトされる（例えばＵＳ５７２６６８５）。さらに、刊行物ＵＳ５
６１７３１２からいわゆるジェスチャー入力装置が公知であり、このジェスチャ
ー入力装置では人物のジェスチャーがカメラによって撮影され、次いで表示ユニ
ットに表示されるポインタシンボル乃至は選択情報を制御するための相応の制御
信号に変換される。しかし、これらの入力装置は比較的複雑なパターン認識に基
づいているので、これらの入力装置は大抵の場合エラーしやすく、高い計算パワ
ーを必要とする。 請求項１の上位概念を形成する刊行物ＥＰ−Ａ−７７３４９４から、画像情報
を連続的に撮影するための撮影ユニット、撮影された画像情報を評価し制御情報
をもとめるための画像評価ユニット、制御情報を選択情報に処理するためのデー
タ処理ユニット及び選択情報を表示するための表示ユニットを有するコンピュー
タシステムのための入力装置が公知である。画像評価ユニットはこの場合連続的
に撮影された画像情報の相対的なシフトから制御情報をもとめる。 さらに刊行物ＪＰ１０２４０４３６Ａから表示器の制御のための装置及び方法
が公知であり、ＣＣＤカメラの相対的な運動乃至はシフトに依存して表示器に表
示された画像又はメニューが相応に垂直方向に又は水平方向にシフトされる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】 これに対して、本発明の課題は、場所をとらず、コスト安で、信頼性の高い、
コンピュータシステムのための入力装置及びこの入力装置に所属する方法を提供
することである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】 とりわけ、動きベクトルの発生のために画像圧縮装置を使用し、制御情報をメ
イン動きベクトルから導出する画像評価ユニットの使用によって、とりわけ移動
画像電話において既存の撮影ユニットならびにこれに所属する画像圧縮方法が同
時に入力装置として使用される。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｍ 1/247 Ｈ０４Ｍ 1/247 (72)発明者 フリッツ ザイター ドイツ連邦共和国 ミュンヘン アザムシ ュトラーセ 12 ツェー Ｆターム(参考） 5B057 AA20 CA12 CB13 CD05 DA07 DA16 DB03 DC08 5B087 AA06 AE09 BC00 BC31 DJ03 DJ06 5K027 AA11 BB01 HH29 5L096 AA09 CA03 DA04 EA03 FA67 FA69 HA04

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 画像情報（Ａ、Ａ’）を連続的に撮影するための撮影ユニッ
    ト（１）を有するコンピュータシステムのための入力装置であって、 撮影された前記画像情報（Ａ、Ａ’）を評価し、制御情報（ｘ、ｙ、ｚ）をも
    とめるための画像評価ユニット（３）を有し、 前記制御情報（ｘ、ｙ、ｚ）を選択情報（Ｐ；Ｂ；Ｆ）に処理するためのデー
    タ処理ユニット（４）を有し、 前記選択情報（Ｐ；Ｂ；Ｆ）を表示するための表示ユニット（２）を有する、
    画像情報（Ａ、Ａ’）を連続的に撮影するための撮影ユニット（１）を有するコ
    ンピュータシステムのための入力装置において、 前記画像評価ユニット（３）は前記制御情報（ｘ、ｙ、ｚ）を連続的に撮影さ
    れた前記画像情報（Ａ、Ａ’）の相対的なシフトからもとめることを特徴とする
    、画像情報（Ａ、Ａ’）を連続的に撮影するための撮影ユニット（１）を有する
    コンピュータシステムのための入力装置。
  2. 【請求項２】 画像評価ユニット（３）は動きベクトルを発生するための画
    像圧縮装置を有し、制御情報は連続的に撮影された画像情報（Ａ、Ａ’）のメイ
    ン動きベクトル（ｘ、ｙ、ｚ）であることを特徴とする、請求項１記載の入力装
    置。
  3. 【請求項３】 選択情報は表示された画像（ＩＳ）において表示ユニット（
    ２）の選択位置（Ｐ）、選択フィールド（Ｂ）及び/又は全表示面（Ｆ）である
    ことを特徴とする、請求項１又は２記載の入力装置。
  4. 【請求項４】 制御情報はｘ成分を有し、画像評価ユニット（３）は基本的
    にｘ方向における画像情報（Ａ、Ａ’）の平行な相対的シフトを考慮することを
    特徴とする、請求項１〜３のうちの１項記載の入力装置。
  5. 【請求項５】 制御情報はｙ成分を有し、画像評価ユニット（３）は基本的
    にｙ方向における画像情報（Ａ、Ａ’）の平行な相対的シフトを考慮することを
    特徴とする、請求項１〜４のうちの１項記載の入力装置。
  6. 【請求項６】 制御情報はｚ成分を有し、画像評価ユニット（３）は基本的
    にｘ及びｙ方向における画像情報（Ａ、Ａ’）の同心的な相対的シフトを考慮す
    ることを特徴とする、請求項１〜５のうちの１項記載の入力装置。
  7. 【請求項７】 撮影ユニット（１）は平行な及び/又は同心的な相対的シフ
    トを発生するためのシフト装置を有することを特徴とする、請求項６記載の入力
    装置。
  8. 【請求項８】 表示ユニット（２）は選択情報（Ｆ）を制御情報のｚ成分に
    依存して拡大又は縮小することを特徴とする、請求項６又は７記載の入力装置。
  9. 【請求項９】 コンピュータシステムは移動マルチメディア通信端末機器（
    ＭＭ）であることを特徴とする、請求項１〜８のうちの１項記載の入力装置。
  10. 【請求項１０】 撮影ユニット（１）は表示ユニット（２）の表示方向にお
    いて撮影することを特徴とする、請求項９記載の入力装置。
  11. 【請求項１１】 撮影ユニット（１）は表示ユニット（２）の表示方向とは
    正反対の方向において撮影することを特徴とする、請求項９又は１０記載の入力
    装置。
  12. 【請求項１２】 表示ユニット（２）の表示方向とは正反対の方向において
    撮影する少なくとも１つの更に別の撮影ユニットを特徴とする、請求項９又は１
    ０記載の入力装置。
  13. 【請求項１３】 撮影ユニットはＣＣＤ又はＣＭＯＳセンサカメラを有する
    ことを特徴とする、請求項１〜１２のうちの１項記載の入力装置。
  14. 【請求項１４】 入力装置を活性化/不活性化するための少なくとも１つの
    活性化装置（Ｔ）を特徴とする、請求項１〜１３のうちの１項記載の入力装置。
  15. 【請求項１５】 撮影ユニット（１）はマクロカメラシステムであり、該マ
    クロカメラシステムによって画像情報（Ａ、Ａ’）は非常に短い距離からシャー
    プに撮影されることを特徴とする、請求項１〜１４のうちの１項記載の入力装置
    。
  16. 【請求項１６】 撮影ユニット（１）は表示された選択情報（Ｐ、Ｂ、Ｆ）
    を操作するための圧力センサを有することを特徴とする、請求項１〜１５のうち
    の１項記載の入力装置。
  17. 【請求項１７】 コンピュータシステムは移動画像電話であることを特徴と
    する、請求項１〜１６のうちの１項記載の入力装置。
  18. 【請求項１８】 次のステップから成るコンピュータシステムへの制御情報
    の入力のための方法において、 ａ）第１の画像情報（Ａ）を撮影するステップ、 ｂ）第２の画像情報（Ａ’）を撮影するステップ、 ｃ）前記第１の画像情報と前記第２の画像情報との間の相対的なシフトをもとめ
    るステップ、 ｄ）もとめられた相対的なシフトに基づいて制御情報（ｘ、ｙ、ｚ）を発生する
    ステップから成るコンピュータシステムへの制御情報の入力のための方法。
  19. 【請求項１９】 ステップｃ）における検出は、画像圧縮方法を用いて動き
    ベクトルをもとめることであることを特徴とする、請求項１８記載の方法。
  20. 【請求項２０】 ステップｄ）における発生は、メイン動きベクトルに基づ
    いて制御情報（ｘ、ｙ、ｚ）を発生することであることを特徴とする、請求項１
    ９記載の方法。
JP2001506486A 1999-06-25 2000-06-26 コンピュータシステムに制御情報を入力するための装置及び方法 Pending JP2003503773A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP99112287A EP1063607A1 (de) 1999-06-25 1999-06-25 Vorrichtung und Verfahren zur Eingabe von Streuerinformationen in Computersysteme
EP99112287.0 1999-06-25
PCT/EP2000/005917 WO2001001334A1 (de) 1999-06-25 2000-06-26 Vorrichtung und verfahren zur eingabe von steuerinformationen in computersysteme

Publications (1)

Publication Number Publication Date
JP2003503773A true JP2003503773A (ja) 2003-01-28

Family

ID=8238434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001506486A Pending JP2003503773A (ja) 1999-06-25 2000-06-26 コンピュータシステムに制御情報を入力するための装置及び方法

Country Status (5)

Country Link
EP (2) EP1063607A1 (ja)
JP (1) JP2003503773A (ja)
DE (1) DE50001019D1 (ja)
ES (1) ES2190782T3 (ja)
WO (1) WO2001001334A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362569A (ja) * 2003-05-30 2004-12-24 Microsoft Corp 頭部姿勢の査定方法およびシステム
JP2007179565A (ja) * 2007-02-19 2007-07-12 Sharp Corp 携帯機器
JP2012512453A (ja) * 2008-12-15 2012-05-31 ソニー エリクソン モバイル コミュニケーションズ， エービー 光学マーカを有するユーザ入力デバイスを検出する電子デバイス、システム、方法およびコンピュータプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977645B2 (en) * 2001-03-16 2005-12-20 Agilent Technologies, Inc. Portable electronic device with mouse-like capabilities
FI117488B (fi) 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
US7396922B2 (en) 2001-11-28 2008-07-08 Angiogenetics Sweden Ab Regulation of hypoxia-inducible gene expression with antisense Inhibitory PAS domain protein
FI20045078A (fi) * 2004-03-16 2005-09-17 Myorigo Oy Laajakulmaoptiikalla ja säteilysensorilla varustettu mobiililaite
JP4241484B2 (ja) * 2004-04-14 2009-03-18 日本電気株式会社 携帯端末装置、着信応答メッセージ送信方法およびサーバ装置
FR2887654A1 (fr) * 2005-06-24 2006-12-29 Daniel Henri Lucien Jos Martin Dispositif de pointage digital sur ecran
DE102005054984B4 (de) * 2005-11-16 2008-03-27 Vodafone Holding Gmbh Mobiles Endgerät zur Nutzung in Mobilfunknetzen
US8994644B2 (en) 2007-01-26 2015-03-31 Apple Inc. Viewing images with tilt control on a hand-held device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141098A (ja) * 1993-11-17 1995-06-02 Nippon Telegr & Teleph Corp <Ntt> 座標入力装置
JPH1020998A (ja) * 1996-06-28 1998-01-23 Osaka Kagaku Gijutsu Center 位置指示装置
JPH10240436A (ja) * 1996-12-26 1998-09-11 Nikon Corp 情報処理装置および記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04158434A (ja) * 1990-10-23 1992-06-01 Toshiba Corp ディスプレイ装置のポインティングデバイス
JP3234633B2 (ja) * 1992-06-19 2001-12-04 シャープ株式会社 情報処理装置
TW320717B (ja) * 1995-11-13 1997-11-21 Motorola Inc
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JPH112868A (ja) * 1997-06-13 1999-01-06 Nikon Corp 電子カメラ、銀塩カメラ、電子カメラの制御方法、銀塩カメラの制御方法、および、記録媒体
CA2208179A1 (en) * 1997-06-18 1998-12-18 Roland S. Walch Pointing device with optical fingerprint recognition and tracking capability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141098A (ja) * 1993-11-17 1995-06-02 Nippon Telegr & Teleph Corp <Ntt> 座標入力装置
JPH1020998A (ja) * 1996-06-28 1998-01-23 Osaka Kagaku Gijutsu Center 位置指示装置
JPH10240436A (ja) * 1996-12-26 1998-09-11 Nikon Corp 情報処理装置および記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362569A (ja) * 2003-05-30 2004-12-24 Microsoft Corp 頭部姿勢の査定方法およびシステム
US7844086B2 (en) 2003-05-30 2010-11-30 Microsoft Corporation Head pose assessment methods and systems
US8135183B2 (en) 2003-05-30 2012-03-13 Microsoft Corporation Head pose assessment methods and systems
US8457358B2 (en) 2003-05-30 2013-06-04 Microsoft Corporation Head pose assessment methods and systems
JP2007179565A (ja) * 2007-02-19 2007-07-12 Sharp Corp 携帯機器
JP2012512453A (ja) * 2008-12-15 2012-05-31 ソニー エリクソン モバイル コミュニケーションズ， エービー 光学マーカを有するユーザ入力デバイスを検出する電子デバイス、システム、方法およびコンピュータプログラム

Also Published As

Publication number Publication date
EP1194883A1 (de) 2002-04-10
ES2190782T3 (es) 2003-08-16
EP1194883B1 (de) 2003-01-02
DE50001019D1 (de) 2003-02-06
WO2001001334A1 (de) 2001-01-04
EP1063607A1 (de) 2000-12-27

Similar Documents

Publication Publication Date Title
CN107995429B (zh) 一种拍摄方法及移动终端
US20070040810A1 (en) Touch controlled display device
CN100349103C (zh) 具有屏幕上光导航的移动设备
US8368795B2 (en) Notebook computer with mirror and image pickup device to capture multiple images simultaneously
WO2006036069A1 (en) Information processing system and method
US20090144668A1 (en) Sensing apparatus and operating method thereof
JP2005184230A (ja) 携帯通信端末
KR20190008610A (ko) 이동 단말기 및 그 제어 방법
JP2006010489A (ja) 情報装置、情報入力方法およびプログラム
JP2003503773A (ja) コンピュータシステムに制御情報を入力するための装置及び方法
CN105991928B (zh) 图像处理装置以及图像处理方法
CN106385579A (zh) 一种摄像头检测装置、方法及多摄像头终端
CN113253908B (zh) 按键功能执行方法、装置、设备及存储介质
JP2001298649A (ja) タッチスクリーンを有するデジタル画像形成装置
CA2707917C (en) Virtual keyboard of a mobile terminal
CN110086998B (zh) 一种拍摄方法及终端
EP4195647A1 (en) Image processing method, mobile terminal, and storage medium
CN102422320A (zh) 带有图像修改的摄像机装置
KR101599871B1 (ko) 촬상 장치 및 촬상 방법
CN110365906A (zh) 拍摄方法及移动终端
CN107705275B (zh) 一种拍照方法及移动终端
CN108600623B (zh) 重聚焦显示方法以及终端设备
CN113286085B (zh) 显示控制方法、装置和电子设备
JP2004172851A (ja) 通信端末並びに撮影倍率の制御方法をコンピュータに実行させるプログラム
JP2002049455A (ja) 入力インタフェース装置、及び該装置を具備する携帯情報装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070625

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20091020

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100615