JP2015064724A - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP2015064724A JP2015064724A JP2013197921A JP2013197921A JP2015064724A JP 2015064724 A JP2015064724 A JP 2015064724A JP 2013197921 A JP2013197921 A JP 2013197921A JP 2013197921 A JP2013197921 A JP 2013197921A JP 2015064724 A JP2015064724 A JP 2015064724A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information processing
- vector
- processing apparatus
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1は、本発明の実施の形態にかかる情報処理装置を表すブロック図である。
すなわち、距離計測部100は、情報処理装置10とは異なる外部の装置であってもよいし、情報処理装置10が備える装置であってもよい。コンピュータ800は、情報処理装置10とは異なる外部のコンピュータであってもよいし、情報処理装置10が備えるコンピュータであってもよい。あるいは、コンピュータ800は、後述する表示部600に内蔵されていてもよい。図1に示したハードウエア構成は、一例であり、各実施形態に係る情報処理装置は一部、又は全部を、LSI(Large Scale Integration)等の集積回路又はIC(Integrated Circuit)チップセットとして実現してもよい。各機能ブロックは個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。
また、決定部400は、3次元ベクトルviの角度を利用することで、座標以外に物体の角度をコンピュータへ出力することができる。決定部400は、物体の角度に応じて出力内容を変更しても良い。決定部400が出力するジェスチャの具体例については、後述する。
図3(a)および図3(b)は、検出範囲および検出された部分を説明する模式的平面図である。
図4(a)および図4(b)は、弁別処理および棄却処理を説明する模試図である。
図5は、複数の検出範囲が設定される場合の例を説明する模式的平面図である。
図6は、ベクトルの算出方法を説明する模式的平面図である。
図7は、物体の角度に応じて出力内容を変更する例を例示する模式的平面図である。 図8は、角度が近しい指同士をペアとする例を例示する模式的平面図である。
図9は、ベクトルviから疑似的にユーザーの位置を決定する例を例示する模式的平面図である。
図4(a)は、弁別処理および棄却処理を実行する前の状態を表す模式的平面図である。図4(b)は、弁別処理および棄却処理を実行した後の状態を表す模式的平面図である。
ここで、αは検出範囲の分割割合を調整するパラメータであり、0≦α≦1である。
続いて、各検出部は、一定の距離の検出範囲内に物体が進入したか否かを判断する(ステップS14)。一定の距離の検出範囲内に物体が進入したと各検出部が判断した場合(ステップS14:YES)、その部分を検出する。例えば、物体50が第1検出範囲および第2検出範囲に進入した場合、第1検出部201および第2検出部202は、その部分を検出する。この場合、物体50は、第1検出部201と第2検出部202とにまたがって存在する。あるいは、物体50が第1検出範囲および第2検出範囲のいずれか一方に進入した場合、物体50が進入した検出範囲に対応する第1検出部201および第2検出部202のいずれか一方がその部分を検出してもよい。なお、物体50が複数の検出範囲のすべてに進入した場合に、各検出部がその部分を検出すると、例えばノイズなどに対する誤検知をより抑えることができる。
ここで、Zn near(x,y)、Zn far(x,y)は、それぞれの検出範囲を指定するパラメータである。またnは、各検出部の番号をあらわす。すなわち0≦n≦1である。
決定部400は、物体50の角度に応じて出力内容を変更しても良い。例えば、図7に示すように、指(物体50)を傾けることによって入力操作を出力することができる。
また、ジェスチャ入力を行う際に角度の情報を用いても良い。既存のタッチ操作の場合、二本指でのピンチ動作や回転動作など複数の指を組み合わせて行うジェスチャが多い。複数のタッチが検出された場合、距離が近い指同士を組み合わせることが多い。これに対して、本実施例によれば、指の角度も参照して決定することができる。例えば、図8に示すように、角度が近しい指(物体50)同士をペアとすれば良い。一方で,角度の差が一定以上となる指(物体60)は、物体50とは別個の操作を行っていると判断される。
さらに、物体50に対応する基準面への3次元ベクトルviに対して、例えば反対の方向にユーザー(物体50の操作者)が存在すると仮定する。すると、図9に示すようにベクトルviから疑似的に、ユーザーの位置を決定することができる。これにより、ユーザーの方向に応じて入力操作を変えることが可能になる。例えば、一定方向からの入力のみ許可することで、ユーザーの方向による入力操作の制限などを実現することができる。
図10は、本発明の他の実施の形態にかかる情報処理装置を表すブロック図である。
座標算出部500は、基準面における物体50の入力座標を求める。座標算出部500が入力座標(タッチ座標)を求める方法の詳細については、後述する。
その他の構成は、図1に関して前述した情報処理装置10の構成と同様である。
図12は、2本の指でタッチを続ける場合の例を例示する模式的平面図である。
続いて、座標算出部500は、タッチ座標を求める(ステップS19)。本実施形態では、物体50が基準面に接触(タッチ)した際のタッチ座標を求める方法について説明する。ベクトル算出部300は、物体50に対応する基準面への3次元ベクトルviを求めている。そのため、タッチ座標は、Xi(ベクトル)=x2 i(ベクトル)+vi(ベクトル)と表すことができる。また、ベクトルを定数倍して加算することで座標を調整しても良い。ここで、添え字「i」を参照することで、複数の物体50をそれぞれ区別することができる。これは、マルチタッチに対応できることを意味する。
ここで、βは時定数である。β=1.0の場合には、安定化処理は行われない。
続いて、ステップS18の情報処理方法は、図2に関して前述したステップS18の情報処理方法と同様である。
図13に表した情報処理装置10bは、図10に関して前述した情報処理装置10aと比較して、表示部600をさらに備える。
その他の構成は、図10に関して前述した情報処理装置10aの構成と同様である。
図13に関して前述したように、情報処理装置が表示部600を備える場合、壁や机上面などを、操作可能な仮想ディスプレイとすることが可能となる。ただし、表示部600の座標系と距離計測部100の座標系とが互いに異なる場合は、座標系間の対応付けが必要となる。具体的には、座標算出部500が求めた座標Xi(ベクトル)を、表示部600における座標系に対応させるための変換が必要になる。
図16は、対応点算出のパターン画像の一例を例示する模式的平面図である。
ステップS11〜ステップS19の情報処理方法は、図2および図11に関して前述したステップS11〜ステップS19の情報処理方法と同様である。
基準面が平面の場合、表示部600の座標系と距離計測部100の座標系の変換については、線形な行列変換の2次元射影変換で表わすことができる。2次元射影変換に必要な3×3の行列をHとあらわす。行列Hは、ホモグラフィーとも呼ばれる。表示部600の座標系と距離計測部100の座標系との間で4組以上の対応点を取得できれば、行列Hを解析的に求めることができる。
表示部600が例えばプロジェクタの場合、凹凸がある面であっても映像を表示することが可能である。そのため、基準面は非平面になり、前述した2次元射影変換では対応できない。このような場合には、3次元射影変換を用いて対応付けを行う。具体的には、距離計測部100の座標系におけるタッチ座標を、実空間の座標(世界座標系)に一旦復元し、その後プロジェクタの座標系に再投影することで、距離計測部100と表示部600との間の座標の対応付けを行う。
まず、表示部(この例ではプロジェクタ)600の射影モデルを次式のように定義する。
ここで、距離計測部100の座標を世界座標系の原点とすると、Rc=I、Tc=0と置くことができる。また、距離計測部100により、画像座標(xc,yc)の距離d(xc,yc)を取得できるため、定数倍の不定性を除去することができる。
最後に、変換した世界座標をプロジェクタの射影モデルに代入することで、距離計測部100の画像座標からプロジェクタの画像座標への変換が可能となる。
本実施形態によれば、電子ペンのような専用デバイスや、壁や机上面に取り付けるセンサを用いることなく、壁や机上面などを、操作可能な仮想ディスプレイとすることができる。
コンピュータ800は、決定部400から出力された操作信号に基づいて、例えば、所定の色の線や、所定の種類の線や、所定の図形などを表示部600に表示させる。
Claims (10)
- 基準面から互いに異なる距離に設定された複数の検出範囲にまたがって存在する物体を検出し前記検出範囲において検出された前記物体の代表点の位置を求める検出部と、
複数の前記代表点の位置に基づいて3次元のベクトルを求めるベクトル算出部と、
前記ベクトルに基づいて前記物体による入力操作の内容を決定する決定部と、
を備えた情報処理装置。 - 前記決定部は、前記ベクトルの角度に基づいて前記入力操作の内容を決定する請求項1記載の情報処理装置。
- 前記決定部は、前記ベクトルの角度に基づいて前記物体を操作する操作者の位置を決定する請求項1または2に記載の情報処理装置。
- 前記物体が複数存在し、
前記決定部は、前記複数の前記物体のそれぞれに対応する前記ベクトルの角度に基づいて前記複数の前記物体のうちの少なくとも2つを互いに一組と決定する請求項1〜3のいずれか1つに記載の情報処理装置。 - 前記物体までの距離を測定する距離計測部をさらに備え、
前記検出部は、前記距離計測部が測定した前記距離に基づいて前記物体を検出し前記代表点の位置を求める請求項1〜4のいずれか1つに記載の情報処理装置。 - 前記物体の入力座標を求める座標算出部をさらに備え、
前記決定部は、前記入力座標および前記ベクトルの少なくともいずれかに基づいて前記入力操作の内容を決定する請求項1〜5のいずれか1つに記載の情報処理装置。 - 前記座標算出部は、前記ベクトルを用いて前記入力座標を求める請求項6記載の情報処理装置。
- 前記決定部は、前記入力座標の位置および前記入力座標の時間的な変化の少なくともいずれかに基づいて前記入力操作の内容を決定する請求項6または7に記載の情報処理装置。
- 映像を投影して表示する投影部をさらに備えた請求項1〜8のいずれか1つに記載の情報処理装置。
- 前記決定部が決定した前記入力操作の内容を、前記投影部の座標系に合わせて変換する変換部をさらに備えた請求項9記載の情報処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013197921A JP5802247B2 (ja) | 2013-09-25 | 2013-09-25 | 情報処理装置 |
US14/331,701 US9639212B2 (en) | 2013-09-25 | 2014-07-15 | Information processor, processing method, and projection system |
CN201410384547.6A CN104461176A (zh) | 2013-09-25 | 2014-08-07 | 信息处理器、处理方法和投影系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013197921A JP5802247B2 (ja) | 2013-09-25 | 2013-09-25 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015064724A true JP2015064724A (ja) | 2015-04-09 |
JP5802247B2 JP5802247B2 (ja) | 2015-10-28 |
Family
ID=52690545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013197921A Expired - Fee Related JP5802247B2 (ja) | 2013-09-25 | 2013-09-25 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9639212B2 (ja) |
JP (1) | JP5802247B2 (ja) |
CN (1) | CN104461176A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016218893A (ja) * | 2015-05-25 | 2016-12-22 | 株式会社リコー | 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 |
US9761159B2 (en) | 2014-06-13 | 2017-09-12 | Kabushiki Kaisha Toshiba | Image processor, image projector, and image processing method |
US9843711B2 (en) | 2014-06-30 | 2017-12-12 | Kabushiki Kaisha Toshiba | Image processing device, image processing method, and image processing program |
JP2018109899A (ja) * | 2017-01-05 | 2018-07-12 | キヤノン株式会社 | 情報処理装置、操作検出方法、及びコンピュータプログラム |
US10073614B2 (en) | 2014-08-28 | 2018-09-11 | Kabushiki Kaisha Toshiba | Information processing device, image projection apparatus, and information processing method |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5852050B2 (ja) * | 2013-05-27 | 2016-02-03 | 株式会社ジャパンディスプレイ | タッチ検出装置、タッチ検出機能付き表示装置、及び電子機器 |
KR20150068001A (ko) * | 2013-12-11 | 2015-06-19 | 삼성전자주식회사 | 센서를 이용한 동작 인식 방법 및 장치 |
WO2016103521A1 (ja) * | 2014-12-26 | 2016-06-30 | 株式会社ニコン | 検出装置およびプログラム |
WO2018042923A1 (ja) * | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理システム、情報処理方法、およびプログラム |
CN106557209B (zh) * | 2016-10-28 | 2019-09-17 | 青岛海信电器股份有限公司 | 红外触摸屏触控信号的处理方法、装置及终端设备 |
CN108109581B (zh) * | 2018-01-16 | 2018-12-25 | 深圳鑫亿光科技有限公司 | 交互式led显示装置及其显示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0784715A (ja) * | 1993-09-10 | 1995-03-31 | Hitachi Ltd | 情報処理装置 |
JP2012069095A (ja) * | 2010-08-25 | 2012-04-05 | Canon Inc | 情報処理装置およびその制御方法 |
JP2012220970A (ja) * | 2011-04-04 | 2012-11-12 | Seiko Epson Corp | 入力システム及びペン型入力機器 |
JP2013065061A (ja) * | 2011-09-15 | 2013-04-11 | Funai Electric Co Ltd | プロジェクタ |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101520689B1 (ko) * | 2008-10-22 | 2015-05-21 | 엘지전자 주식회사 | 이동 단말기 및 이를 이용한 화면 스크롤 방법 |
JP5488082B2 (ja) * | 2010-03-17 | 2014-05-14 | セイコーエプソン株式会社 | 情報認識システム及びその制御方法 |
JP4858631B2 (ja) | 2010-06-17 | 2012-01-18 | パナソニック株式会社 | 画像投影装置、判定方法及び判定プログラム |
JP5197777B2 (ja) | 2011-02-01 | 2013-05-15 | 株式会社東芝 | インターフェイス装置、方法、およびプログラム |
WO2012157272A1 (ja) * | 2011-05-16 | 2012-11-22 | パナソニック株式会社 | 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム |
JP2013061552A (ja) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | プロジェクタ装置および操作検出方法 |
JP5971053B2 (ja) * | 2012-09-19 | 2016-08-17 | 船井電機株式会社 | 位置検出装置及び画像表示装置 |
-
2013
- 2013-09-25 JP JP2013197921A patent/JP5802247B2/ja not_active Expired - Fee Related
-
2014
- 2014-07-15 US US14/331,701 patent/US9639212B2/en not_active Expired - Fee Related
- 2014-08-07 CN CN201410384547.6A patent/CN104461176A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0784715A (ja) * | 1993-09-10 | 1995-03-31 | Hitachi Ltd | 情報処理装置 |
JP2012069095A (ja) * | 2010-08-25 | 2012-04-05 | Canon Inc | 情報処理装置およびその制御方法 |
JP2012220970A (ja) * | 2011-04-04 | 2012-11-12 | Seiko Epson Corp | 入力システム及びペン型入力機器 |
JP2013065061A (ja) * | 2011-09-15 | 2013-04-11 | Funai Electric Co Ltd | プロジェクタ |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9761159B2 (en) | 2014-06-13 | 2017-09-12 | Kabushiki Kaisha Toshiba | Image processor, image projector, and image processing method |
US9843711B2 (en) | 2014-06-30 | 2017-12-12 | Kabushiki Kaisha Toshiba | Image processing device, image processing method, and image processing program |
US10073614B2 (en) | 2014-08-28 | 2018-09-11 | Kabushiki Kaisha Toshiba | Information processing device, image projection apparatus, and information processing method |
JP2016218893A (ja) * | 2015-05-25 | 2016-12-22 | 株式会社リコー | 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 |
JP2018109899A (ja) * | 2017-01-05 | 2018-07-12 | キヤノン株式会社 | 情報処理装置、操作検出方法、及びコンピュータプログラム |
US10379678B2 (en) | 2017-01-05 | 2019-08-13 | Canon Kabushiki Kaisha | Information processing device, operation detection method, and storage medium that determine the position of an operation object in a three-dimensional space based on a histogram |
Also Published As
Publication number | Publication date |
---|---|
US9639212B2 (en) | 2017-05-02 |
US20150084930A1 (en) | 2015-03-26 |
CN104461176A (zh) | 2015-03-25 |
JP5802247B2 (ja) | 2015-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5802247B2 (ja) | 情報処理装置 | |
TWI544447B (zh) | 擴增實境的方法及系統 | |
JP6194777B2 (ja) | 動作判定方法、動作判定装置および動作判定プログラム | |
US20200133432A1 (en) | Virtual touch screen | |
US20110267264A1 (en) | Display system with multiple optical sensors | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
TWI408587B (zh) | 觸控系統及其定位方法 | |
US10318152B2 (en) | Modifying key size on a touch screen based on fingertip location | |
US20120319945A1 (en) | System and method for reporting data in a computer vision system | |
WO2013115991A1 (en) | Latency measurement | |
WO2022116281A1 (zh) | 一种新的非接触式人机交互方法及系统 | |
US20160139674A1 (en) | Information processing device, image projection device, and information processing method | |
US20150153834A1 (en) | Motion input apparatus and motion input method | |
JP2014102183A (ja) | 画像処理装置および画像処理システム | |
EP2975503A2 (en) | Touch device and corresponding touch method | |
CN105653101B (zh) | 触控点感测方法及光学触控系统 | |
Kim et al. | Method for user interface of large displays using arm pointing and finger counting gesture recognition | |
JP2018049498A (ja) | 画像処理装置、操作検出方法、コンピュータプログラム、及び記憶媒体 | |
US9652081B2 (en) | Optical touch system, method of touch detection, and computer program product | |
TWI419011B (zh) | 觸控點之追蹤方法及追蹤系統 | |
EP3059664A1 (en) | A method for controlling a device by gestures and a system for controlling a device by gestures | |
WO2018161421A1 (zh) | 终端设备的触摸显示屏幕的性能测试方法和性能测试装置 | |
CN116974400B (zh) | 屏幕触显识别方法、装置、设备及存储介质 | |
US20150370441A1 (en) | Methods, systems and computer-readable media for converting a surface to a touch surface | |
TWI566128B (zh) | 虛擬觸控裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150624 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150828 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5802247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |