JP2021128643A - 端末操作システム、および、端末操作プログラム - Google Patents
端末操作システム、および、端末操作プログラム Download PDFInfo
- Publication number
- JP2021128643A JP2021128643A JP2020023857A JP2020023857A JP2021128643A JP 2021128643 A JP2021128643 A JP 2021128643A JP 2020023857 A JP2020023857 A JP 2020023857A JP 2020023857 A JP2020023857 A JP 2020023857A JP 2021128643 A JP2021128643 A JP 2021128643A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- coordinates
- operation reference
- terminal
- reference unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 241000699666 Mus <mouse, genus> Species 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
操作用基準部および前記操作用基準部の周囲を含む画像データ中において、前記操作用基準部を中心とする1つの矩形の領域および前記領域の対角の座標が設定された教師データを複数取得し、
前記教師データを用いて、入力された画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標を出力する学習済みモデルを生成する
学習済みモデル生成方法が提供される。
操作用基準部および前記操作用基準部の周囲を含む画像データ中において、前記操作用基準部を中心とする1つの矩形の領域および前記領域の対角の座標が設定された複数の教師データを用いて機械学習により生成され、
入力された画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標を出力する
学習済みモデルが提供される。
操作用基準部および前記操作用基準部の周囲を含む画像データを取得し、
前記画像データを入力とし、前記画像データ中における前記操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師画像データを用いて学習させた学習済みモデルに、
取得した画像データを入力して、操作用基準部を中心とする1つの矩形の領域の対角の座標を出力する
処理をコンピュータに実行させるプログラムが提供される。
操作用基準部および前記操作用基準部の周囲を含む画像データを連続的に撮像する撮像手段と、
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師画像データを用いて学習させた学習済みモデルを記憶する記憶手段と、
前記撮像手段から画像データを取得し、前記学習済みモデルを用いて前記画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標を検出する検出手段と、
前記検出手段から送られてきた前記画像データにおける前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理手段と、
前記座標処理手段で算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作手段とを有する
端末操作システムが提供される。
前記座標処理手段は、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別する機能を有しており、
前記端末操作手段は、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときときに、前記端末に対して所定のイベントを実施させる。
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師データを用いて学習させた学習済みモデルに対して、撮像手段によって撮像された、操作用基準部および前記操作用基準部の周囲を含む画像データを入力する入力ステップと、
前記学習済みモデルを用いて前記画像データにおける前記操作用基準部を中心とする1つの矩形の領域の対角の座標を検出する検出ステップと、
前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理ステップと、
算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作ステップとを有する
端末操作プログラムが提供される。
前記座標処理ステップでは、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別し、
前記端末操作ステップでは、さらに、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときときに、前記端末に対して所定のイベントを実施させる。
前記フォーカスとは、ポインタを前記表示画面座標の位置に移動させることであり、
前記イベントとは、マウスのクリックおよびダブルクリックである。
本発明が適用された実施形態に係る学習済みモデル10、および、それを用いた端末操作システム100について説明する。
次に、本実施態様に係る端末操作システム100における端末操作プログラム200の動作について説明する。なお、オペレータの人差し指Yおよび当該人差し指Yの周囲を含む画像データG中において、人差し指Yを中心とする1つの矩形領域Rおよび当該矩形領域Rの対角の座標Xが設定された教師データKを複数取得し、これら教師データKを用いた公知の機械学習手法により、入力された画像データGにおける人差し指Yを中心とする1つの矩形領域Rの対角の座標Xを出力する学習済みモデル10が生成されている。
本実施形態に係る端末操作システム100によれば、単純な動画撮影ができるカメラを用いて、オペレータが自身の人差し指Yを動かすことにより、このようなカメラを標準的に備えている通常のノートPC、スマートフォン、タブレット等の端末を非接触で操作することのできるシステムを提供できる。
上述した実施形態では、端末操作システム100の座標処理手段60において、連続的に取得された複数の画像データGから人差し指Yを中心とする矩形領域Rの対角の座標Xに基づいて、端末Tの表示画面Mにおける対応する表示画面座標にポインタを表示させるようになっていたが、これに加えて、カメラに対して人差し指Yを前後させる動きを識別させてもよい。
上述した実施形態では、座標処理手段60において、予め、撮像手段20によって取得される画像データGの解像度と、端末Tの表示画面Mの解像度とを取得しておき、両解像度に基づいて画像データGの四隅の座標と、対応する表示画面Mの四隅の座標とが一致するように設定しておき、検出手段50から送られてきた画像データGにおける対角の座標Xに基づいて人差し指Yの座標を決定し、然る後、端末Tの表示画面Mにおいて対応する表示画面座標を算出することにより、当該表示画面座標の位置にポインタを表示させるようにしていた。つまり、人差し指Yの座標とポインタを表示させる座標とを一対一に対応させていたが、これに変えて、ポインタを「差分」で移動させるようにしてもよい。
上述した各実施形態では、本発明を利用して端末Tのポインタを移動させたり、さらに別の操作(例えば、マウスの「クリック」に相当するイベントや「ダブルクリック」に相当するイベント等)を実行させたりする例を示したが、これに限定されることなく、マウスの操作以外で、本発明を端末Tの表示画面M上の点にフォーカスする操作、および、フォーカスした点で何らかのイベントを実行させる入力手段として使用してもよい。
上述した各実施形態では、学習済みモデル10が矩形領域Rの対角の座標Xを検出するとともに、「確度」の値を出力するようになっていたが、「確度」の値の出力をすることなく、矩形領域Rの対角の座標Xを検出するだけでもよい。
上述した各実施形態では、端末Tを操作するために端末操作システム100が検出する「操作用基準部」の例としてオペレータの人差し指Yを使用していたが、「操作用基準部」はこれに限定されるものではなく、例えば、人差し指以外の指であったり、手袋を装着した状態の指であったり、ペンの先端部であったり、特定の形状をした棒の先端部であったり、特定形状の図形であったり、どのようなものであってもよい。
20…撮像手段
30…制御手段
40…記憶手段
50…検出手段
60…座標処理手段
70…端末操作手段
100…端末操作システム
200…端末操作プログラム
T…端末、Y…オペレータの人差し指、R…矩形領域、X…対角の座標、G…画像データ、K…教師データ、M…表示画面
操作用基準部および前記操作用基準部の周囲を含む画像データを連続的に撮像する撮像手段と、
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師画像データを用いて学習させた学習済みモデルを記憶する記憶手段と、
前記撮像手段から画像データを取得し、前記学習済みモデルを用いて前記画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標、および、前記学習済みモデル内の前記操作用基準部の特徴量と入力された前記操作用基準部の特徴量との一致度合いを示す確度の値を検出する検出手段と、
前記検出手段から送られてきた前記画像データにおける前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理手段と、
前記座標処理手段で算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作手段とを有しており、
前記撮像手段によって連続的に撮像された前記画像データ毎に、前記記憶手段、前記検出手段、前記座標処理手段、および前記端末操作手段による作業が実施されることを特徴とする
端末操作システムが提供される。
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師データを用いて学習させた学習済みモデルに対して、撮像手段によって撮像された、操作用基準部および前記操作用基準部の周囲を含む画像データを入力する入力ステップと、
前記学習済みモデルを用いて前記画像データにおける前記操作用基準部を中心とする1つの矩形の領域の対角の座標、および、前記学習済みモデル内の前記操作用基準部の特徴量と入力された前記操作用基準部の特徴量との一致度合いを示す確度の値を検出する検出ステップと、
前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理ステップと、
算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作ステップとを有しており、
連続的に撮像された前記画像データ毎に、前記入力ステップ、前記検出ステップ、前記座標処理ステップ、および、前記端末操作ステップが実施されることを特徴とする
端末操作プログラムが提供される。
Claims (9)
- 操作用基準部および前記操作用基準部の周囲を含む画像データ中において、前記操作用基準部を中心とする1つの矩形の領域および前記領域の対角の座標が設定された教師データを複数取得し、
前記教師データを用いて、入力された画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標を出力する学習済みモデルを生成する
学習済みモデル生成方法。 - 操作用基準部および前記操作用基準部の周囲を含む画像データ中において、前記操作用基準部を中心とする1つの矩形の領域および前記領域の対角の座標が設定された複数の教師データを用いて機械学習により生成され、
入力された画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標を出力する
学習済みモデル。 - 操作用基準部および前記操作用基準部の周囲を含む画像データを取得し、
前記画像データを入力とし、前記画像データ中における前記操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師画像データを用いて学習させた学習済みモデルに、
取得した画像データを入力して、操作用基準部を中心とする1つの矩形の領域の対角の座標を出力する
処理をコンピュータに実行させるプログラム。 - 操作用基準部および前記操作用基準部の周囲を含む画像データを連続的に撮像する撮像手段と、
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師画像データを用いて学習させた学習済みモデルを記憶する記憶手段と、
前記撮像手段から画像データを取得し、前記学習済みモデルを用いて前記画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標を検出する検出手段と、
前記検出手段から送られてきた前記画像データにおける前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理手段と、
前記座標処理手段で算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作手段とを有する
端末操作システム。 - 前記座標処理手段は、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別する機能を有しており、
前記端末操作手段は、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときときに、前記端末に対して所定のイベントを実施させることを特徴とする
請求項4に記載の端末操作システム。 - 前記フォーカスとは、ポインタを前記表示画面座標の位置に移動させることであり、
前記イベントとは、マウスのクリックおよびダブルクリックであることを特徴とする
請求項4または5に記載の端末操作システム。 - 教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師データを用いて学習させた学習済みモデルに対して、撮像手段によって撮像された、操作用基準部および前記操作用基準部の周囲を含む画像データを入力する入力ステップと、
前記学習済みモデルを用いて前記画像データにおける前記操作用基準部を中心とする1つの矩形の領域の対角の座標を検出する検出ステップと、
前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理ステップと、
算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作ステップとを有する
端末操作プログラム。 - 前記座標処理ステップでは、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別し、
前記端末操作ステップでは、さらに、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときときに、前記端末に対して所定のイベントを実施させることを特徴とする
請求項7に記載の端末操作プログラム。 - 前記フォーカスとは、ポインタを前記表示画面座標の位置に移動させることであり、
前記イベントとは、マウスのクリックおよびダブルクリックであることを特徴とする
請求項7または8に記載の端末操作プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020023857A JP6935887B2 (ja) | 2020-02-14 | 2020-02-14 | 端末操作システム、および、端末操作プログラム |
PCT/JP2021/005380 WO2021162119A1 (ja) | 2020-02-14 | 2021-02-13 | 端末操作に用いられる学習済みモデル生成方法、学習済みモデル、プログラム、端末操作システム、および、端末操作プログラム |
JP2021067391A JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020023857A JP6935887B2 (ja) | 2020-02-14 | 2020-02-14 | 端末操作システム、および、端末操作プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021067391A Division JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021128643A true JP2021128643A (ja) | 2021-09-02 |
JP6935887B2 JP6935887B2 (ja) | 2021-09-15 |
Family
ID=77292301
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020023857A Active JP6935887B2 (ja) | 2020-02-14 | 2020-02-14 | 端末操作システム、および、端末操作プログラム |
JP2021067391A Pending JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021067391A Pending JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6935887B2 (ja) |
WO (1) | WO2021162119A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013080266A (ja) * | 2010-02-08 | 2013-05-02 | Nextedge Technology Inc | 入力装置 |
JP2013250933A (ja) * | 2012-06-04 | 2013-12-12 | Canon Inc | 情報処理装置およびその制御方法 |
JP2017059207A (ja) * | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識方法 |
JP2017168086A (ja) * | 2016-03-11 | 2017-09-21 | パナソニックIpマネジメント株式会社 | ジェスチャ入力システム及びジェスチャ入力方法 |
JP2018025973A (ja) * | 2016-08-10 | 2018-02-15 | 株式会社東海理化電機製作所 | 画像処理装置及び画像処理方法 |
JP2018032055A (ja) * | 2015-01-13 | 2018-03-01 | 三菱電機株式会社 | ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体 |
JP2019096072A (ja) * | 2017-11-22 | 2019-06-20 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5297530B2 (ja) * | 2009-07-15 | 2013-09-25 | 株式会社東芝 | 画像処理装置、及びインターフェース装置 |
JP2013210875A (ja) * | 2012-03-30 | 2013-10-10 | Sony Corp | 情報入力装置及び情報入力方法、並びにコンピューター・プログラム |
JP6019947B2 (ja) * | 2012-08-31 | 2016-11-02 | オムロン株式会社 | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム |
-
2020
- 2020-02-14 JP JP2020023857A patent/JP6935887B2/ja active Active
-
2021
- 2021-02-13 WO PCT/JP2021/005380 patent/WO2021162119A1/ja active Application Filing
- 2021-04-12 JP JP2021067391A patent/JP2021128784A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013080266A (ja) * | 2010-02-08 | 2013-05-02 | Nextedge Technology Inc | 入力装置 |
JP2013250933A (ja) * | 2012-06-04 | 2013-12-12 | Canon Inc | 情報処理装置およびその制御方法 |
JP2018032055A (ja) * | 2015-01-13 | 2018-03-01 | 三菱電機株式会社 | ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体 |
JP2017059207A (ja) * | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識方法 |
JP2017168086A (ja) * | 2016-03-11 | 2017-09-21 | パナソニックIpマネジメント株式会社 | ジェスチャ入力システム及びジェスチャ入力方法 |
JP2018025973A (ja) * | 2016-08-10 | 2018-02-15 | 株式会社東海理化電機製作所 | 画像処理装置及び画像処理方法 |
JP2019096072A (ja) * | 2017-11-22 | 2019-06-20 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
Non-Patent Citations (5)
Title |
---|
中村 淳一、外2名: ""粒子フィルタと最小分類誤り学習を用いた映像オブジェクト追跡法の検討"", 映像情報メディア学会技術報告, vol. 36, no. 9, JPN6020033993, 13 February 2012 (2012-02-13), JP, pages 79 - 84, ISSN: 0004466622 * |
勢尾 将平、山本 修身: ""入力インタフェース構築のためのパーティクルフィルタによる指先の追跡"", 電子情報通信学会2009年総合大会講演論文集 情報・システム2, JPN6020033991, 4 March 2009 (2009-03-04), JP, pages 142, ISSN: 0004466621 * |
北尾 雄一朗、池永 剛: ""CAMshift法を用いた指追跡と指の長さ変化の分析による空中クリック動作認識"", 電子情報通信学会2013年総合大会講演論文集 基礎・境界, JPN6020022077, 5 March 2013 (2013-03-05), JP, pages 293, ISSN: 0004466618 * |
島田 伸敬、白井 良明: ""手指ジェスチャの画像計測手法とその応用"", 情報処理学会論文誌 コンピュータビジョンとイメージメディア, vol. 1, no. 1, JPN6020033989, 15 November 2008 (2008-11-15), JP, pages 53 - 63, ISSN: 0004466620 * |
菅原 甫史、赤松 茂: ""指差し動作認識によるスライドパズルの実装とその評価 −机型実世界指向インターフェースの構築に向けて", 2009年度 画像電子学会第37回年次大会 予稿集, JPN6020022078, 25 June 2009 (2009-06-25), JP, pages 1 - 2, ISSN: 0004466619 * |
Also Published As
Publication number | Publication date |
---|---|
WO2021162119A1 (ja) | 2021-08-19 |
JP6935887B2 (ja) | 2021-09-15 |
JP2021128784A (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6371475B2 (ja) | 視線入力装置、視線入力方法、および、視線入力プログラム | |
JP4494002B2 (ja) | 切替器および切替器の切替方法 | |
WO2014034031A1 (ja) | 情報入力装置及び情報表示方法 | |
CN104571604A (zh) | 信息处理设备及方法 | |
CN101869484A (zh) | 具有触摸屏的医疗诊断装置及其操控方法 | |
TW201939260A (zh) | 一種利用手勢模擬滑鼠操作的方法、裝置及終端 | |
Matlani et al. | Virtual mouse using hand gestures | |
JP6935887B2 (ja) | 端末操作システム、および、端末操作プログラム | |
CN103154877A (zh) | 显示器上的第一图像和第二图像 | |
JP2014071672A (ja) | 情報入力装置および情報入力方法 | |
Liu et al. | COMTIS: Customizable touchless interaction system for large screen visualization | |
JP6008904B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
US20160124602A1 (en) | Electronic device and mouse simulation method | |
JP2013077180A (ja) | 認識装置およびその制御方法 | |
KR101911676B1 (ko) | 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법 | |
US10185407B2 (en) | Display control apparatus, display control method and recording medium | |
JP2014082605A (ja) | 情報処理装置、その制御方法及びプログラム | |
US20220343557A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and information processing system | |
CN117472189B (zh) | 具有实物感的打字或触控的实现方法 | |
CN116048374B (zh) | 虚拟隐形键盘的在线考试方法及系统 | |
US20150323999A1 (en) | Information input device and information input method | |
JP2019012485A (ja) | ユーザインターフェース | |
Dell et al. | Mobile touch-free interaction for global health | |
CN116594549A (zh) | 一种操控三维模型的方法、可读存储介质和计算机设备 | |
JP2020160562A (ja) | 制御システム、制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200519 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200519 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A603 | Late request for extension of time limit during examination |
Free format text: JAPANESE INTERMEDIATE CODE: A603 Effective date: 20201127 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201228 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210114 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210323 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210412 |
|
C876 | Explanation why request for accelerated appeal examination is justified |
Free format text: JAPANESE INTERMEDIATE CODE: C876 Effective date: 20210412 |
|
C305 | Report on accelerated appeal examination |
Free format text: JAPANESE INTERMEDIATE CODE: C305 Effective date: 20210423 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210427 |
|
C30 | Protocol of an oral hearing |
Free format text: JAPANESE INTERMEDIATE CODE: C30 Effective date: 20210607 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20210625 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210629 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210817 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |