JP2009217543A - 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム - Google Patents
接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム Download PDFInfo
- Publication number
- JP2009217543A JP2009217543A JP2008060624A JP2008060624A JP2009217543A JP 2009217543 A JP2009217543 A JP 2009217543A JP 2008060624 A JP2008060624 A JP 2008060624A JP 2008060624 A JP2008060624 A JP 2008060624A JP 2009217543 A JP2009217543 A JP 2009217543A
- Authority
- JP
- Japan
- Prior art keywords
- contact
- determined
- contact portion
- user
- transparent member
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 73
- 230000007717 exclusion Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 7
- 229920003023 plastic Polymers 0.000 claims description 6
- 239000004033 plastic Substances 0.000 claims description 5
- 238000004886 process control Methods 0.000 claims description 2
- 239000004973 liquid crystal related substance Substances 0.000 abstract description 65
- 230000004048 modification Effects 0.000 description 49
- 238000012986 modification Methods 0.000 description 49
- 229920005989 resin Polymers 0.000 description 15
- 239000011347 resin Substances 0.000 description 15
- 238000001514 detection method Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 238000007740 vapor deposition Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229920005992 thermoplastic resin Polymers 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 229920006352 transparent thermoplastic Polymers 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
Abstract
【課題】本発明の目的は、接触体が接触することで情報が入力され処理される装置において、多重構造ではなく部品点数も少ない簡易な構成により接触が精度良く検出される接触入力型の情報処理装置を提供することである。
【解決手段】接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８、サーボモータ９が備えられている。前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面から撮影を行える特定位置に配置されている。
【選択図】図１
【解決手段】接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８、サーボモータ９が備えられている。前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面から撮影を行える特定位置に配置されている。
【選択図】図１
Description
本発明は、接触体が接触することで情報を入力することが可能な情報処理装置及び情報処理方法に関する。
ユーザの体の一部などの接触体が接触することで簡易に情報を入力し、処理を行う装置としてタッチパネルが様々な用途で幅広く用いられている。タッチパネルは、ユーザがパネル上に表示されている表示情報に触れることで簡易に情報を入力することができる。特許文献１には、一般的なタッチパネルの製造に必要な構成が記載されている。タッチパネルは、表示面を目視することができるように透明樹脂フィルム及び透明ガラス板等から構成されている。そして、透明樹脂フィルム及び透明ガラス板が平行に重なって備えられている。透明樹脂フィルムと透明ガラス板とが対向するそれぞれの面には、透明電極が設けられている。また、透明電極間にスペーサーが設けられており、２つの電極間に隙間が設けられている。タッチパネルの表示部分に液晶表示パネルが使用される場合、入力の際にタッチパネルが弾性変形されるため液晶表示パネルも共に変形させられてしまう。そのため、液晶表示パネルの表示面が変形することにより表示が不鮮明となる。これを防止するために、上述した透明樹脂フィルムと透明ガラス板との２つの透明基材のうち、液晶表示パネル側に近い透明基材としてガラス板が一般的に用いられている。一方の透明基材は、ユーザが指で触れて情報を入力するために透明樹脂フィルムが用いられる。透明樹脂フィルムが指で触れられることで、透明樹脂フィルムと透明ガラス板との間に設けられている透明電極が弾性変形する。この変形により透明電極同士が接触することで、透明電極間に電流が流れる。透明電極間で電流が流れることで、タッチパネルから情報が入力される。
特開２００４−２５２６７６号公報
しかしながら、タッチパネルそのものを製造するために必要な部品点数が多く、タッチパネルの製造には複雑な構成が必要とされていた。また、透明電極がガラス板に蒸着されたり、透明樹脂フィルムがタッチパネルに塗布されたりと複数の工程が必要とされるため製造費コストが高くなるという問題がある。
本発明は、上述した問題点を解決するためになされたものである。本発明の目的は、ユーザの体の一部などの接触体が接触することで情報が入力され処理される装置において、多重構造ではなく部品点数も少ない簡易な構成により接触が精度良く検出される接触入力型の情報処理装置を提供することである。
この目的を達成するために、請求項１に記載の発明は、透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、接触体が接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での接触体との接触部分の入力位置を決定する画像処理部と、を備えたことを特徴としている。
請求項２に記載の発明は、透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、ユーザが接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する画像処理部と、前記画像処理部により決定された前記接触部分の入力位置に基づいて、前記表示部により表示された情報に対応する処理を決定する処理制御部と、を備えたことを特徴としている。
請求項３に記載の発明は、前記画像処理部が、前記透明部材上での前記接触部分の大きさとして接触面積を決定する面積決定部と、前記画像処理部により決定された前記接触面積が所定の大きさの場合はユーザの体の一部が前記透明部材に接触したと判別し、所定の大きさでない場合はユーザの体の一部が前記透明部材に接触していないと判別する判別部とを備え、前記判別部によりユーザの体の一部が接触したと判別されたときに前記処理制御部により処理が決定されること、を特徴としている。
請求項４に記載の発明は、前記表示部は画像表示情報に従って映像を表示するディスプレイであることを特徴としている。
請求項５に記載の発明は、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記複数の接触部分の暫定位置を決定し、前記決定された複数の接触部分の暫定位置に基づいて決定される重心位置を、前記接触部分の入力位置と決定することを特徴としている。
請求項６に記載の発明は、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記接触面積が最大である接触部分の暫定位置を前記接触部分の入力位置と決定することを特徴としている。
請求項７に記載の発明は、ユーザに再度の入力を促す表示情報を発生するための表示情報発生部を備え、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記判別部が複数の異なる位置で接触していると判別したときに、前記表示情報発生部がユーザに再度の入力を促す表示情報を発生し、前記表示部が前記ユーザに再度の入力を促す表示情報に従って表示することを特徴としている。
請求項８に記載の発明は、前記表示部により表示される情報が選択項目であり、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記複数の異なる接触部分の暫定位置を決定し、前記処理制御部が、前記画像処理部により決定された前記複数の異なる接触部分の暫定位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、前記暫定位置と前記選択項目の表示位置とが一致した場合の前記選択項目のみを再度の入力が可能な選択項目であると決定し、前記表示部に前記再度の入力が可能な選択項目を表示させることを特徴としている。
請求項９に記載の発明は、前記画像処理部が前記接触部分の形状の中の１点を前記接触部分の入力位置と決定することを特徴としている。
請求項１０に記載の発明は、前記画像処理部が、前記接触部分の形状を包含し、且つ、前記接触部分と接する正方形または長方形の中心を接触部分の入力位置と決定することを特徴としている。
請求項１１に記載の発明は、前記画像処理部が前記接触部分の形状を決定し、前記決定された接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除する第１排除部を備えたことを特徴としている。
請求項１２に記載の発明は、前記撮影ユニットはカラー画像の撮影が可能な構成を有し、前記画像処理部が接触部分の色を決定し、予め記憶された所定の色と前記画像処理部により決定された接触部分の色とが一致しないとき、前記接触部分を入力位置と決定する判断対象から排除する第２排除部を備えたことを特徴としている。
請求項１３に記載の発明は、前記接触部分を撮影するための方向とユーザの顔を撮影するための方向との間で選択的に前記撮影ユニットの撮影角度を変える角度変更部を備えることを特徴としている。
請求項１４に記載の発明は、前記透明部材はプラスチックにより作られていることを特徴としている。
請求項１５に記載の発明は、前記透明部材が曲面を有することを特徴としている。
請求項１６に記載の情報処理方法の発明は、透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、を備えたことを特徴とする接触入力型の情報処理方法としている。
請求項１７に記載の情報処理プログラムの発明は、透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、をコンピュータに実行させることを特徴としている。
請求項１記載の発明によれば、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、接触体が接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材と接触体との接触部分が、接触体の接触端部分以外の本体部分により妨げられることなく、正確に撮影されることが可能となる。そのため、接触体と透明部材との接触が精度よく決定される。
請求項２記載の発明によれば、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材とユーザの体の一部との接触部分が、ユーザの体により妨げられることなく、正確に撮影されることが可能となる。そのため、ユーザの体の一部と透明部材との接触が精度よく決定される。
請求項３記載の発明では、接触の決定が前記画像処理部により決定された接触部分の接触面積の大きさに基づいて決定されることで、確実に精度良くユーザの体の一部と透明部材との接触を判別することができる。
請求項４記載の発明では、表示部に画像信号に従って映像を表示するディスプレイを用いるため、表示部の表示内容を適宜、容易に変更することが可能となる。
請求項５記載の発明では、接触部分が複数あると判別された場合、複数の接触部分の暫定位置により決定される重心位置を、接触部分の最終的な入力位置と決定することで、接触部分の入力位置の決定を自動的に正確に行うことができる。また、処理制御部が複数の接触部分の暫定位置に対応する処理を無駄に決定しなくて良いため、位置決定の処理負担を減らすことができる。
請求項６記載の発明では、接触面積が最大の暫定位置を最終的な入力位置と決定するため、接触部分の入力位置の決定を自動的に行うことが可能となる。
請求項７記載の発明では、接触部分が複数あると判別された場合、表示情報発生部がユーザに再度の入力を促す表示情報を発生し、表示部がその表示情報に従って表示することが可能である。そのため、判定部によって接触部分が１つに決定されるまで、ユーザに繰り返し入力を行わせるため誤認識または誤作動を減らすことができる。
請求項８記載の発明では、接触部分が複数あると判別された場合、画像処理部により決定された暫定位置と一致する選択項目のみが、再度の入力が可能な選択項目であると決定される。ユーザは全ての選択項目から再度の選択を行う必要がなく、ユーザは限られた選択項目のみを見れば良いため、選択操作の負担の軽減が可能となる。
請求項９記載の発明では、接触部分の形状の中の１点を入力位置と決定することで、１つの接触部分に対して複数の入力位置が存在することがないため、接触部分の位置に対応した処理を容易に決定することができる。
請求項１０記載の発明では、接触部分の形状を包含し、且つ、接触部分と接する正方形または長方形の中心を接触部分の位置とすることで、位置決定処理の負担が少なく容易に接触部分の入力位置を決定することが可能となる。
請求項１１記載の発明では、接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除することが可能になる。そのため、接触部分の面積や入力位置を求めるための無駄な画像処理を行う必要がない。
請求項１２記載の発明では、撮影ユニットがカラー画像の色情報に基づいて所定の色の接触部分を、入力位置と決定する判断対象から排除することが可能になる。そのため、接触部分の面積や位置を求めるための無駄な画像処理を行う必要がない。
請求項１３記載の発明では、角度変更部が備えられたことで、１つの撮影ユニットによりユーザの顔画像と透明部材上の画像とを選択的に撮影することが可能になるため、１つの撮影ユニットで複数の処理を実行することができる。
請求項１４記載の発明では、本発明の構成では透明電極が不要なため、これまでタッチパネルの製造で使用することが困難だったプラスチックにより製造が可能となる。この結果、安価な素材で容易に様々な形状のパネルの製造が可能となる。
請求項１５に記載の発明では、一般的なタッチパネルで幅広く用いられている平面に限定されることなく曲面の形状も可能となるため、接触入力型の情報処理装置の用途やデザインに適した形状に容易に変更することが可能である。
請求項１６及び請求項１７に記載の発明では、撮影ステップにおいて透明部材上の接触位置が撮影ステップにより撮影された画像から決定されるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像が撮影される。つまり、透明部材とユーザの体の一部との接触部分をユーザの体により妨げられることなく、正確に接触部分を撮影することが可能となる。そのため、ユーザの体の一部と透明部材との接触が精度よく決定される。
＜第１の実施形態＞
以下、自己学習機能を有する情報処理装置に本発明を適用した第１の実施形態について図面を参照して説明する。第１の実施形態では、表示部に問題が表示される。表示された問題の解答候補が、表示部に選択項目として表示される。表示された選択項目がユーザの体の一部により接触される。ユーザにより接触された選択項目が正解か、または不正解かが判断される。
以下、自己学習機能を有する情報処理装置に本発明を適用した第１の実施形態について図面を参照して説明する。第１の実施形態では、表示部に問題が表示される。表示された問題の解答候補が、表示部に選択項目として表示される。表示された選択項目がユーザの体の一部により接触される。ユーザにより接触された選択項目が正解か、または不正解かが判断される。
図１及び図２は本発明を適用した第１の実施形態の情報処理装置の概念的構成を示す。図１は第１の実施形態の側面図、図２は正面図である。第１の実施形態の接触入力型の情報処理装置１では、図１に示す矢印の方向をそれぞれ上方向、下方向、前方向、後方向とする。また、図２に示す矢印の方向をそれぞれ右方向、逆を左方向と定義する。
＜第１の実施形態の外観的構成＞
図１に示されるように第１の実施形態の接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。図１における前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８、サーボモータ９が備えられている。全体フレーム２の下方には、全体フレーム２を支持するための支持スタンド１０が備えられている。
図１に示されるように第１の実施形態の接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。図１における前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８、サーボモータ９が備えられている。全体フレーム２の下方には、全体フレーム２を支持するための支持スタンド１０が備えられている。
（透明部材の構成）
透明フレーム３は透明なプラスチックを材料にして作られている。ユーザに対して凸の曲面の形状をしている。一方、後方の空間を覆っている全体フレーム２の材料はプラスチックを材料にして作られているが、特に限定されない。透明フレーム３は本発明の透明部材の一例である。
透明フレーム３は透明なプラスチックを材料にして作られている。ユーザに対して凸の曲面の形状をしている。一方、後方の空間を覆っている全体フレーム２の材料はプラスチックを材料にして作られているが、特に限定されない。透明フレーム３は本発明の透明部材の一例である。
（表示部の構成）
液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。液晶ディスプレイ４は、表示情報に従ってユーザに情報を表示する。液晶ディスプレイ４は本発明の表示部の一例である。
液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。液晶ディスプレイ４は、表示情報に従ってユーザに情報を表示する。液晶ディスプレイ４は本発明の表示部の一例である。
（撮影ユニットの構成）
ＣＣＤカメラ７により、ユーザが接触可能な透明フレーム３の領域全てが撮影可能な位置に配置される。また、ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面の方向から撮影を行える特定位置に配置されている。そのため、透明フレーム３とユーザの体の一部との接触部分がユーザの体により妨げられることなく、正確に接触部分の接触面積が撮影される。ＣＣＤカメラ７が上記特定位置に配置されることで、１台のＣＣＤカメラ７により透明フレーム３とユーザの体の一部とが接触しているか否かの決定が可能となる。そのため、複数のカメラを用意する必要がない。ＣＣＤカメラ７は本発明の撮影ユニットの一例である。
ＣＣＤカメラ７により、ユーザが接触可能な透明フレーム３の領域全てが撮影可能な位置に配置される。また、ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面の方向から撮影を行える特定位置に配置されている。そのため、透明フレーム３とユーザの体の一部との接触部分がユーザの体により妨げられることなく、正確に接触部分の接触面積が撮影される。ＣＣＤカメラ７が上記特定位置に配置されることで、１台のＣＣＤカメラ７により透明フレーム３とユーザの体の一部とが接触しているか否かの決定が可能となる。そのため、複数のカメラを用意する必要がない。ＣＣＤカメラ７は本発明の撮影ユニットの一例である。
（角度変更部の構成）
図３は、サーボモータ９を用いてＣＣＤカメラ７の角度を変更する角度変更部の一例を示す。図３（ａ）に示すように、サーボモータ９によりカム１１が回転され、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の短径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３とユーザの体の一部との接触部分を撮影できる撮影角度に設定される。また、図３（ｂ）に示すように、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の長径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３を通してユーザの顔を撮影できる撮影角度に設定される。そのため、ＣＣＤカメラ７により、透明フレーム３とユーザの体の一部との接触部分と、ユーザの顔などのユーザそのものとが選択的に撮影される。サーボモータ９及びカム１１は本発明の角度変更部の一例である。
図３は、サーボモータ９を用いてＣＣＤカメラ７の角度を変更する角度変更部の一例を示す。図３（ａ）に示すように、サーボモータ９によりカム１１が回転され、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の短径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３とユーザの体の一部との接触部分を撮影できる撮影角度に設定される。また、図３（ｂ）に示すように、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の長径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３を通してユーザの顔を撮影できる撮影角度に設定される。そのため、ＣＣＤカメラ７により、透明フレーム３とユーザの体の一部との接触部分と、ユーザの顔などのユーザそのものとが選択的に撮影される。サーボモータ９及びカム１１は本発明の角度変更部の一例である。
＜第１の実施形態の電気的構成＞
図４は、第１の実施形態の接触入力型の情報処理装置１の電気的構成を示すブロック図である。図４に示すように、第１の実施形態の接触入力型の情報処理装置１には、接触入力型情報処理装置１を制御するＣＰＵ５が設けられている。ＣＰＵ５には、液晶ディスプレイ４と、メモリ６と、ＣＣＤカメラ７と、ＨＤＤ８と、サーボモータ９とがそれぞれ電気的に接続されている。ＣＰＵ５は、メモリ６及びＨＤＤ８と共に、第１の実施形態の情報処理装置１の動作を制御処理するコンピュータを構成している。ＣＰＵ５とメモリ６とＨＤＤ８とからなるコンピュータは、本発明の処理制御部と、判定部との一例である。
図４は、第１の実施形態の接触入力型の情報処理装置１の電気的構成を示すブロック図である。図４に示すように、第１の実施形態の接触入力型の情報処理装置１には、接触入力型情報処理装置１を制御するＣＰＵ５が設けられている。ＣＰＵ５には、液晶ディスプレイ４と、メモリ６と、ＣＣＤカメラ７と、ＨＤＤ８と、サーボモータ９とがそれぞれ電気的に接続されている。ＣＰＵ５は、メモリ６及びＨＤＤ８と共に、第１の実施形態の情報処理装置１の動作を制御処理するコンピュータを構成している。ＣＰＵ５とメモリ６とＨＤＤ８とからなるコンピュータは、本発明の処理制御部と、判定部との一例である。
（メモリの構成）
メモリ６は、公知のＲＡＭから構成され、図１に示すようにＣＣＤカメラ７により撮影された撮影画像データ１２を記憶する領域を備える。また、メモリ６は、決定された接触部分の接触面積１５と、接触位置の候補の暫定位置１３と、接触位置の最終的な入力位置１４とを記憶する領域を備える。
メモリ６は、公知のＲＡＭから構成され、図１に示すようにＣＣＤカメラ７により撮影された撮影画像データ１２を記憶する領域を備える。また、メモリ６は、決定された接触部分の接触面積１５と、接触位置の候補の暫定位置１３と、接触位置の最終的な入力位置１４とを記憶する領域を備える。
（ＨＤＤの構成）
図５は、ＨＤＤ８の記憶内容の詳細を示す。ＨＤＤ８は、プログラム４１と、色情報４２と、表示情報４３と、接触部分の大きさ情報４４とを記憶している。プログラム４１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報４３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報４４は、接触部分の面積が所定の大きさであるかを判断するための情報である。
図５は、ＨＤＤ８の記憶内容の詳細を示す。ＨＤＤ８は、プログラム４１と、色情報４２と、表示情報４３と、接触部分の大きさ情報４４とを記憶している。プログラム４１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報４３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報４４は、接触部分の面積が所定の大きさであるかを判断するための情報である。
ＨＤＤ８は、プログラム４１として、図６に示すメインプログラム４５と、図９に示す接触検出プログラム４６と、図１０に示す処理決定プログラム４７とを記憶している。メインプログラム４５は、第１の実施形態の接触入力型の情報処理装置を制御するためのプログラムである。接触検出プログラム４６は、ＣＣＤカメラ７により撮影された撮影画像データに対して画像処理を行い、接触部分の検出を行うためのプログラムである。処理決定プログラム４７は、接触検出プログラム４６により検出された接触位置に基づいて処理を決定するためのプログラムである。ＨＤＤ８に記憶されている接触検出プログラム４６は、本発明の画像処理部の一例である。
ＨＤＤ８は、色情報４２として、接触部分色情報４８を記憶している。接触部分色情報４８は、接触部分の候補であるかを判定するための判定基準となる色情報である。
ＨＤＤ８は、液晶ディスプレイ４に情報を表示させるための表示情報４３として、初期表示情報４９を記憶している。初期表示情報４９は、情報処理装置１の起動時に液晶ディスプレイ４に情報を表示させるための表示情報である。
＜第１の実施形態のメイン動作の説明＞
以上説明した構成からなる第１の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図６は、情報処理装置１におけるメイン動作の処理手順を示すフローチャートである。メイン動作は、接触入力型の情報処理装置に電源が供給され、ＣＰＵ５がメインプログラム４５を実行することにより、遂行される。以下に示す処理は全てＣＰＵ５により処理される。
以上説明した構成からなる第１の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図６は、情報処理装置１におけるメイン動作の処理手順を示すフローチャートである。メイン動作は、接触入力型の情報処理装置に電源が供給され、ＣＰＵ５がメインプログラム４５を実行することにより、遂行される。以下に示す処理は全てＣＰＵ５により処理される。
第１の実施形態の接触入力型の情報処理装置１では、最初に、ステップＳ１０１で本装置の電源スイッチがユーザによりＯＮにされたかが判定される。電源スイッチがＯＮにされたと判定されるまで、ステップＳ１０１が繰り返される。電源スイッチがＯＮにされたと判定されると、ステップＳ１０２が実行される。電源スイッチはハードウェアを用いたスイッチであっても、ソフトウェアにより動作されるソフト電源スイッチであっても良い。
ステップＳ１０２では、初期表示情報４９がＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された初期表示情報４９に従って情報を表示する。たとえば、第１の実施形態の接触入力位置検出装置が地理の問題を出題する学習装置の場合、ユーザが地理について自己学習を開始すると、図７に示すように、液晶ディスプレイ４は、初期表示情報４９に従って「スタート」という文字を表示する。「スタート」という文字は、所定の時間が経過するまで表示される。例えば、「スタート」という文字が１秒間表示される。そして、図８に示す地図を表示するための表示情報が初期表示情報として決定される。図８は液晶ディスプレイ４の表示画面の拡大図を示す。図８に示された値はＸ軸及びＹ軸における座標値を示す。液晶ディスプレイ４の画面上の点線より左側に表示されている岐阜県の地図の形状の表示情報と青森県の地図の形状の表示情報とが決定される。ＨＤＤ８から読み出された表示情報に従って、液晶ディスプレイ４は岐阜県と青森県との地図の形状を表示する。液晶ディスプレイ４の画面に上記地図の形状の情報を表示するステップは、本発明の表示ステップの一例である。
ステップＳ１０３では、図９に示す接触検出プログラム４６が、ＨＤＤ８から読み出され、実行される。接触検出プログラム４６の詳細な説明は図９を用いて後述する。接触検出プログラム４６により、接触部分の面積の大きさと接触位置とが決定される。決定された接触部分の面積の大きさと接触位置とは、メモリ６に一時記憶される。
ステップＳ１０４では、タイムフラグがＯＮされているかが判定される。タイムフラグがＯＮの場合はステップＳ１０７へ進み、タイムフラグがＯＦＦの場合はステップＳ１０５へ進む。
ステップＳ１０５では、図１０に示す処理決定プログラム４７が、ＨＤＤ８から読み出され、実行される。処理決定プログラム４７の詳細な説明は図１０を用いて後述する。処理決定プログラム４７が実行されることで、ステップＳ１０３で決定された接触部分の面積の大きさと接触位置とに基づいて処理内容が決定される。
ステップＳ１０６では、ステップＳ１０５で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ１０１へ戻り、再びステップＳ１０１が実行される。電源スイッチがＯＦＦにされた場合は、メイン動作の処理は終了となる。
ステップＳ１０７では、タイムフラグがＯＮにされているため、図１１に示すように、規定時間以内に接触部分が検出されなかったことに基づく表示情報が決定される。接触入力型情報処理装置１では、「残念時間切れです」という情報を表示させるための表示情報がＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された表示情報に従って「残念時間切れです」といった情報を表示する。その後、図８に示す表示情報が液晶ディスプレイ４により表示される。再びステップＳ１０３へ戻り、接触検出プログラム４６が実行される。
（接触検出動作の説明）
図９は、接触検出プログラム４６に従う接触検出動作の詳細を示すフローチャートである。まず、ステップＳ２０１でタイムフラグがＯＦＦにされる。タイムフラグは、規定の時間以内に透明フレーム３が接触されたかを判別するためのフラグである。規定の時間以内に接触が検出されなかった場合、タイムフラグがＯＮにされる。
図９は、接触検出プログラム４６に従う接触検出動作の詳細を示すフローチャートである。まず、ステップＳ２０１でタイムフラグがＯＦＦにされる。タイムフラグは、規定の時間以内に透明フレーム３が接触されたかを判別するためのフラグである。規定の時間以内に接触が検出されなかった場合、タイムフラグがＯＮにされる。
ステップＳ２０２では、規定時間以内に接触が検出されたかが判定されるために、時間のカウントがスタートされる。
ステップＳ２０３では、ＣＣＤカメラ７により透明フレーム３とユーザの体の一部との接触部分の撮影が開始される。撮影を行うタイミングは、第１の実施形態の接触入力型の情報処理装置１では一定周期ごとに撮影が行われる。ＣＣＤカメラ７により撮影されるごとに、撮影画像データがメモリ６に一時記憶される。第１の実施形態の接触入力型情報処理装置１では、１秒ごとの周期で撮影が行われている。すなわち、ステップＳ２０３では、１秒ごとの周期で透明フレーム３を撮影するようＣＰＵ５がＣＣＤカメラ７に命令している。ステップＳ２０３は、本発明の撮影ステップの一例である。撮影を行うタイミングは、一定周期ごとに撮影が行われなくても良い。
ステップＳ２０４では、透明フレーム３とユーザの体の一部との接触部分の検出を行うために、メモリ６に記憶されている撮影画像データに対して画像処理が実行される。具体的には、メモリ６に記憶されている撮影画像データが時系列で比較され、比較された撮影画像データの差分が取られる。この差分以外の部分を除去することで背景の除去が可能となる。図１２は、接触部分を決定する画像処理の一例の概念図を示す。ある時刻Ｔに撮影された撮影画像データ３１と、ある時刻Ｔ＋１秒に撮影された撮影画像データ３２との画像の差分が求められる。図１２に示される差分画像データ３３が求められる。ある時刻Ｔと時刻Ｔ＋１秒との間で変化があった画素が決定される。そのため、現在動いていない物体（背景）の除去が可能となる。第１の実施形態の接触入力型情報処理装置１では１秒間隔に撮影が行われ、撮影された画像の差分が取られている。
ステップＳ２０５では、ステップＳ２０４の画像処理結果により接触部分がないと決定された場合、ステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２０６が実行される。
ステップＳ２０６では、ステップＳ２０５で接触部分がありと決定された場合、所定の色の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では人間の指の色の一つである薄橙以外の接触部分が、接触部分の入力位置を決定する判断対象から排除される。薄橙色を検出するために、ＣＣＤカメラ７が撮影した撮影画像データの全ての画素におけるＲＧＢの値と、ＨＤＤ８に記憶された接触部分色情報４８とが比較される。比較結果に基づき、画素の色が薄橙色であるかが決定される。薄橙色と識別されるＲＧＢの値の上限値及び下限値といった閾値が、あらかじめ接触部分色情報４８としてＨＤＤ８に記憶されている。画素のＲＧＢの値が、上限値と下限値とにより定まる範囲に該当するなら、薄橙色であると決定される。ステップＳ２０６及びＣＰＵ５は、本発明の第２排除部の一例である。
ステップＳ２０７では、ステップＳ２０６が実行された結果、接触部分がないと決定された場合、ステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２０８が実行される。
ステップＳ２０８では、接触部分の形状に基づいて所定の形状の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では、ユーザの体の一部として指が想定される。そのため、指の接触部分の形状として考えられる円、楕円に類似した形状である接触部分以外が排除される。ＣＣＤカメラ７が撮影した画像に対して、ハフ変換が用いられる。ハフ変換により、第１の実施形態の接触入力型情報処理装置１では図形の特徴が決定される。円及び楕円に類似した形状の接触部分が決定され、それ以外の形状の接触部分が排除される。また、接触部分の面積がＨＤＤ８に記憶されている接触部分の大きさ情報と比較される。接触部分として決定される接触部分の面積の大きさの上限値及び下限値といった閾値が、あらかじめ接触部分の大きさ情報４４としてＨＤＤ８に記憶されている。接触部分の面積の大きさが上限値と下限値とにより定まる範囲に該当しない場合、該当する接触面積の大きさである接触部分は、入力位置が決定される判断対象から排除される。ステップＳ２０８及びＣＰＵ５は、本発明の第１排除部の一例である。
ステップＳ２０９では、ステップＳ２０８が実行された結果、接触部分がないと決定された場合はステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２１０が実行される。
ステップＳ２１０では、ステップＳ２０９で接触部分がありと決定された場合、接触部分の面積と入力位置の候補としての暫定位置とが決定される。上述のステップＳ２０４からＳ２０９の処理で排除されなかった接触部分における画素数が、接触部分の接触面積と決定される。図１３は、接触面積の決定方法の一例の概念図を示す。ステップＳ２０８の実行後、撮影画像データ３４に関して、接触部分３５と接触部分３６とが決定されている。図１３における右部分に示された図は、接触部分３６の拡大図である。図１３に示す小さい１つの四角形が、１つの画素３７に相当する。また色の濃い画素３８はユーザにより接触された画素を示している。第１の実施形態では、接触部分の画素数が接触面積の大きさとされている。そのため、図１３の接触部分３６の接触面積は、ユーザにより接触された画素３８の画素数として決定される。決定された接触面積の大きさはメモリ６に一時記憶される。ステップＳ２１０及びＣＰＵ５は、本発明の面積決定部の一例である。
また、ステップＳ２１０では、接触部分の形状の中の１点の位置が暫定位置として決定される。接触部分の形状の中の１点の位置が暫定位置とされることで、上記１点の位置に対応する処理のみをＣＰＵ５が決定すれば良い。そのため、容易に接触部分に対応する処理を決定することが可能となる。第１の実施形態の接触入力型情報処理装置１では、図１４（ａ）（ｂ）（ｃ）に示すように、暫定位置として接触部分の形状を包含し、且つ、前記接触部分と接する長方形または正方形の中心を暫定位置としている。包含する正方形または長方形の中心とは、各辺の中点から引いた垂直二等分線の交点である。ＣＣＤカメラ７が撮影した画像の最も左下の画素の位置を原点としている。この原点を基準として、１画素ごとに１座標値が定められる。接触部分の暫定位置は、上記中心の座標値として決定される。このようにして接触部分の面積と接触部分の暫定位置とが決定される。図１５は、接触部分の入力位置の候補である暫定位置と、暫定位置の接触面積とがメモリ６に記憶されている概念図を示す。接触位置１から接触位置３は、接触部分の入力位置の候補である暫定位置を表している。各接触部分の接触面積と暫定位置とが、図１５に示すようにメモリ６に一時記憶される。
ステップＳ２１１では、ステップＳ２０２でカウントを始めてから経過した時間が、規定の時間内であるかが判断される。規定の時間内であれば、ステップＳ２０３へ戻り、再度透明フレーム３の撮影が開始される。規定の時間内でなければ、ステップＳ２１２に進む。
ステップＳ２１２では、規定時間以内に接触部分が検出されなかったため、タイムフラグがＯＮにされる。
ステップＳ２１３では、時間のカウントが終了される。ステップＳ２１３が実行された後、図６に示すメイン動作に戻り、ステップＳ１０４へ進む。ステップＳ２０８を除くステップＳ２０５からステップＳ２１３までのステップは、本発明の入力位置決定ステップの一例である。
（処理決定動作の説明）
図１０は、処理決定プログラム４７に従う処理決定動作の詳細を示すフローチャートである。まず、上記のステップＳ２１０において複数の暫定位置が決定された場合、ステップＳ３０１で、複数の暫定位置の中から、接触面積の最も大きい接触部分の暫定位置が最終的な入力位置として決定される。たとえば、図１５に示すように、メモリ６が暫定位置として記憶した接触位置１〜３の中で、最も接触面積が大きい暫定位置は、接触位置１であることから、図１５から、第１の実施形態の接触入力型情報処理装置１における入力位置の座標値は、接触位置１の座標値（１００、２５５）と決定され、メモリ６に一時記憶される。
図１０は、処理決定プログラム４７に従う処理決定動作の詳細を示すフローチャートである。まず、上記のステップＳ２１０において複数の暫定位置が決定された場合、ステップＳ３０１で、複数の暫定位置の中から、接触面積の最も大きい接触部分の暫定位置が最終的な入力位置として決定される。たとえば、図１５に示すように、メモリ６が暫定位置として記憶した接触位置１〜３の中で、最も接触面積が大きい暫定位置は、接触位置１であることから、図１５から、第１の実施形態の接触入力型情報処理装置１における入力位置の座標値は、接触位置１の座標値（１００、２５５）と決定され、メモリ６に一時記憶される。
ステップＳ３０２では、ステップＳ３０１で決定された入力位置に基づいて、表示情報が決定される。図８は液晶ディスプレイ４の表示画面の拡大図を示す。図８に示された値はＸ軸及びＹ軸における座標値を示す。第１の実施形態の接触入力型情報処理装置１では画面の左下が原点とされている。画面の右下における座標値が（６００、０）、左上の座標値が（０、４００）、点線で示された真ん中の中心線の座標値が（３００、０）となっている。ステップＳ３０１で入力位置が（１００、２５５）と決定されたため、点線で示された真ん中の中心線より左の位置が接触されたと決定される。そのため、図８に示す液晶ディスプレイ４の画面における左に表示されている形状をした図形が、ユーザにより選択されたと決定される。ユーザにより左に表示されている図形が選択されたと判定されたため、液晶ディスプレイ４により表示された選択問題に対して、正解であると判定される。正解と判定されたことに基づく処理がＨＤＤ８から読み出されて処理される。
ステップＳ３０３では、ステップＳ３０２で決定された処理に従って表示情報の決定が実行される。ステップＳ３０２では、液晶ディスプレイ４の画面に表示された出題問題に対して正解であったことに基づく処理が決定されたことから、図１６に示す「正解です」といった正解に基づく表示情報が決定され、ＨＤＤ８から読み出される。一方、図８における右に表示されている図形が選択された場合、図１６に表示されている「正解です」に代わりに、「不正解です」といった表示情報が決定され、ＨＤＤ８から読み出される。
ステップＳ３０４では、液晶ディスプレイ４は、ステップＳ３０３で決定された表示情報に従って情報を画面に表示する。ステップＳ３０１からステップＳ３０３までのステップが、本発明の処理決定ステップの一例である。
ステップＳ１０４では、規定の時間以内に第１の実施形態の接触入力型情報処理装置１に入力がされなかったと判定されたため、ステップＳ１０７ではその判定結果に応じた表示情報が決定され、ＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された表示情報に従って、図１６に表示されている「正解です」の文字の代わりに、図１１に表示されている「残念時間切れです」を表示する。
＜第２の実施形態＞
第１の実施形態で記載した自己学習機能を有する接触入力型の情報処理装置１を備えたロボットに本発明を適用した第２の実施形態について、添付図面を参照して説明する。
第１の実施形態で記載した自己学習機能を有する接触入力型の情報処理装置１を備えたロボットに本発明を適用した第２の実施形態について、添付図面を参照して説明する。
＜第２の実施形態の外観的構成＞
図１７は、第２の実施形態のロボットの外観的構成を示している。第２の実施形態のロボットを構成する接触入力型の情報処理装置１０１は、支持スタンド１１０の内部に音声入力装置１１１と音声出力装置１１２とを備えている。音声入力装置１１１と音声出力装置１１２以外の構成部分は、第１の実施形態と同じ構成であるので、説明を省略する。
図１７は、第２の実施形態のロボットの外観的構成を示している。第２の実施形態のロボットを構成する接触入力型の情報処理装置１０１は、支持スタンド１１０の内部に音声入力装置１１１と音声出力装置１１２とを備えている。音声入力装置１１１と音声出力装置１１２以外の構成部分は、第１の実施形態と同じ構成であるので、説明を省略する。
＜第２の実施形態の電気的構成＞
図１８は、第２の実施形態における接触入力型の情報処理装置１０１の電気的構成を示すブロック図である。図１８に示すように、第２の実施形態の接触入力型の情報処理装置１０１には、第１の実施形態と同様に、接触入力型の情報処理装置１０１を制御するＣＰＵ１０５が備えられている。ＣＰＵ１０５には、液晶ディスプレイ１０４と、メモリ１０６と、ＣＣＤカメラ１０７と、ＨＤＤ１０８と、サーボモータ１０９と、音声入力装置１１１と、音声出力装置１１２とが電気的に接続されている。ＣＰＵ１０５は、メモリ１０６及びＨＤＤ１０８と共に、第２の実施形態の情報処理装置１０１の動作を制御処理するコンピュータを構成している。
図１８は、第２の実施形態における接触入力型の情報処理装置１０１の電気的構成を示すブロック図である。図１８に示すように、第２の実施形態の接触入力型の情報処理装置１０１には、第１の実施形態と同様に、接触入力型の情報処理装置１０１を制御するＣＰＵ１０５が備えられている。ＣＰＵ１０５には、液晶ディスプレイ１０４と、メモリ１０６と、ＣＣＤカメラ１０７と、ＨＤＤ１０８と、サーボモータ１０９と、音声入力装置１１１と、音声出力装置１１２とが電気的に接続されている。ＣＰＵ１０５は、メモリ１０６及びＨＤＤ１０８と共に、第２の実施形態の情報処理装置１０１の動作を制御処理するコンピュータを構成している。
音声入力装置１１１は、ユーザからの音声を取り込み、その音声を処理して音声入力情報を生成する。この生成された音声入力情報がメモリ１０６に一時記憶される。
音声出力装置１１２は、ＣＰＵ１０５が決定した処理に関連する音声出力情報をＨＤＤ１０８から読み出して音声出力を行う。
（第２の実施形態メモリの構成）
メモリ１０６は、音声入力装置１１１により入力され生成された音声入力情報１１７と、ＣＣＤカメラ１０７により撮影された撮影画像データ１１３と、接触部分の接触面積１１６と、接触位置の候補の暫定位置１１４と、最終的な入力位置１１５とを記憶する領域を備える。
メモリ１０６は、音声入力装置１１１により入力され生成された音声入力情報１１７と、ＣＣＤカメラ１０７により撮影された撮影画像データ１１３と、接触部分の接触面積１１６と、接触位置の候補の暫定位置１１４と、最終的な入力位置１１５とを記憶する領域を備える。
（第２の実施形態ＨＤＤの構成）
図１９は、ＨＤＤ１０８の記憶内容の詳細を示す。ＨＤＤ１０８は、プログラム１４１と、色情報１４２と、表示情報１４３と、接触部分の大きさ情報１４４と、ユーザ情報１４５と、音声出力情報１４６とを記憶する。プログラム１４１は、接触入力型の情報処理装置１０１を制御するためのプログラムである。色情報１４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報１４３は、液晶ディスプレイ１０４に情報を表示させるための表示情報である。音声出力情報１４６は、音声出力装置１１２に音声を出力させるための音声出力情報である。ユーザ情報１４５は、ユーザを特定するための情報である。
図１９は、ＨＤＤ１０８の記憶内容の詳細を示す。ＨＤＤ１０８は、プログラム１４１と、色情報１４２と、表示情報１４３と、接触部分の大きさ情報１４４と、ユーザ情報１４５と、音声出力情報１４６とを記憶する。プログラム１４１は、接触入力型の情報処理装置１０１を制御するためのプログラムである。色情報１４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報１４３は、液晶ディスプレイ１０４に情報を表示させるための表示情報である。音声出力情報１４６は、音声出力装置１１２に音声を出力させるための音声出力情報である。ユーザ情報１４５は、ユーザを特定するための情報である。
ＨＤＤ１０８は、プログラム１４１として、ＨＤＤ８に記憶されているプログラム４１と同様に、図２０に示すメインプログラム１４７と、接触検出プログラム１４８と、処理決定プログラム１４９とを記憶している。それに加え、図２２に示すユーザ撮影モードプログラム１５０と、図２３に示す音声入出力プログラム１５１とが記憶されている。ユーザ撮影モードプログラム１５０は、ＣＣＤカメラ１０７により撮影された撮影画像データからユーザを特定するためのプログラムである。音声入出力プログラム１５１は、音声の入出力を処理するためのプログラムである。
ＨＤＤ１０８は、ユーザの顔情報１４５を記憶している。ユーザの顔情報１４５は、ＣＣＤカメラ１０７により撮影された撮影画像データからユーザの特定を行うための情報である。
ＨＤＤ１０８は、音声出力装置１１２に音声を出力させるための音声出力情報１４６を記憶している。音声出力情報１４６は、ユーザと対話するための音声出力情報と、接触位置に基づいた処理内容を音声でユーザに伝えるための音声出力情報とからなる。
＜第２の実施形態のメイン動作の説明＞
以上説明した構成からなる第２の実施形態の情報処理装置１０１の動作及び作用について、添付図面を参照して説明する。図２０は、本実施形態におけるメインプログラム１４７に従うメイン動作の処理手順を示すフローチャートである。
以上説明した構成からなる第２の実施形態の情報処理装置１０１の動作及び作用について、添付図面を参照して説明する。図２０は、本実施形態におけるメインプログラム１４７に従うメイン動作の処理手順を示すフローチャートである。
第２の実施形態では、最初に、ステップＳ８０１で本装置の電源スイッチがＯＮにされているかが判定される。電源スイッチがＯＮにされていると判定されるまで、ステップＳ８０１が繰り返される。電源スイッチがＯＮにされていると判定されると、ステップＳ８０２が実行される。
ステップＳ８０２では、起動時に液晶ディスプレイ１０４に表示する初期表示情報１５３がＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された表示情報に従って、液晶ディスプレイ１０４が情報を表示する。図２１に示すように、液晶ディスプレイ１０４は初期表示情報１５３に従って、人の顔を画面に表示する。第２の実施形態における接触入力型情報処理装置１０１では、初期音声は出力されないと決定されている。
ステップＳ８０３では、ユーザ撮影モードプログラム１５０がＨＤＤ１０８から読み出されて実行される。ユーザ撮影モードプログラム１５０の詳細な説明は図２２を用いて後述する。ユーザ撮影モードプログラム１５０により、ユーザの顔画像が撮影され、撮影されたユーザの顔画像データに基づいて、液晶ディスプレイ１０４に情報を表示させるための表示情報および音声出力装置１１２に音声を出力させるための音声出力情報が決定される。
ステップＳ８０４では、音声入出力処理プログラム１５１がＨＤＤ１０８から読み出されて実行される。音声入出力プログラム１５１の詳細な説明は図２３を用いて後述する。音声入出力プログラム１５１により、音声が入力されたか否かの判定と、液晶ディスプレイ１０４に表示させるための表示情報および音声出力部１１２に出力させるための音声出力情報とが決定される。
ステップＳ８０５では、接触検出プログラム１４８がＨＤＤ１０８から読み出されて実行される。接触検出プログラム１４８により、接触部分の接触面積の大きさと接触位置とが決定される。
ステップＳ８０６では、タイムフラグがＯＮされているかが判定される。タイムフラグがＯＮの場合はステップＳ８０９へ進み、タイムフラグがＯＦＦの場合はステップＳ８０７へ進む。
ステップＳ８０７では、ＨＤＤ１０８から読み出された図１０に示す処理決定プログラム１４９が実行される。処理決定プログラム１４９が実行されることで、ステップＳ８０５で決定された接触部分の接触面積の大きさと接触位置とに基づいた処理が決定される。
ステップＳ８０８では、ステップＳ８０７で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦでされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ８０１へ戻り、再びステップＳ８０１が実行される。
ステップＳ８０９では、タイムフラグがＯＮにされているため、規定時間以内に接触部分が検出されなかったことに基づく表示情報及び音声出力情報が決定され、ＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された表示情報に従って、液晶ディスプレイ１０４が情報を表示する。再びステップＳ８０３へ戻り、ユーザ撮影モードプログラム１５０がＨＤＤ１０８から読み出されて実行される。本実施形態では、液晶ディスプレイ１０４により表示される情報として図２１に示す顔が、出力される音声として「残念時間切れです。もう一度教科書を見直したほうがいいね」が決定される。上述した表示情報および音声出力情報が、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２とを動作させる。
（ユーザ撮影モードの説明）
図２２は、ユーザ撮影モードプログラム１５０に従うユーザ撮影モードにおける動作の詳細を示すフローチャートである。まず、ステップＳ９０１でユーザを撮影するため、ＣＣＤカメラ１０７の角度が変更される。透明フレーム１０３とユーザの顔とを選択的に撮影するために、ＣＣＤカメラ１０７の撮影角度が、サーボモータ１０９により、ユーザの顔が撮影可能な角度に変更される。第２の実施形態における接触入力型情報処理装置１０１では、図３に示す第１の実施形態の角度変更部と同様に、サーボモータ１０９により、ＣＣＤカメラ１０７の撮影角度が適宜調整され、ユーザの顔が撮影される。撮影された画像はメモリ１０６に一時記憶される。
図２２は、ユーザ撮影モードプログラム１５０に従うユーザ撮影モードにおける動作の詳細を示すフローチャートである。まず、ステップＳ９０１でユーザを撮影するため、ＣＣＤカメラ１０７の角度が変更される。透明フレーム１０３とユーザの顔とを選択的に撮影するために、ＣＣＤカメラ１０７の撮影角度が、サーボモータ１０９により、ユーザの顔が撮影可能な角度に変更される。第２の実施形態における接触入力型情報処理装置１０１では、図３に示す第１の実施形態の角度変更部と同様に、サーボモータ１０９により、ＣＣＤカメラ１０７の撮影角度が適宜調整され、ユーザの顔が撮影される。撮影された画像はメモリ１０６に一時記憶される。
ステップＳ９０２では、ＣＣＤカメラ１０７の角度が変更された後、ユーザの顔が撮影される。撮影を行うタイミングは、第１の実施形態の接触入力型の情報処理装置１と同様に、一定周期ごとに撮影が行われる。ＣＣＤカメラ１０７により撮影されるごとに、撮影画像データがメモリ１０６に一時記憶される。
ステップＳ９０３では、透明フレーム１０３の前にユーザがいるかが、撮影された画像データから決定される。
ステップＳ９０４では、ユーザが透明フレーム３の前にいるか否かが判別される。ユーザが透明フレーム１０３の前にいない場合ステップＳ９０２へ戻り、ユーザがいる場合ステップＳ９０５へ進む。
ステップＳ９０５では、メモリ１０６に記憶されている撮影画像データと、ＨＤＤ１０８により予め記憶されているユーザの顔情報１４５とが比較されることで、ユーザが特定される。
ステップＳ９０６では、特定されたユーザに基づいて表示情報と音声出力情報とが決定される。本実施形態では、特定されたユーザに基づいて、ユーザの名前である『ヒロ君』という音声出力情報がＨＤＤ１０８から読み出されて、音声出力装置１１２により音声が出力される。
ステップＳ９０７では、ステップＳ９０５でＣＣＤカメラ１０７により撮影された撮影画像データに対して画像処理が行われてユーザの表情が決定される。
ステップＳ９０８では、ステップＳ９０７で決定されたユーザの表情に基づいて、表示情報と音声出力情報とが決定される。画像処理の結果、『ヒロ君』の表情が『暗い』と決定された場合、「あ、ヒロ君だ。なんか暗いね。元気出して遊ぼう」という音声出力情報が決定され、ＨＤＤ１０８から読み出されて、音声出力装置１１２により音声が出力される。
（音声入出力処理動作の説明）
図２３は、音声入出力プログラム１５１に従う音声入出力処理動作の詳細を示すフローチャートである。ステップＳ１００１では、音声入力装置１１１に規定時間以内に音声が入力されたかを判定するために、時間のカウントがスタートされる。
図２３は、音声入出力プログラム１５１に従う音声入出力処理動作の詳細を示すフローチャートである。ステップＳ１００１では、音声入力装置１１１に規定時間以内に音声が入力されたかを判定するために、時間のカウントがスタートされる。
ステップＳ１００２では、音声入力装置１１１に音声が入力され、その入力された音声に対応する音声入力情報が生成されて、メモリ１０６に一時記憶される。
ステップＳ１００３では、音声の入力が検出されたかどうかが判定される。ステップＳ１００３で音声入力が検出されたと判定されると、ステップＳ１００５に進む。音声入力が検出されなかったと判定されると、ステップＳ１００４へ進む。
ステップＳ１００４では、時間のカウントが始められた時点から経過した時間が、規定の時間以内であるかが判定される。規定の時間以内であれば再度ステップＳ１００２へ戻り、音声の入力の検出が開始され、規定の時間以内でなければステップＳ１００６へ進む。
ステップＳ１００５では、入力された音声に基づき、表示情報及び音声出力情報が決定される。たとえば、「明日、社会の試験があるんだ。問題出してよ。」といった音声入力に対応する表示情報及び音声出力情報が決定される。本実施形態では、上記の音声入力に対して、「じゃあ、問題出すよ。岐阜県はどれでしょう？」といった音声出力情報と、図８に示す第１の実施形態と同様の２択の問題を表す表示情報とが決定される。上述した表示情報と音声出力情報とが、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２をそれぞれ動作させる。
ステップＳ１００６では、ステップＳ１００４で規定時間以内に音声入力がないと判定されたことに基づいた表示情報及び音声出力情報が決定される。たとえば、第２の実施形態では、「聞こえなかった。もう一度言ってください。」といった音声出力情報が、ＨＤＤ１０８から読み出されて音声出力装置１１２により出力される。
ステップＳ１００７では、ステップＳ１００５とステップＳ１００６とがそれぞれ実行された後、時間のカウントが終了される。
（処理決定動作の説明）
第２の実施形態の処理決定動作においては、上述のステップＳ３０１からＳ３０４までのステップと同様の処理が実行される。第２の実施形態も、図８に示す問題表示が可能な第１の実施形態と同様に、自己学習機能を備えた接触入力型の情報処理装置である。問題が表示された液晶ディスプレイ１０４の画面において、ユーザにより左に表示されている図形が選択されたと判定された場合、液晶ディスプレイ１０４により表示された選択問題に対して正解であると判定される。正解と判定されたことに基づく表示情報と音声出力情報とが、決定されてＨＤＤ１０８から読み出される。たとえば、図２１に示す表示情報と、「正解。明日の試験はこれで大丈夫だね。」といった音声出力情報とが決定される。一方、図８における右に表示されている図形が選択された場合、本装置が表示した問題に対して不正解だと決定される。そのため、「不正解」という表示情報と、「不正解。でも、これから頑張って勉強すれば大丈夫だよ。」といった音声出力情報とが決定され、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２とをそれぞれ動作させる。
第２の実施形態の処理決定動作においては、上述のステップＳ３０１からＳ３０４までのステップと同様の処理が実行される。第２の実施形態も、図８に示す問題表示が可能な第１の実施形態と同様に、自己学習機能を備えた接触入力型の情報処理装置である。問題が表示された液晶ディスプレイ１０４の画面において、ユーザにより左に表示されている図形が選択されたと判定された場合、液晶ディスプレイ１０４により表示された選択問題に対して正解であると判定される。正解と判定されたことに基づく表示情報と音声出力情報とが、決定されてＨＤＤ１０８から読み出される。たとえば、図２１に示す表示情報と、「正解。明日の試験はこれで大丈夫だね。」といった音声出力情報とが決定される。一方、図８における右に表示されている図形が選択された場合、本装置が表示した問題に対して不正解だと決定される。そのため、「不正解」という表示情報と、「不正解。でも、これから頑張って勉強すれば大丈夫だよ。」といった音声出力情報とが決定され、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２とをそれぞれ動作させる。
＜変形例１＞
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例１について、添付図面を参照して以下に説明する。
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例１について、添付図面を参照して以下に説明する。
図２４は、変形例１のメイン動作の処理手順を示すフローチャートである。ステップＳ４０１とステップ４０２とは、図６に示すステップＳ１０１とステップＳ１０２と同じである。ステップＳ４０３では、接触検出プログラムが実行される。ステップＳ４０３では、第１の実施形態で説明した図９に示す接触検出のフローチャートにおけるステップＳ２０１からステップＳ２１３までの処理が実行される。このステップＳ４０３において、接触部分の接触面積と接触部分の入力位置または暫定位置とが決定される。
ステップＳ４０６では、ステップＳ４０３で決定された接触部分の暫定位置が複数あるかが判定される。接触部分の暫定位置が複数あると判定された場合はステップＳ４０７が実行され、接触部分の暫定位置が複数ないと判定された場合はステップＳ４０９が実行される。
ステップＳ４０７では、ステップＳ４０６で複数の接触部分があると判定されたため、ユーザに対して再度の入力を促すための表示情報が決定される。再度の入力を促すための表示情報が、ＨＤＤ８またはＨＤＤ１０８から読み出される。液晶ディスプレイ４または液晶ディスプレイ１０４がＨＤＤ８またはＨＤＤ１０８から読み出された表示情報に従って情報を表示する。液晶ディスプレイ４または液晶ディスプレイ１０４により表示される情報として、図１６に表示されている「正解です」の文字の代わりに、「もう一度入力をお願いします」が決定される。ステップＳ４０７及びＣＰＵ５またはＣＰＵ１０５は、本発明の表示情報発生部の一例である。
ステップＳ４０８では、入力を行うための図８に示す表示情報が決定され、ＨＤＤ８またはＨＤＤ１０８から読み出される。液晶ディスプレイ４または液晶ディスプレイ１０４がＨＤＤ８またはＨＤＤ１０８から読み出された表示情報に従って図８に示す情報を再度表示し、ステップＳ４０３へ戻り、透明フレーム３の撮影が再び開始される。
＜変形例２＞
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例２について、添付図面を参照して以下に説明する。
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例２について、添付図面を参照して以下に説明する。
変形例２の電気的構成は、図４に示す第１の実施形態の電気的構成または図１８に示す第２の実施形態の電気的構成のいずれかの構成と同じ構成である。図２５は、ＨＤＤ２０８の記憶内容の詳細を示す。ＨＤＤ２０８は、第１の実施形態または第２の実施形態と同様の情報とプログラムを記憶している。それに加え、図２７に示す複数位置処理プログラム２５２が記憶されている。複数位置処理プログラム２５２は、入力位置の候補である複数の暫定位置から最終的な入力位置を決定するためのプログラムである。複数位置処理プログラム２５２は、最終的な入力位置として複数の暫定位置により決定される重心位置を最終的な入力位置と決定する。重心位置の座標値は、図８に示すようなＸ軸及びＹ軸の座標値により決定される。接触部分の重心位置は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、その接触部分に含まれる画素の総和、つまり接触部分の接触面積で割ったものが、接触部分の重心位置の座標値として決定される。
図２６は、変形例２のメイン動作の処理手順を示すフローチャートである。ステップＳ５０７で実行される複数位置処理２５２を図２７のフローチャートを参照して説明する。ステップＳ５０１とステップＳ５０２とは、図６に示すステップＳ１０１とステップＳ１０２と同じである。ステップＳ５０３では、接触検出プログラムが実行される。ステップＳ５０３では、第１の実施形態で説明した図９に示す接触検出のフローチャートにおけるステップＳ２０１からステップＳ２１３までの処理が実行される。このステップＳ５０３において、接触部分の接触面積と接触部分の入力位置または暫定位置とが決定される。ステップＳ５０７では、図２７に示す複数位置処理プログラム２５２のステップＳ６０１が実行される。ステップＳ６０１では、ステップＳ５０３で決定された複数の接触部分に関する複数の暫定位置に基づいて決定される１つの重心位置が、最終的な入力位置として決定される。決定された重心位置の座標値がメモリ６またはメモリ１０６に一時記憶される。
暫定位置が１つのみで、ステップＳ５０３及びステップＳ５０４（ＮＯの場合）において、その１つの暫定位置が入力位置として決定された場合、ステップ５０８で決定された入力位置に応じた処理が決定される。また、ステップＳ５０４（ＹＥＳの場合）において、複数の暫定位置が存在し、その複数の暫定位置の中からステップＳ６０１で入力位置として決定された場合、ステップ６０１で決定された入力位置に応じた処理が決定される。決定された処理に関係する表示情報などがＨＤＤ８またはＨＤＤ１０８から読み出されて、読み出された表示情報に従って液晶ディスプレイ４または液晶ディスプレイ１０４が情報を表示する。
＜変形例３＞
次に、第１の実施形態と第２の実施形態との変形例２における複数位置処理の変形例３について、添付図面を参照して以下に説明する。
次に、第１の実施形態と第２の実施形態との変形例２における複数位置処理の変形例３について、添付図面を参照して以下に説明する。
変形例３の電気的構成は、上記の変形例２と同様に、図４または図１８に示す電気的構成のいずれかの構成と同じ構成である。図２８は、ＨＤＤ３０８に記憶されているデータ及びプログラムを示す。ＨＤＤ３０８は、第１の実施形態または第２の実施形態と同様の情報及びプログラムを記憶している。さらに、変形例３では、ＨＤＤ３０８は、複数位置処理プログラム３５３と、表示位置情報３４７とを記憶している。複数位置処理プログラム３５３は、入力位置の候補である複数の暫定位置から最終的な入力位置を決定するためのプログラムである。表示位置情報３４７は、液晶ディスプレイ４または液晶ディスプレイ１０４により表示されている選択項目が透明フレーム３または透明フレーム１０３上に位置する選択項目表示位置の情報である。
図２９は、第２の実施形態の変形例２における複数位置処理の変形例３の処理手順を示すフローチャートである。変形例３では、図３０に示すように、選択項目が液晶ディスプレイ４または液晶ディスプレイ１０４の画面に表示される。変形例３では、まず、ステップ７０１が実行される。ステップ７０１では、ステップ５０３で決定された複数の接触部分に関する複数の暫定位置と、透明フレーム３または透明フレーム１０３上での選択項目表示位置との比較が行われる。図３０を参照して、詳細に説明する。図１５に示すように、複数の接触部分に関する複数の暫定位置が、メモリ６またはメモリ１０６に記憶されていることから、接触位置１の座標値（１００，２５５）、接触位置２の座標値（３２０、１２８）、接触位置３の座標値（２９８、６５）といった透明フレーム３における接触部分の位置座標が読み出される。図３０で示すように、選択項目表示位置を表す表示位置情報３４７が、ＨＤＤ３０８から読み出される。Ｍｅｎｕ１の選択項目表示位置の座標値として、Ｘ座標の値が２０以上２８０以下、Ｙ座標の値が２４０以上３６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。また、Ｍｅｎｕ２の選択項目表示位置の座標値として、Ｘ座標の値が３２０以上５８０以下、Ｙ座標の値が２４０以上３６０以下であるといった表示位置情報３４７が読み出される。Ｍｅｎｕ３の選択項目表示位置の座標値として、Ｘ座標の値が２０以上２８０以下、Ｙ座標の値が４０以上１６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。Ｍｅｎｕ４の選択項目表示位置の座標値として、Ｘ座標の値が３２０以上５８０以下、Ｙ座標の値が４０以上１６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。接触部分の位置座標と表示位置情報とを比較することにより、接触位置１がＭｅｎｕ１の位置と、接触位置２がＭｅｎｕ４の位置と一致していると決定される。接触位置３は、Ｍｅｎｕ１からＭｅｎｕ４のいずれにも一致しないと決定される。
ステップＳ７０２では、前記暫定位置と前記選択項目表示位置とが一致した選択項目のみが、再度の入力が可能な選択項目として決定される。図３１及び図３２は、前記暫定位置と前記選択項目表示位置とが一致した選択項目のみが、再度の入力が可能な選択項目と決定されて画面に表示された２つの例を示す。図３１は、接触部分の暫定位置と透明フレーム３または透明フレーム１０３上の選択項目表示位置とが一致した選択項目であるＭｅｎｕ１とＭｅｎｕ４のみが、再度の入力が可能な選択項目として表示されている例を示している。また図３２は、接触部分の暫定位置と透明フレーム３または透明フレーム１０３上の選択項目表示位置とが一致しなかった選択項目の表示色が変えられ、再度の入力が不可能な選択項目として表示されている例を示している。
ステップＳ７０３では、接触検出プログラム３４９が実行される。再度の入力が可能な選択項目のみがユーザの体の一部により接触される。接触部分の暫定位置と接触部分の面積が決定される。
ステップＳ７０４では、接触位置が複数あるかが判定される。接触位置が複数ある場合はステップＳ７０１へ戻り、暫定位置が１つに決定されるとステップＳ５０８へ進む。ステップＳ７０４で暫定位置が１つに決定されるまで、ステップＳ７０１からＳステップ７０４の処理は繰り返される。
＜変形例４＞
第１の実施形態または第２の実施形態の変形例２における複数位置処理の変形例４について説明する。接触部分における暫定位置が複数あると判定された場合、複数の暫定位置が全て入力位置と決定されても良い。複数の入力位置に対応する処理が全て実行される処理であっても良い。または、接触部分における暫定位置が複数あると判定された場合、接触がなかったとして処理を行っても良い。
第１の実施形態または第２の実施形態の変形例２における複数位置処理の変形例４について説明する。接触部分における暫定位置が複数あると判定された場合、複数の暫定位置が全て入力位置と決定されても良い。複数の入力位置に対応する処理が全て実行される処理であっても良い。または、接触部分における暫定位置が複数あると判定された場合、接触がなかったとして処理を行っても良い。
＜変形例５＞
第１の実施形態または第２の実施形態に、図２２に示すユーザ撮影モードが付け加えられても良い。
第１の実施形態または第２の実施形態に、図２２に示すユーザ撮影モードが付け加えられても良い。
＜変形例６＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、カラー画像の撮影が可能なカメラ以外にモノクロ画像のみ撮影が可能なカメラでも良い。また、ＣＭＯＳカメラ、ビデオカメラ、スチールカメラや広角カメラなどが使用されても良い。
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、カラー画像の撮影が可能なカメラ以外にモノクロ画像のみ撮影が可能なカメラでも良い。また、ＣＭＯＳカメラ、ビデオカメラ、スチールカメラや広角カメラなどが使用されても良い。
＜変形例７＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、図１または図１７に示す液晶ディスプレイ４または液晶ディスプレイ１０４の鉛直方向における上方位置以外の場所に設置される構成でも良い。例えば、図１における液晶ディスプレイ４の下方位置、図２における液晶ディスプレイ４の右方位置または左方位置に設置されても良い。図３３は、接触部分が撮影される際、鏡４０５による反射を利用する変形例を示す。鏡４０５を使用することにより、本明細書に記載した位置以外の位置にＣＣＤカメラ７またはＣＣＤカメラ１０７が設置されることも可能である。
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、図１または図１７に示す液晶ディスプレイ４または液晶ディスプレイ１０４の鉛直方向における上方位置以外の場所に設置される構成でも良い。例えば、図１における液晶ディスプレイ４の下方位置、図２における液晶ディスプレイ４の右方位置または左方位置に設置されても良い。図３３は、接触部分が撮影される際、鏡４０５による反射を利用する変形例を示す。鏡４０５を使用することにより、本明細書に記載した位置以外の位置にＣＣＤカメラ７またはＣＣＤカメラ１０７が設置されることも可能である。
＜変形例８＞
サーボモータ９またはサーボモータ１０９の代わりに、ソレノイドによって角度が変更されても良い。
サーボモータ９またはサーボモータ１０９の代わりに、ソレノイドによって角度が変更されても良い。
＜変形例９＞
透明フレーム３または透明フレーム１０３の材料は、透明な材料であり、且つ、容易に様々な形状に加工が可能な材料であるならば何でも良い。たとえば、熱可塑性樹脂であるアクリル、ポリカーボネートは透明であり、かつ、様々な形状に成形し易いため本実施の形態の透明部材の材料として適している。ＰＥＴにより透明部材が作られることで安価に透明部材を作ることが可能となる。また、ガラスで作られても良い。本発明により接触を検出するために透明電極の蒸着が不要となる。そのため、プラスチックに代表される透明な熱可塑性樹脂全般が使用可能である。
透明フレーム３または透明フレーム１０３の材料は、透明な材料であり、且つ、容易に様々な形状に加工が可能な材料であるならば何でも良い。たとえば、熱可塑性樹脂であるアクリル、ポリカーボネートは透明であり、かつ、様々な形状に成形し易いため本実施の形態の透明部材の材料として適している。ＰＥＴにより透明部材が作られることで安価に透明部材を作ることが可能となる。また、ガラスで作られても良い。本発明により接触を検出するために透明電極の蒸着が不要となる。そのため、プラスチックに代表される透明な熱可塑性樹脂全般が使用可能である。
＜変形例１０＞
透明フレーム３または透明フレーム１０３は用途に応じて曲面以外の形状であっても良い。例えば、平面のみから構成される形状、平面と曲面の両方を有する形状から構成されても良い。
透明フレーム３または透明フレーム１０３は用途に応じて曲面以外の形状であっても良い。例えば、平面のみから構成される形状、平面と曲面の両方を有する形状から構成されても良い。
＜変形例１１＞
表示部が液晶ディスプレイ以外でも良い。例えば、画像信号に従って映像を表示するＣＲＴディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイを用いても良い。また、画像信号に従って映像を表示するディスプレイではなく、単に情報が印刷されている紙を用いて表示が行われても良い。上述したディスプレイにインターネットを介してＷｅｂ上の情報が表示されても良い。インターネットを用いることで、ディスプレイに表示可能な情報の種類が多くなる。
表示部が液晶ディスプレイ以外でも良い。例えば、画像信号に従って映像を表示するＣＲＴディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイを用いても良い。また、画像信号に従って映像を表示するディスプレイではなく、単に情報が印刷されている紙を用いて表示が行われても良い。上述したディスプレイにインターネットを介してＷｅｂ上の情報が表示されても良い。インターネットを用いることで、ディスプレイに表示可能な情報の種類が多くなる。
＜変形例１２＞
第１の実施形態と第２の実施形態では、接触部分における暫定位置が１点に決定されている。暫定位置が１点に定められず、接触部分の全てが暫定位置または入力位置と決定されても良い。図３４は、１つの接触部分に対して、複数の入力位置が存在する例を示す。図３４は、選択項目であるＭｅｎｕ１とＭｅｎｕ２とが表示されている画面を示す。選択項目であるＭｅｎｕ１とＭｅｎｕ２との両者の上に、ユーザの体の一部により接触された楕円形状の接触部分が位置していることが、ＣＣＤカメラ７により撮影されている。接触部分の全てが入力位置と決定されるため、図３４に示す接触部分の全てが入力位置と決定される。そのため、選択項目のＭｅｎｕ１とＭｅｎｕ２との両方が接触されたと判別される。
第１の実施形態と第２の実施形態では、接触部分における暫定位置が１点に決定されている。暫定位置が１点に定められず、接触部分の全てが暫定位置または入力位置と決定されても良い。図３４は、１つの接触部分に対して、複数の入力位置が存在する例を示す。図３４は、選択項目であるＭｅｎｕ１とＭｅｎｕ２とが表示されている画面を示す。選択項目であるＭｅｎｕ１とＭｅｎｕ２との両者の上に、ユーザの体の一部により接触された楕円形状の接触部分が位置していることが、ＣＣＤカメラ７により撮影されている。接触部分の全てが入力位置と決定されるため、図３４に示す接触部分の全てが入力位置と決定される。そのため、選択項目のＭｅｎｕ１とＭｅｎｕ２との両方が接触されたと判別される。
＜変形例１３＞
ステップＳ２１０で包含される図形は正方形や長方形以外の四角形でも良い。例えば、台形などでも良い。
ステップＳ２１０で包含される図形は正方形や長方形以外の四角形でも良い。例えば、台形などでも良い。
＜変形例１４＞
図９に示すＳステップ２１０における接触部分の暫定位置の決定は、接触面積の重心位置としてもよい。本明細書中における重心位置の座標値は、図８または図３０に示すように、Ｘ軸およびＹ軸の座標値により決定される。接触部分の重心位置の座標値は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、接触部分に含まれる画素の総和、つまり本願明細書における接触部分の接触面積で割ることにより、求められる。本明細書における実施形態では、撮影した画像の最も左下の画素の位置が原点と定義されたが、左下に限定されるものではない。例えば、原点の位置は画像の最も右上、もしくは画像の中心位置を原点として任意に設定されても良い。また本実施形態では１画素を１座標値としているが、１画素を１座標値と限定されるものではない。例えば、２画素を１座標値のように適宜変更されても良い。１座標値が任意の画素数により決定されても良い。
図９に示すＳステップ２１０における接触部分の暫定位置の決定は、接触面積の重心位置としてもよい。本明細書中における重心位置の座標値は、図８または図３０に示すように、Ｘ軸およびＹ軸の座標値により決定される。接触部分の重心位置の座標値は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、接触部分に含まれる画素の総和、つまり本願明細書における接触部分の接触面積で割ることにより、求められる。本明細書における実施形態では、撮影した画像の最も左下の画素の位置が原点と定義されたが、左下に限定されるものではない。例えば、原点の位置は画像の最も右上、もしくは画像の中心位置を原点として任意に設定されても良い。また本実施形態では１画素を１座標値としているが、１画素を１座標値と限定されるものではない。例えば、２画素を１座標値のように適宜変更されても良い。１座標値が任意の画素数により決定されても良い。
＜変形例１５＞
本明細書における図９に示す接触位置検出に関するフローチャートでは、ステップＳ２０４からステップＳ２０９の処理については全て実行されている。必要でなければステップＳ２０４とステップＳ２０５、ステップＳ２０６とステップＳ２０７、またはステップＳ２０８とステップＳ２０９の処理は、それぞれ実行されなくても良い。
本明細書における図９に示す接触位置検出に関するフローチャートでは、ステップＳ２０４からステップＳ２０９の処理については全て実行されている。必要でなければステップＳ２０４とステップＳ２０５、ステップＳ２０６とステップＳ２０７、またはステップＳ２０８とステップＳ２０９の処理は、それぞれ実行されなくても良い。
＜変形例１６＞
図１または図１７に示すようにＣＰＵ５またはＣＰＵ１０５、メモリ６またはメモリ１０６、ＨＤＤ８またはＨＤＤ１０８が本装置の全体フレーム２または全体フレーム１０２の内部に備えられていない構成でも良い。例えば、外部サーバに画像データを送信して、外部サーバに備えられているＣＰＵやメモリ、ＨＤＤを用いて処理が行われることも可能である。その場合、全体フレーム２または全体フレーム１０２の内部にインターネットを介して外部サーバに対してデータを送受信するための装置が必要となる。
図１または図１７に示すようにＣＰＵ５またはＣＰＵ１０５、メモリ６またはメモリ１０６、ＨＤＤ８またはＨＤＤ１０８が本装置の全体フレーム２または全体フレーム１０２の内部に備えられていない構成でも良い。例えば、外部サーバに画像データを送信して、外部サーバに備えられているＣＰＵやメモリ、ＨＤＤを用いて処理が行われることも可能である。その場合、全体フレーム２または全体フレーム１０２の内部にインターネットを介して外部サーバに対してデータを送受信するための装置が必要となる。
＜変形例１７＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７により撮影が行われるタイミングは、明細書に記載してある実施形態及び変形例では１秒ごとである。撮影を行うタイミングは１秒ごとに限定されず、例えば０．１秒ごともしくは２秒ごとといった任意のタイミングにより撮影を行っても良い。
ＣＣＤカメラ７またはＣＣＤカメラ１０７により撮影が行われるタイミングは、明細書に記載してある実施形態及び変形例では１秒ごとである。撮影を行うタイミングは１秒ごとに限定されず、例えば０．１秒ごともしくは２秒ごとといった任意のタイミングにより撮影を行っても良い。
＜変形例１８＞
本明細書における接触部分の大きさとして接触面積を用いている。接触部分の大きさとして、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さを用いて決定しても良い。接触部分の形状の外周を接触部分の大きさとしても良い。
本明細書における接触部分の大きさとして接触面積を用いている。接触部分の大きさとして、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さを用いて決定しても良い。接触部分の形状の外周を接触部分の大きさとしても良い。
＜変形例１９＞
本明細書における接触体として、長尺の部材の端に柔軟性のある素材を付けた専用のペンなどを用いても良い。
本明細書における接触体として、長尺の部材の端に柔軟性のある素材を付けた専用のペンなどを用いても良い。
＜変形例２０＞
本明細書における接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択（表示された情報に対応する処理の決定）と選択された情報に対応する処理の実行とを行っている。接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択のみを行い、選択された情報に対応する処理の実行を別の機器により実行される構成でも良い。例えば、接触入力型の情報処理装置と直接電気的に接続された別機器が処理を実行する構成でも良い。また、接触入力型の情報処理装置がインターネットに接続され、ネットワーク上に接続されている別機器により処理が実行される構成でも良い。
本明細書における接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択（表示された情報に対応する処理の決定）と選択された情報に対応する処理の実行とを行っている。接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択のみを行い、選択された情報に対応する処理の実行を別の機器により実行される構成でも良い。例えば、接触入力型の情報処理装置と直接電気的に接続された別機器が処理を実行する構成でも良い。また、接触入力型の情報処理装置がインターネットに接続され、ネットワーク上に接続されている別機器により処理が実行される構成でも良い。
１、１０１、４０１ 接触入力型の情報処理装置
２、１０２、４０２ 全体フレーム
３、１０３、４０３ 透明フレーム
４、１０４、４０４ 液晶ディスプレイ
５、１０５ ＣＰＵ
６、１０６ メモリ
７、１０７ ＣＣＤカメラ
８、１０８、２０８、３０８ ＨＤＤ
９、１０９ サーボモータ
１０、１１０、４０６ 支持スタンド
１１ カム
１３、１１４ 暫定位置
１４、１１５ 入力位置
１５、１１６ 接触面積
１２、３１、３２、３４、１１３ 撮影画像データ
３３ 差分画像データ
３５、３６ 接触部分
３７ 画素
３８ 接触部分の画素
４１、１４１、２４１、３４１ プログラム
４２、１４２、２４２、３４２ 色情報
４３、１４３、２４３、３４３ 表示情報
４４、１４４、２４４、３４４ 接触部分の大きさ情報
４５、１４７、２４７、３４８ メインプログラム
４６、１４８、２４８、３４９ 接触検出プログラム
４７、１４９、２４９、３５０ 処理決定プログラム
４８、１５２、２５３、３５４ 接触部分色情報
４９、１５３、２５４、３５５ 初期表示情報
１１１ 音声入力装置
１１２ 音声出力装置
１１７ 音声入力情報
１４５、２４５、３４５ ユーザの顔情報
１４６、２４６、３４６ 音声出力情報
１５０、２５０、３５１ ユーザ撮影モードプログラム
１５１、２５１、３５２ 音声入出力プログラム
２５２、３５３ 複数位置処理プログラム
３４７ 表示位置情報
４０５ 鏡
２、１０２、４０２ 全体フレーム
３、１０３、４０３ 透明フレーム
４、１０４、４０４ 液晶ディスプレイ
５、１０５ ＣＰＵ
６、１０６ メモリ
７、１０７ ＣＣＤカメラ
８、１０８、２０８、３０８ ＨＤＤ
９、１０９ サーボモータ
１０、１１０、４０６ 支持スタンド
１１ カム
１３、１１４ 暫定位置
１４、１１５ 入力位置
１５、１１６ 接触面積
１２、３１、３２、３４、１１３ 撮影画像データ
３３ 差分画像データ
３５、３６ 接触部分
３７ 画素
３８ 接触部分の画素
４１、１４１、２４１、３４１ プログラム
４２、１４２、２４２、３４２ 色情報
４３、１４３、２４３、３４３ 表示情報
４４、１４４、２４４、３４４ 接触部分の大きさ情報
４５、１４７、２４７、３４８ メインプログラム
４６、１４８、２４８、３４９ 接触検出プログラム
４７、１４９、２４９、３５０ 処理決定プログラム
４８、１５２、２５３、３５４ 接触部分色情報
４９、１５３、２５４、３５５ 初期表示情報
１１１ 音声入力装置
１１２ 音声出力装置
１１７ 音声入力情報
１４５、２４５、３４５ ユーザの顔情報
１４６、２４６、３４６ 音声出力情報
１５０、２５０、３５１ ユーザ撮影モードプログラム
１５１、２５１、３５２ 音声入出力プログラム
２５２、３５３ 複数位置処理プログラム
３４７ 表示位置情報
４０５ 鏡
Claims (17)
- 透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
接触体が接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での接触体との接触部分の入力位置を決定する画像処理部と、
を備えたことを特徴とする接触入力型の情報処理装置。 - 透明部材と、
前記透明部材を通してユーザが目視できる情報を表示する表示部と、
ユーザが接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、
前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する画像処理部と、
前記画像処理部により決定された前記接触部分の入力位置に基づいて、前記表示部により表示された情報に対応する処理を決定する処理制御部と、
を備えたことを特徴とする接触入力型の情報処理装置。 - 前記画像処理部が、
前記透明部材上での前記接触部分の大きさとして接触面積を決定する面積決定部と、
前記画像処理部により決定された前記接触面積が所定の大きさの場合はユーザの体の一部が前記透明部材に接触したと判別し、所定の大きさでない場合はユーザの体の一部が前記透明部材に接触していないと判別する判別部とを備え、
前記判別部によりユーザの体の一部が接触したと判別されたときに前記処理制御部により処理が決定されること、
を特徴とする請求項２に記載の接触入力型の情報処理装置。 - 前記表示部は画像表示情報に従って映像を表示するディスプレイであることを特徴とする請求項３に記載の接触入力型の情報処理装置。
- 前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記画像処理部が前記複数の接触部分の暫定位置を決定し、前記決定された複数の接触部分の暫定位置に基づいて決定される重心位置を、前記接触部分の入力位置と決定することを特徴とする請求項３または請求項４に記載の接触入力型の情報処理装置。 - 前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記画像処理部が前記接触面積が最大である接触部分の暫定位置を前記接触部分の入力位置と決定することを特徴とする請求項３または請求項４に記載の接触入力型の情報処理装置。 - ユーザに再度の入力を促す表示情報を発生するための表示情報発生部を備え、
前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記判別部が複数の異なる位置で接触していると判別したときに、前記表示情報発生部がユーザに再度の入力を促す表示情報を発生し、
前記表示部が前記ユーザに再度の入力を促す表示情報に従って表示することを特徴とする請求項４に記載の接触入力型の情報処理装置。 - 前記表示部により表示される情報が選択項目であり、
前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、
前記画像処理部が前記複数の異なる接触部分の暫定位置を決定し、
前記処理制御部が、前記画像処理部により決定された前記複数の異なる接触部分の暫定位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、前記暫定位置と前記選択項目の表示位置とが一致した場合の前記選択項目のみを再度の入力が可能な選択項目であると決定し、前記表示部に前記再度の入力が可能な選択項目を表示させることを特徴とする請求項４に記載の接触入力型の情報処理装置。 - 前記画像処理部が前記接触部分の形状の中の１点を前記接触部分の入力位置と決定することを特徴とする請求項１から請求項８のいずれかに記載の接触入力型の情報処理装置。
- 前記画像処理部が、前記接触部分の形状を包含し、且つ、前記接触部分と接する正方形または長方形の中心を接触部分の入力位置と決定することを特徴とする請求項９に記載の接触入力型の情報処理装置。
- 前記画像処理部が前記接触部分の形状を決定し、
前記決定された接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除する第１排除部を備えたことを特徴とする請求項１から請求項１０のいずれかに記載の接触入力型の情報処理装置。 - 前記撮影ユニットはカラー画像の撮影が可能な構成を有し、
前記画像処理部が接触部分の色を決定し、
予め記憶された所定の色と前記画像処理部により決定された接触部分の色とが一致しないとき、前記接触部分を入力位置と決定する判断対象から排除する第２排除部を備えたことを特徴とする請求項１から請求項１１のいずれかに記載の接触入力型の情報処理装置。 - 前記接触部分を撮影するための方向とユーザの顔を撮影するための方向との間で選択的に前記撮影ユニットの撮影角度を変える角度変更部を
備えることを特徴とする請求項１から請求項１２のいずれかに記載の接触入力型の情報処理装置。 - 前記透明部材はプラスチックにより作られていることを特徴とする請求項１から請求項１３のいずれかに記載の接触入力型の情報処理装置。
- 前記透明部材が曲面を有することを特徴とする請求項１４に記載の接触入力型の情報処理装置。
- 透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、
前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、
を備えたことを特徴とする接触入力型の情報処理方法。 - 透明部材を通してユーザが目視できる情報を表示する表示ステップと、
ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、
前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、
前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、
をコンピュータに実行させる情報処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008060624A JP4670879B2 (ja) | 2008-03-11 | 2008-03-11 | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008060624A JP4670879B2 (ja) | 2008-03-11 | 2008-03-11 | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009217543A true JP2009217543A (ja) | 2009-09-24 |
| JP4670879B2 JP4670879B2 (ja) | 2011-04-13 |
Family
ID=41189321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008060624A Expired - Fee Related JP4670879B2 (ja) | 2008-03-11 | 2008-03-11 | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4670879B2 (ja) |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016505966A (ja) * | 2012-12-29 | 2016-02-25 | アップル インコーポレイテッド | 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース |
| US9602729B2 (en) | 2015-06-07 | 2017-03-21 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9612741B2 (en) | 2012-05-09 | 2017-04-04 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
| US9619076B2 (en) | 2012-05-09 | 2017-04-11 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to a gesture |
| JP2017510879A (ja) * | 2014-01-28 | 2017-04-13 | ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． | 端末デバイスを処理するための方法及び端末デバイス |
| US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
| US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US9674426B2 (en) | 2015-06-07 | 2017-06-06 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9753639B2 (en) | 2012-05-09 | 2017-09-05 | Apple Inc. | Device, method, and graphical user interface for displaying content associated with a corresponding affordance |
| US9778771B2 (en) | 2012-12-29 | 2017-10-03 | Apple Inc. | Device, method, and graphical user interface for transitioning between touch input to display output relationships |
| US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
| US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
| US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9886184B2 (en) | 2012-05-09 | 2018-02-06 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US9959025B2 (en) | 2012-12-29 | 2018-05-01 | Apple Inc. | Device, method, and graphical user interface for navigating user interface hierarchies |
| US9990107B2 (en) | 2015-03-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US9990121B2 (en) | 2012-05-09 | 2018-06-05 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US9996231B2 (en) | 2012-05-09 | 2018-06-12 | Apple Inc. | Device, method, and graphical user interface for manipulating framed graphical objects |
| US10037138B2 (en) | 2012-12-29 | 2018-07-31 | Apple Inc. | Device, method, and graphical user interface for switching between user interfaces |
| US10042542B2 (en) | 2012-05-09 | 2018-08-07 | Apple Inc. | Device, method, and graphical user interface for moving and dropping a user interface object |
| US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
| US10067653B2 (en) | 2015-04-01 | 2018-09-04 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US10073615B2 (en) | 2012-05-09 | 2018-09-11 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US10078442B2 (en) | 2012-12-29 | 2018-09-18 | Apple Inc. | Device, method, and graphical user interface for determining whether to scroll or select content based on an intensity theshold |
| US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US10095391B2 (en) | 2012-05-09 | 2018-10-09 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
| US10126930B2 (en) | 2012-05-09 | 2018-11-13 | Apple Inc. | Device, method, and graphical user interface for scrolling nested regions |
| US10162452B2 (en) | 2015-08-10 | 2018-12-25 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US10175864B2 (en) | 2012-05-09 | 2019-01-08 | Apple Inc. | Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity |
| US10175757B2 (en) | 2012-05-09 | 2019-01-08 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface |
| US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
| US10275087B1 (en) | 2011-08-05 | 2019-04-30 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
| US10496260B2 (en) | 2012-05-09 | 2019-12-03 | Apple Inc. | Device, method, and graphical user interface for pressure-based alteration of controls in a user interface |
| US10620781B2 (en) | 2012-12-29 | 2020-04-14 | Apple Inc. | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07230352A (ja) * | 1993-09-16 | 1995-08-29 | Hitachi Ltd | タッチ位置検出装置及びタッチ指示処理装置 |
| JP2004046311A (ja) * | 2002-07-09 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想空間におけるジェスチャ入力方法およびその装置 |
| JP2004252676A (ja) * | 2003-02-19 | 2004-09-09 | Seiko Epson Corp | タッチパネル付電気光学パネル及びタッチパネル、タッチパネル付電気光学パネルの製造方法、タッチパネルの製造方法並びに電気光学装置及び電子機器 |
| JP2007141177A (ja) * | 2005-11-22 | 2007-06-07 | Tokai Rika Co Ltd | 操作入力装置 |
-
2008
- 2008-03-11 JP JP2008060624A patent/JP4670879B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07230352A (ja) * | 1993-09-16 | 1995-08-29 | Hitachi Ltd | タッチ位置検出装置及びタッチ指示処理装置 |
| JP2004046311A (ja) * | 2002-07-09 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想空間におけるジェスチャ入力方法およびその装置 |
| JP2004252676A (ja) * | 2003-02-19 | 2004-09-09 | Seiko Epson Corp | タッチパネル付電気光学パネル及びタッチパネル、タッチパネル付電気光学パネルの製造方法、タッチパネルの製造方法並びに電気光学装置及び電子機器 |
| JP2007141177A (ja) * | 2005-11-22 | 2007-06-07 | Tokai Rika Co Ltd | 操作入力装置 |
Cited By (122)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10275087B1 (en) | 2011-08-05 | 2019-04-30 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10664097B1 (en) | 2011-08-05 | 2020-05-26 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10656752B1 (en) | 2011-08-05 | 2020-05-19 | P4tents1, LLC | Gesture-equipped touch screen system, method, and computer program product |
| US10649571B1 (en) | 2011-08-05 | 2020-05-12 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10540039B1 (en) | 2011-08-05 | 2020-01-21 | P4tents1, LLC | Devices and methods for navigating between user interface |
| US10386960B1 (en) | 2011-08-05 | 2019-08-20 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10365758B1 (en) | 2011-08-05 | 2019-07-30 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10345961B1 (en) | 2011-08-05 | 2019-07-09 | P4tents1, LLC | Devices and methods for navigating between user interfaces |
| US10338736B1 (en) | 2011-08-05 | 2019-07-02 | P4tents1, LLC | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10908808B2 (en) | 2012-05-09 | 2021-02-02 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
| US10996788B2 (en) | 2012-05-09 | 2021-05-04 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to a gesture |
| US9753639B2 (en) | 2012-05-09 | 2017-09-05 | Apple Inc. | Device, method, and graphical user interface for displaying content associated with a corresponding affordance |
| US12340075B2 (en) | 2012-05-09 | 2025-06-24 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
| US12067229B2 (en) | 2012-05-09 | 2024-08-20 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US9823839B2 (en) | 2012-05-09 | 2017-11-21 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
| US12045451B2 (en) | 2012-05-09 | 2024-07-23 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US11947724B2 (en) | 2012-05-09 | 2024-04-02 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US11354033B2 (en) | 2012-05-09 | 2022-06-07 | Apple Inc. | Device, method, and graphical user interface for managing icons in a user interface region |
| US11314407B2 (en) | 2012-05-09 | 2022-04-26 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US9886184B2 (en) | 2012-05-09 | 2018-02-06 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US11221675B2 (en) | 2012-05-09 | 2022-01-11 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US11068153B2 (en) | 2012-05-09 | 2021-07-20 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US11023116B2 (en) | 2012-05-09 | 2021-06-01 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US11010027B2 (en) | 2012-05-09 | 2021-05-18 | Apple Inc. | Device, method, and graphical user interface for manipulating framed graphical objects |
| US10969945B2 (en) | 2012-05-09 | 2021-04-06 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
| US9990121B2 (en) | 2012-05-09 | 2018-06-05 | Apple Inc. | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| US10942570B2 (en) | 2012-05-09 | 2021-03-09 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
| US9996231B2 (en) | 2012-05-09 | 2018-06-12 | Apple Inc. | Device, method, and graphical user interface for manipulating framed graphical objects |
| US10884591B2 (en) | 2012-05-09 | 2021-01-05 | Apple Inc. | Device, method, and graphical user interface for selecting object within a group of objects |
| US10042542B2 (en) | 2012-05-09 | 2018-08-07 | Apple Inc. | Device, method, and graphical user interface for moving and dropping a user interface object |
| US10782871B2 (en) | 2012-05-09 | 2020-09-22 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| US10775994B2 (en) | 2012-05-09 | 2020-09-15 | Apple Inc. | Device, method, and graphical user interface for moving and dropping a user interface object |
| US10775999B2 (en) | 2012-05-09 | 2020-09-15 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US10073615B2 (en) | 2012-05-09 | 2018-09-11 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US9612741B2 (en) | 2012-05-09 | 2017-04-04 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
| US9619076B2 (en) | 2012-05-09 | 2017-04-11 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to a gesture |
| US10095391B2 (en) | 2012-05-09 | 2018-10-09 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
| US10592041B2 (en) | 2012-05-09 | 2020-03-17 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to a gesture |
| US10114546B2 (en) | 2012-05-09 | 2018-10-30 | Apple Inc. | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US10126930B2 (en) | 2012-05-09 | 2018-11-13 | Apple Inc. | Device, method, and graphical user interface for scrolling nested regions |
| US10496260B2 (en) | 2012-05-09 | 2019-12-03 | Apple Inc. | Device, method, and graphical user interface for pressure-based alteration of controls in a user interface |
| US10481690B2 (en) | 2012-05-09 | 2019-11-19 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for media adjustment operations performed in a user interface |
| US10168826B2 (en) | 2012-05-09 | 2019-01-01 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to a gesture |
| US10175864B2 (en) | 2012-05-09 | 2019-01-08 | Apple Inc. | Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity |
| US10175757B2 (en) | 2012-05-09 | 2019-01-08 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface |
| US10191627B2 (en) | 2012-05-09 | 2019-01-29 | Apple Inc. | Device, method, and graphical user interface for manipulating framed graphical objects |
| US12050761B2 (en) | 2012-12-29 | 2024-07-30 | Apple Inc. | Device, method, and graphical user interface for transitioning from low power mode |
| US9996233B2 (en) | 2012-12-29 | 2018-06-12 | Apple Inc. | Device, method, and graphical user interface for navigating user interface hierarchies |
| US10175879B2 (en) | 2012-12-29 | 2019-01-08 | Apple Inc. | Device, method, and graphical user interface for zooming a user interface while performing a drag operation |
| US10915243B2 (en) | 2012-12-29 | 2021-02-09 | Apple Inc. | Device, method, and graphical user interface for adjusting content selection |
| US9778771B2 (en) | 2012-12-29 | 2017-10-03 | Apple Inc. | Device, method, and graphical user interface for transitioning between touch input to display output relationships |
| US12135871B2 (en) | 2012-12-29 | 2024-11-05 | Apple Inc. | Device, method, and graphical user interface for switching between user interfaces |
| JP2016505966A (ja) * | 2012-12-29 | 2016-02-25 | アップル インコーポレイテッド | 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース |
| US10620781B2 (en) | 2012-12-29 | 2020-04-14 | Apple Inc. | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
| US10185491B2 (en) | 2012-12-29 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for determining whether to scroll or enlarge content |
| US9965074B2 (en) | 2012-12-29 | 2018-05-08 | Apple Inc. | Device, method, and graphical user interface for transitioning between touch input to display output relationships |
| US10037138B2 (en) | 2012-12-29 | 2018-07-31 | Apple Inc. | Device, method, and graphical user interface for switching between user interfaces |
| US10078442B2 (en) | 2012-12-29 | 2018-09-18 | Apple Inc. | Device, method, and graphical user interface for determining whether to scroll or select content based on an intensity theshold |
| US10101887B2 (en) | 2012-12-29 | 2018-10-16 | Apple Inc. | Device, method, and graphical user interface for navigating user interface hierarchies |
| US9857897B2 (en) | 2012-12-29 | 2018-01-02 | Apple Inc. | Device and method for assigning respective portions of an aggregate intensity to a plurality of contacts |
| US9959025B2 (en) | 2012-12-29 | 2018-05-01 | Apple Inc. | Device, method, and graphical user interface for navigating user interface hierarchies |
| US10437333B2 (en) | 2012-12-29 | 2019-10-08 | Apple Inc. | Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture |
| JP2017510879A (ja) * | 2014-01-28 | 2017-04-13 | ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． | 端末デバイスを処理するための方法及び端末デバイス |
| US11112957B2 (en) | 2015-03-08 | 2021-09-07 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US10067645B2 (en) | 2015-03-08 | 2018-09-04 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
| US10860177B2 (en) | 2015-03-08 | 2020-12-08 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US12436662B2 (en) | 2015-03-08 | 2025-10-07 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10338772B2 (en) | 2015-03-08 | 2019-07-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10180772B2 (en) | 2015-03-08 | 2019-01-15 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9645709B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10402073B2 (en) | 2015-03-08 | 2019-09-03 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US10268341B2 (en) | 2015-03-08 | 2019-04-23 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10613634B2 (en) | 2015-03-08 | 2020-04-07 | Apple Inc. | Devices and methods for controlling media presentation |
| US10387029B2 (en) | 2015-03-08 | 2019-08-20 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US11977726B2 (en) | 2015-03-08 | 2024-05-07 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US10268342B2 (en) | 2015-03-08 | 2019-04-23 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9990107B2 (en) | 2015-03-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US10599331B2 (en) | 2015-03-19 | 2020-03-24 | Apple Inc. | Touch input cursor manipulation |
| US11550471B2 (en) | 2015-03-19 | 2023-01-10 | Apple Inc. | Touch input cursor manipulation |
| US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
| US10222980B2 (en) | 2015-03-19 | 2019-03-05 | Apple Inc. | Touch input cursor manipulation |
| US11054990B2 (en) | 2015-03-19 | 2021-07-06 | Apple Inc. | Touch input cursor manipulation |
| US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
| US10152208B2 (en) | 2015-04-01 | 2018-12-11 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US10067653B2 (en) | 2015-04-01 | 2018-09-04 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US9706127B2 (en) | 2015-06-07 | 2017-07-11 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
| US10841484B2 (en) | 2015-06-07 | 2020-11-17 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10705718B2 (en) | 2015-06-07 | 2020-07-07 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US12346550B2 (en) | 2015-06-07 | 2025-07-01 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9674426B2 (en) | 2015-06-07 | 2017-06-06 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9602729B2 (en) | 2015-06-07 | 2017-03-21 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10455146B2 (en) | 2015-06-07 | 2019-10-22 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9916080B2 (en) | 2015-06-07 | 2018-03-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US11835985B2 (en) | 2015-06-07 | 2023-12-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US11681429B2 (en) | 2015-06-07 | 2023-06-20 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US11231831B2 (en) | 2015-06-07 | 2022-01-25 | Apple Inc. | Devices and methods for content preview based on touch input intensity |
| US11240424B2 (en) | 2015-06-07 | 2022-02-01 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10303354B2 (en) | 2015-06-07 | 2019-05-28 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US11327648B2 (en) | 2015-08-10 | 2022-05-10 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US11182017B2 (en) | 2015-08-10 | 2021-11-23 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US11740785B2 (en) | 2015-08-10 | 2023-08-29 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10754542B2 (en) | 2015-08-10 | 2020-08-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10162452B2 (en) | 2015-08-10 | 2018-12-25 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
| US10884608B2 (en) | 2015-08-10 | 2021-01-05 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
| US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| US10209884B2 (en) | 2015-08-10 | 2019-02-19 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Manipulating User Interface Objects with Visual and/or Haptic Feedback |
| US10203868B2 (en) | 2015-08-10 | 2019-02-12 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10698598B2 (en) | 2015-08-10 | 2020-06-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US12386501B2 (en) | 2015-08-10 | 2025-08-12 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10963158B2 (en) | 2015-08-10 | 2021-03-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4670879B2 (ja) | 2011-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4670879B2 (ja) | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム | |
| TWI781359B (zh) | 人臉和人手關聯檢測方法及裝置、電子設備和電腦可讀儲存媒體 | |
| US9542044B2 (en) | Multi-touch positioning method and multi-touch screen | |
| JP2022542668A (ja) | 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体 | |
| EP2816545A2 (en) | Method and apparatus for protecting eyesight | |
| CN105229582A (zh) | 基于近距离传感器和图像传感器的手势检测 | |
| EP3996361A1 (en) | Information processing apparatus, information processing method, and program | |
| JP6307626B2 (ja) | 操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法 | |
| JP4915367B2 (ja) | 表示撮像装置および物体の検出方法 | |
| JP7266667B2 (ja) | ジェスチャー認識方法、ジェスチャー処理方法及び装置 | |
| CN111339880A (zh) | 一种目标检测方法及装置、电子设备和存储介质 | |
| EP3062506B1 (en) | Image switching method and apparatus | |
| CN109977868A (zh) | 图像渲染方法及装置、电子设备和存储介质 | |
| CN114463212A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110908569A (zh) | 虚实影像的互动方法及装置 | |
| CN112437231B (zh) | 图像拍摄方法和装置、电子设备及存储介质 | |
| JP7293362B2 (ja) | 撮影方法、装置、電子機器及び記憶媒体 | |
| US20170142346A1 (en) | Electronic device and image processing method thereof | |
| JP2015049372A (ja) | 外国語学習支援装置及び外国語学習支援プログラム | |
| CN115812173B (zh) | 在立体显示设备中动态显示三维图像对象的方法、动态立体显示设备和计算机程序产品 | |
| US20180059811A1 (en) | Display control device, display control method, and recording medium | |
| JP7784253B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
| KR100969927B1 (ko) | 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 | |
| JP6196790B2 (ja) | 情報機器及び情報機器の制御方法 | |
| JP2009237875A (ja) | 接触入力型の情報処理装置、接触入力型の情報処理方法、及び情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101221 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110103 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |