JP2016148898A - 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 - Google Patents
情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 Download PDFInfo
- Publication number
- JP2016148898A JP2016148898A JP2015024019A JP2015024019A JP2016148898A JP 2016148898 A JP2016148898 A JP 2016148898A JP 2015024019 A JP2015024019 A JP 2015024019A JP 2015024019 A JP2015024019 A JP 2015024019A JP 2016148898 A JP2016148898 A JP 2016148898A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- information processing
- image
- captured image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明の一例は、撮像装置による撮像画像に基づく処理を実行する手持ち型の情報処理装置である。情報処理装置は、取得手段と、位置算出手段と、処理実行手段とを備える。取得手段は、撮像画像に基づいて、各画素の明るさに関する情報を取得する。位置算出手段は、撮像画像について、各画素の明るさを重みとしたときの偏りを表す位置情報を算出する。処理実行手段は、位置情報に基づいて、所定の情報処理を実行する。
処理実行手段は、位置情報に基づいて、撮像画像に含まれる物体の位置の変化を表す情報を算出し、当該情報に基づく情報処理を実行してもよい。
撮像装置は赤外線カメラであってもよい。取得手段は、赤外線画像における輝度を表す情報を取得してもよい。
処理実行手段は、位置情報に基づいて、撮像画像に含まれる物体の形状を表す情報を算出し、当該情報に基づく情報処理を実行してもよい。
処理実行手段は、位置情報によって特定される撮像画像上における位置に基づいて当該撮像画像上において判別範囲を設定し、当該判別範囲と物体の画像の領域との関係に基づいて物体の形状を算出してもよい。
情報処理装置は、撮像画像における明るさを算出する明るさ算出手段をさらに備えてもよい。処理実行手段は、位置情報と明るさとに基づいて情報処理を実行してもよい。
情報処理装置は、撮像画像における明るさを算出する明るさ算出手段をさらに備えていてもよい。処理実行手段は、明るさに基づいて、撮像装置の撮像方向に関する位置および/または動きを表す情報を算出し、当該情報に応じて情報処理を実行してもよい。
処理実行手段は、位置情報に基づいて、撮像方向に略垂直な方向に関する2次元の位置および/または動きを表す情報を算出し、当該情報に応じて情報処理を実行してもよい。
位置算出手段は、位置情報として、撮像画像の全体または一部の所定領域における、各画素の明るさを重みとしたときの重心位置を算出してもよい。
位置算出手段は、撮像画像に含まれる物体の画像の領域とは独立して設定される、当該撮像画像における対象領域に対応する位置情報を算出してもよい。
以下、本発明の実施形態に係る情報処理装置、情報処理システム、情報処理プログラム、および、情報処理方法について説明する。第1の実施形態における情報処理装置は、カメラ(赤外線カメラ)によってユーザの手等の物体を撮像し、撮像画像に基づいてユーザの操作を判別するものである。
まず、図1〜図5を参照して、情報処理装置の一例である携帯機器の構成の一例について説明する。図1は、第1の実施形態における携帯機器の一例の正面図である。図2は、携帯機器の一例の右側面図である。図3は、携帯機器の一例の背面図である。第1の実施形態において、携帯機器1は、ユーザが手で持って操作可能な携帯型(可搬型ということもできる)の情報処理装置である。携帯機器1は、例えば、携帯ゲーム機、携帯電話機、スマートフォン、タブレット端末、カメラ等の手持ち型の機器であってもよいし、腕時計型の端末等、ユーザが身に付けることが可能な端末であってもよい。
次に、第1の実施形態において、携帯機器1によって実行される処理の概要を説明する。以下では、図6〜図10を参照して、携帯機器1が赤外線カメラによってユーザの手を検出し、手の位置および形状を算出する処理について説明する。
赤外線カメラ4の撮像方向に垂直な2次元方向の位置は、撮像画像の輝度に関する重心位置(図6に示す位置P1)を用いて算出される。ここで、撮像画像における重心位置とは、撮像画像の各画素の輝度を重みとした、撮像画像全体における重心位置である。重心位置は、画素の位置を表す2次元座標にその画素の輝度を乗算した2次元値を各画素について算出し、算出された各2次元値の総和を、各画素の輝度の総和で除算することによって得ることができる。なお、撮像画像において、手の領域21以外に、輝度が高くかつ面積の大きい領域がない場合(赤外線カメラ4に手以外の物体が写っていない場合)には、重心位置は、手の領域21の内側の領域となる。
第1の実施形態においては、携帯機器1は、撮像方向(z軸方向)に関する位置を撮像画像に基づいて算出する。撮像方向に関する位置(赤外線カメラ4からの距離)は、撮像画像(全体)の明るさに基づいて算出される。具体的には、携帯機器1は、撮像画像の各画素の輝度の平均値を算出し、当該平均値に基づいて上記距離を算出する。
また、第1の実施形態においては、携帯機器1は、手の形状を撮像画像に基づいて算出する。第1の実施形態においては、携帯機器1は、手の形状として、手が開いた形状(パーの形状)であるか、それとも、手が閉じた形状(グーの形状)であるかを特定する。
次に、携帯機器1において実行される処理の具体例について説明する。図11は、携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図11に示す一連の処理は、任意の条件およびタイミングで実行されてよい。第1の実施形態においては、上記一連の処理は、ジェスチャ入力を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
以上のように、第1の実施形態においては、携帯機器1は、撮像画像に基づいて、各画素の明るさに関する情報を取得し(ステップS1)、撮像画像について、各画素の明るさを重みとしたときの偏りを表す位置情報(重心位置の情報)を算出する(ステップS2)。そして、携帯機器1は、位置情報に基づいて、所定の情報処理を実行する(ステップS5)。なお、上記位置情報を算出する対象となる(撮像画像中における)領域は、上記実施形態においては撮像画像の全領域であったが、上記物体(手)の画像の領域とは独立して設定される任意の領域であってよい。つまり、「撮像画像について位置情報を算出する」とは、撮像画像の全領域を対象として位置情報を算出する態様と、撮像画像の一部領域を対象として位置情報を算出する態様との両方を含む意味である。また、所定の情報処理は、任意の処理でよく、例えば、物体(手)の位置、形状、および/または動きに応じた情報処理である。
第1の実施形態における情報処理を用いた変形例(応用例)として、例えば次に示す例が挙げられる。図12は、ユーザがあおぎ操作を行う様子の一例を示す図である。また、図13は、ユーザが回転操作を行う様子の一例を示す図である。また、図14は、ユーザがはじき操作を行う様子の一例を示す図である。携帯機器1は、第1の実施形態における情報処理を用いて、これらの操作をジェスチャ入力として検出して、これらの操作に応じた処理を実行するようにしてもよい。
次に、本発明の第2の実施形態について説明する。第2の実施形態においては、携帯機器1は、第1の実施形態とは異なる方法を用いて、撮像画像に基づいて手の3次元位置を算出する。また、携帯機器1は、算出された3次元位置を用いて、3次元の仮想空間においてカーソルの移動を制御する。なお、第2の実施形態における携帯機器1のハードウェア構成は第1の実施形態と同じであるので、ハードウェア構成の詳細な説明を省略する。
(手の位置および形状の算出)
第2の実施形態においては、携帯機器1は、撮像画像に含まれるユーザの手の領域を検出する。図15は、撮像画像から検出された手の領域の一例を示す図である。ここで、手の領域(撮像画像における、手の画像の領域)31は、撮像画像に対する所定の画像認識処理によって検出される。画像認識処理は、従来における処理であってもよく、例えば、輪郭抽出処理や、パターンマッチングにより手の領域を検出する処理や、ノイズ領域(手以外の領域)を除去する処理等を含む。なお、後述するように、手の領域31を検出する画像認識処理によって、手の形状(例えば、手が閉じた形状であるか、それとも、開いた形状であるか)を特定することが可能である。また、手の領域31を検出することによって、当該手の領域31のうちの指の領域を特定することも可能である。
第2の実施形態においては、携帯機器1は、上記のようにして算出された手の3次元位置に基づいて、3次元仮想空間においてカーソルを制御する。また、上記のようにして特定された手の形状に基づいて、カーソルの選択状態または非選択状態を切り替える。これによって、第2の実施形態においては、ユーザは、手を3次元的に動かすことによってカーソルを3次元的に移動制御することができるとともに、カーソルを用いていわゆるドラッグアンドドロップの操作を行うことができる。
次に、第2の実施形態における携帯機器1において実行される処理の具体例について説明する。図19は、第2の実施形態における携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図19に示す一連の処理は、任意の条件およびタイミングで実行されてよい。例えば、上記一連の処理は、ジェスチャ入力を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
以上のように、第2の実施形態においては、携帯機器1は、ハウジングの側面方向(の空間)を撮像する赤外線カメラ4を備え、赤外線カメラ4による撮像画像に基づいて、当該撮像画像に含まれる物体(ユーザの手)の3次元位置を算出する(ステップS12)。そして、携帯機器1は、3次元位置に応じた情報処理を実行する(ステップS16,S17)。上記によれば、携帯機器1は、ユーザが手等を動かす操作を入力として情報処理を実行する。ユーザは、手等を動かすことで入力操作を行うことができるので、多様な入力を行うことができる。また、赤外線カメラ4は、携帯機器1の側面方向の空間を撮像するので、ユーザは、携帯機器1の側面方向において手等を動かせばよいので、例えば、携帯機器1を片手で持った状態で、もう一方の手で入力操作を行うことができる(図5参照)。したがって、ユーザにとって操作しやすい状態で入力操作を行うことができる。
(手の向きを算出する変形例)
第2の実施形態のように撮像画像における手の領域を検出する場合、携帯機器1は、手の向きを算出するようにしてもよい。ここで、撮像方向(z軸方向)を軸とした回転に関する手の向きについては、撮像画像における手の領域の向きに基づいて算出することができる。また、撮像方向に垂直な方向(x軸方向またはy軸方向等)を軸とした回転に関する手の向きについては、撮像画像における手の領域の輝度に基づいて算出することができる。以下、第2の実施形態の変形例として、撮像方向に垂直な方向を軸とした回転に関する手の向きを算出する例について説明する。
次に、本発明の第3の実施形態について説明する。携帯機器1の周囲でユーザが手等を動かして操作を行う場合、ユーザにとっては、例えば、所望の入力を行うための手の位置や、赤外線カメラ4(携帯機器1)と手との位置関係がわかりにくいおそれがある。そこで、第3の実施形態においては、携帯機器1は、手の位置を表すためのガイド画像を表示する。なお、第3の実施形態における携帯機器1のハードウェア構成は第1の実施形態と同じであるので、ハードウェア構成の詳細な説明を省略する。
図22は、第3の実施形態において行われる操作の一例を示す図である。図22に示すように、第3の実施形態においては、ユーザは、手を撮像方向(z軸方向)に動かすことで、仮想空間内のオブジェクト(プレイヤキャラクタ)41を操作する。すなわち、携帯機器1は、撮像方向に関する手の位置を算出し、オブジェクト41の移動を制御する。
図23は、手の位置と情報処理との関係の一例を示す図である。携帯機器1は、撮像画像に基づいて手の位置を算出するので、赤外線カメラ4から手が離れすぎると(例えば、赤外線カメラ4からの距離が40cmを超えると)、手を検出することができず、手の位置を算出することができなくなる。ここでは、手の位置を算出することが可能な範囲を算出可能範囲と呼び、手の位置を算出することが不可能な範囲を算出不可能範囲と呼ぶ。図23に示すように、第3の実施形態においては、赤外線カメラ4から所定距離以内の範囲が算出可能範囲となり、赤外線カメラ4から当該所定距離よりも離れた範囲が算出不可能範囲となる。
図24は、ガイド画像の一例を示す図である。図24に示すように、ガイド画像42は、範囲画像45と、指示画像46とを含む。範囲画像45は、現実空間における上記処理範囲の領域を表す。範囲画像45の形状はどのようなものであってもよい。第3の実施形態においては、範囲画像は、撮像方向(ユーザから見て左右方向)における位置に関する処理範囲を表すべく、横方向に延びる棒状の形状である。
本実施形態においては、携帯機器1は、ゲーム処理中においてゲーム画像と共にガイド画像42を表示する(図22参照)。したがって、ユーザは、ゲームのプレイ中においてガイド画像42を見ることによって、手の位置と出力との関係を確認することができるので、操作が行いやすくなる。
次に、第3の実施形態における携帯機器1において実行される処理の具体例について説明する。図27は、第3の実施形態における携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図27に示す一連の処理は、任意の条件およびタイミングで実行されてよい。例えば、上記一連の処理は、ジェスチャ入力を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
以上のように、第3の実施形態においては、手持ち型の情報処理装置(携帯機器1)は、赤外線カメラ4による撮像画像に基づいて、当該撮像画像に含まれる物体(ユーザの手)の位置を算出する(ステップS22)。また、情報処理装置は、物体の位置に応じた出力を出力装置(ディスプレイ2)に出力させる(ステップS23)。情報処理装置は、範囲を表す範囲画像45と、当該範囲内において出力の変化に応じて位置が変化する指示画像46とを含むガイド画像42を所定の表示装置(ディスプレイ2)に表示させる(ステップS26,S27)。
上記第3の実施形態においては、携帯機器1は、所定の一方向に関する手の移動操作を検出し、当該一方向に関する位置を表すガイド画像を表示するものであった。ここで、携帯機器1が検出する操作は任意であり、また、ガイド画像の表示態様は任意である。以下、ガイド画像の変形例について説明する。
次に、本発明の第4の実施形態について説明する。第4の実施形態においては、携帯機器1は、携帯機器1の側面にタッチする操作(タッチ操作)を撮像画像に基づいて検出する。また、携帯機器1は、タッチ操作に応じて各種の情報処理(例えば、ゲームを開始する処理等)を実行する。このようなタッチ操作を可能とすることによって、操作性を向上することができる。なお、第4の実施形態における携帯機器1のハードウェア構成は第1の実施形態と同じであるので、ハードウェア構成の詳細な説明を省略する。
(タッチ操作の検出方法)
次に、タッチ操作の検出方法について説明する。図31は、タッチ操作が行われる際に取得される撮像画像の変化の一例を示す図である。タッチ操作が行われる前からタッチ操作が行われた時点までに取得される撮像画像は、例えば、図31に示すように変化する。
次に、タッチ操作を入力として用いる情報処理の例について説明する。第4の実施形態においては、携帯機器1がゲーム処理を実行する場合において、タッチ操作は、ゲームの開始のための操作として用いられる。
次に、第4の実施形態における携帯機器1において実行される処理の具体例について説明する。図33は、第4の実施形態における携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図33に示す一連の処理は、任意の条件およびタイミングで実行されてよい。例えば、上記一連の処理は、タッチ操作を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
ステップS38の具体的な判定方法は任意である。例えば、制御部14は、所定のゲーム条件(プレイヤキャラクタが障害物にぶつかったり、谷に落ちたりしたこと)が満たされたか否かを判定する。ステップS38の判定結果が肯定である場合、ステップS39の処理が実行される。一方、ステップS38の判定結果が否定である場合、ステップS31の処理が再度実行される。したがって、ゲームオーバーとなるまで、ステップS31〜S34,S37,S38の一連の処理が繰り返し実行され、ゲームが進行する。
以上のように、第4の実施形態においては、携帯機器1は撮像画像に基づいて、赤外線カメラ4に物体(ユーザの手)を接触させる操作(タッチ操作)を検出し(ステップS35)、操作の検出結果に基づいて所定の情報処理を実行する(ステップS36)。これによれば、ユーザは、赤外線カメラ4にタッチする操作によって携帯機器1に対する指示を行うことができる。すなわち、第4の実施形態によれば、従来にはない操作が可能となり、携帯機器1の操作性を向上することができる。
なお、他の実施形態においては、携帯機器1は、タッチ操作に加えて、タッチ操作の速度、および/または、タッチ操作の位置を算出し、入力として用いるようにしてもよい。以下、上記第4の実施形態の変形例として、タッチ操作の速度、または、タッチ操作の位置を算出する例について説明する。
(携帯機器に関する変形例)
上記第1〜第4の実施形態においては、撮像装置(赤外線カメラ4)を備える情報処理装置が携帯機器である場合について説明したが、撮像画像を備える情報処理装置はどのような種類のものであってもよい。例えば、他の実施形態においては、ユーザが手に持って操作を行うための操作装置が撮像装置を備えていてもよい。このとき、撮像画像を取得し、撮像画像に基づく情報処理を実行する装置は、操作装置であってもよいし、操作装置と通信可能な他の情報処理装置であってもよい。例えば、据置型のゲーム装置に対する入力を行うためのコントローラが撮像装置を備えており、当該ゲーム装置が、コントローラから取得された撮像画像に基づく情報処理を実行してもよい。このとき、上記コントローラが撮像画像に基づいて手の位置等(位置、向き、形状、および/または、これらの変化等)に関する情報を算出してゲーム装置へ送信し、ゲーム装置は、コントローラから受信した情報に基づいて情報処理(ゲーム処理)を実行するようにしてもよい。
上記第1〜第4の実施形態においては、撮像装置の一例として赤外線カメラ4が用いられ、携帯機器1は、赤外線画像における輝度を表す情報(当該情報を含む撮像画像)を取得した。ここで、他の実施形態においては、赤外線カメラ4に限らず、任意の撮像装置が用いられてもよい。例えば、他の実施形態においては、画素毎にRGB値を有する撮像画像を出力するカメラが撮像装置として用いられてもよい。
上記第1〜第4の実施形態においては、携帯機器1は、物体(手)の位置および/または形状を撮像画像に基づいて算出した。ここで、上述したように、他の実施形態においては、携帯機器1は、物体の動きを算出してもよい。
上記第1または第2の実施形態における方法で撮像画像から手の位置を算出する場合、実際の手の位置はほとんど移動していないにもかかわらず、ユーザの手の形状または向きが変化したことに応じて、算出される手の位置が変化してしまうおそれがある。したがって、携帯機器1は、撮像画像から手の位置を算出する処理を、手の形状および/または手の向きに応じて決定するようにしてもよい。例えば、第1の実施形態のように重心位置から手の位置を決定する場合、携帯機器1は、手の形状が閉じた形状であるか開いた形状であるかによって、重心位置から手の位置を決定する処理(計算方法)を異なるようにしてもよい。
上記第1〜第4の実施形態においては、携帯機器1は、赤外線カメラ4による撮像画像に基づいて検出される入力(ユーザの手の位置等)に応じて所定の情報処理(ステップS5,S16,S17,S23,S37等)を実行した。ここで、他の実施形態においては、携帯機器1は、上記入力と、他の入力部に対する入力とのいずれかに基づいて情報処理を実行するようにしてもよい。他の入力部は、例えば、上記入力ボタン6、および/または、上記タッチパネル3である。これによって、多様な操作方法をユーザに提供することができる。例えば、上記第4の実施形態においては、ユーザは、携帯機器1の側面(赤外線カメラ4の位置)にタッチするとともに、ディスプレイ2にもタッチすることができ、新規な操作を提供することができる。
2 ディスプレイ
4 赤外線カメラ
7 照射部
14 制御部
22 判別範囲
33 カーソル
34 オブジェクト
42 ガイド画像
45,51 範囲画像
46,52,57 指示画像
47 処理基準画像
48 カメラ基準画像
Claims (13)
- 撮像装置による撮像画像に基づく処理を実行する手持ち型の情報処理装置であって、
前記撮像画像に基づいて、各画素の明るさに関する情報を取得する取得手段と、
前記撮像画像について、各画素の明るさを重みとしたときの偏りを表す位置情報を算出する位置算出手段と、
前記位置情報に基づいて、所定の情報処理を実行する処理実行手段とを備える、情報処理装置。 - 前記処理実行手段は、前記位置情報に基づいて、前記撮像画像に含まれる物体の位置の変化を表す情報を算出し、当該情報に基づく情報処理を実行する、請求項1に記載の情報処理装置。
- 前記撮像装置は赤外線カメラであり、
前記取得手段は、赤外線画像における輝度を表す情報を取得する、請求項1または請求項2に記載の情報処理装置。 - 前記処理実行手段は、前記位置情報に基づいて、前記撮像画像に含まれる物体の形状を表す情報を算出し、当該情報に基づく情報処理を実行する、請求項1に記載の情報処理装置。
- 前記処理実行手段は、前記位置情報によって特定される前記撮像画像上における位置に基づいて当該撮像画像上において判別範囲を設定し、当該判別範囲と前記物体の画像の領域との関係に基づいて前記物体の形状を算出する、請求項4に記載の情報処理装置。
- 前記撮像画像における明るさを算出する明るさ算出手段をさらに備え、
前記処理実行手段は、前記位置情報と前記明るさとに基づいて前記情報処理を実行する、請求項1から請求項5のいずれか1項に記載の情報処理装置。 - 前記撮像画像における明るさを算出する明るさ算出手段をさらに備え、
前記処理実行手段は、前記明るさに基づいて、前記撮像装置の撮像方向に関する位置および/または動きを表す情報を算出し、当該情報に応じて前記情報処理を実行する、請求項1から請求項5のいずれか1項に記載の情報処理装置。 - 前記処理実行手段は、前記位置情報に基づいて、前記撮像方向に略垂直な方向に関する2次元の位置および/または動きを表す情報を算出し、当該情報に応じて前記情報処理を実行する、請求項6または請求項7に記載の情報処理装置。
- 前記位置算出手段は、前記位置情報として、前記撮像画像の全体または一部の所定領域における、各画素の明るさを重みとしたときの重心位置を算出する、請求項1から請求項8のいずれか1項に記載の情報処理装置。
- 前記位置算出手段は、前記撮像画像に含まれる物体の画像の領域とは独立して設定される、当該撮像画像における対象領域に対応する位置情報を算出する、請求項1から請求項9のいずれか1項に記載の情報処理装置。
- 撮像装置による撮像画像に基づく処理を実行する手持ち型の情報処理装置を含む情報処理システムのコンピュータにおいて実行される情報処理プログラムであって、
前記撮像画像に基づいて、各画素の明るさに関する情報を取得する取得手段と、
前記撮像画像について、各画素の明るさを重みとしたときの偏りを表す位置情報を算出する位置算出手段と、
前記位置情報に基づいて、所定の情報処理を実行する処理実行手段として前記コンピュータを機能させる、情報処理プログラム。 - 撮像装置による撮像画像に基づく処理を実行する手持ち型の情報処理装置を含む情報処理システムであって、
前記撮像画像に基づいて、各画素の明るさに関する情報を取得する取得手段と、
前記撮像画像について、各画素の明るさを重みとしたときの偏りを表す位置情報を算出する位置算出手段と、
前記位置情報に基づいて、所定の情報処理を実行する処理実行手段とを備える、情報処理システム。 - 撮像装置による撮像画像に基づく処理を実行する手持ち型の情報処理装置を含む情報処理システムにおいて実行される情報処理方法であって、
前記撮像画像に基づいて、各画素の明るさに関する情報を取得する取得ステップと、
前記撮像画像について、各画素の明るさを重みとしたときの偏りを表す位置情報を算出する位置算出ステップと、
前記位置情報に基づいて、所定の情報処理を実行する処理実行ステップとを備える、情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024019A JP6603024B2 (ja) | 2015-02-10 | 2015-02-10 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
EP15197474.8A EP3057035B1 (en) | 2015-02-10 | 2015-12-02 | Information processing program, information processing device, information processing system, and information processing method |
US14/961,210 US9824293B2 (en) | 2015-02-10 | 2015-12-07 | Information processing device, storage medium storing information processing program, information processing system, and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024019A JP6603024B2 (ja) | 2015-02-10 | 2015-02-10 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016148898A true JP2016148898A (ja) | 2016-08-18 |
JP6603024B2 JP6603024B2 (ja) | 2019-11-06 |
Family
ID=54843625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015024019A Active JP6603024B2 (ja) | 2015-02-10 | 2015-02-10 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9824293B2 (ja) |
EP (1) | EP3057035B1 (ja) |
JP (1) | JP6603024B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9804667B2 (en) * | 2015-02-10 | 2017-10-31 | Nintendo Co., Ltd. | Electronic apparatus |
CN109558000B (zh) * | 2017-09-26 | 2021-01-22 | 京东方科技集团股份有限公司 | 一种人机交互方法及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000040147A (ja) * | 1998-07-24 | 2000-02-08 | Atr Media Integration & Communications Res Lab | 手振り認識装置 |
WO2002007839A2 (en) * | 2000-07-24 | 2002-01-31 | Jestertek, Inc. | Video-based image control system |
JP2003067108A (ja) * | 2001-08-23 | 2003-03-07 | Hitachi Ltd | 情報表示装置とその操作認識方法 |
JP2007034525A (ja) * | 2005-07-25 | 2007-02-08 | Fuji Xerox Co Ltd | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2012123617A (ja) * | 2010-12-08 | 2012-06-28 | Omron Corp | ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体 |
JP2014048680A (ja) * | 2012-08-29 | 2014-03-17 | Alpine Electronics Inc | 情報システム |
US20150026646A1 (en) * | 2013-07-18 | 2015-01-22 | Korea Electronics Technology Institute | User interface apparatus based on hand gesture and method providing the same |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5670987A (en) * | 1993-09-21 | 1997-09-23 | Kabushiki Kaisha Toshiba | Virtual manipulating apparatus and method |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US6144366A (en) | 1996-10-18 | 2000-11-07 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
DE69626208T2 (de) * | 1996-12-20 | 2003-11-13 | Hitachi Europ Ltd | Verfahren und System zur Erkennung von Handgesten |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7681149B2 (en) | 2003-05-21 | 2010-03-16 | Nokia Corporation | User interface display for set-top box device |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
JP2006271663A (ja) | 2005-03-29 | 2006-10-12 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像撮像表示装置 |
JP5204381B2 (ja) * | 2006-05-01 | 2013-06-05 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム及びゲーム処理方法 |
US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
KR100783552B1 (ko) | 2006-10-11 | 2007-12-07 | 삼성전자주식회사 | 휴대 단말기의 입력 제어 방법 및 장치 |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
US8643628B1 (en) | 2012-10-14 | 2014-02-04 | Neonode Inc. | Light-based proximity detection system and user interface |
US20100235786A1 (en) | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
US20120188279A1 (en) | 2009-09-29 | 2012-07-26 | Kent Demaine | Multi-Sensor Proximity-Based Immersion System and Method |
US8843857B2 (en) | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
JP5469516B2 (ja) * | 2010-04-12 | 2014-04-16 | 任天堂株式会社 | 画像表示プログラム、画像表示システム、画像表示方法および画像表示装置 |
US20130120280A1 (en) | 2010-05-28 | 2013-05-16 | Tim Kukulski | System and Method for Evaluating Interoperability of Gesture Recognizers |
US20110310005A1 (en) * | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Methods and apparatus for contactless gesture recognition |
US20120056989A1 (en) | 2010-09-06 | 2012-03-08 | Shimane Prefectural Government | Image recognition apparatus, operation determining method and program |
US20120174039A1 (en) | 2011-01-05 | 2012-07-05 | United Video Properties, Inc. | Systems and methods for navigating through content in an interactive media guidance application |
JP5026604B2 (ja) | 2011-02-24 | 2012-09-12 | 任天堂株式会社 | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
WO2012170729A2 (en) | 2011-06-07 | 2012-12-13 | Intersect Ptp, Inc. | Interfaces for displaying an intersection space |
CN103797440B (zh) | 2011-09-15 | 2016-12-21 | 皇家飞利浦有限公司 | 具有用户反馈的基于姿势的用户界面 |
US20130198690A1 (en) | 2012-02-01 | 2013-08-01 | Microsoft Corporation | Visual indication of graphical user interface relationship |
CN105378593B (zh) | 2012-07-13 | 2019-03-01 | 索尼深度传感解决方案股份有限公司 | 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统 |
US8732613B2 (en) | 2012-09-06 | 2014-05-20 | Google Inc. | Dynamic user interface for navigating among GUI elements |
KR101984683B1 (ko) | 2012-10-10 | 2019-05-31 | 삼성전자주식회사 | 멀티 디스플레이 장치 및 그 제어 방법 |
JP6081769B2 (ja) | 2012-10-23 | 2017-02-15 | 任天堂株式会社 | プログラム、情報処理装置、情報処理方法および情報処理システム |
US20140267130A1 (en) | 2013-03-13 | 2014-09-18 | Microsoft Corporation | Hover gestures for touch-enabled devices |
US20140376773A1 (en) | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
US9268484B2 (en) | 2014-01-07 | 2016-02-23 | Adobe Systems Incorporated | Push-pull type gestures |
JP6519075B2 (ja) | 2015-02-10 | 2019-05-29 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
-
2015
- 2015-02-10 JP JP2015024019A patent/JP6603024B2/ja active Active
- 2015-12-02 EP EP15197474.8A patent/EP3057035B1/en active Active
- 2015-12-07 US US14/961,210 patent/US9824293B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000040147A (ja) * | 1998-07-24 | 2000-02-08 | Atr Media Integration & Communications Res Lab | 手振り認識装置 |
WO2002007839A2 (en) * | 2000-07-24 | 2002-01-31 | Jestertek, Inc. | Video-based image control system |
JP2003067108A (ja) * | 2001-08-23 | 2003-03-07 | Hitachi Ltd | 情報表示装置とその操作認識方法 |
JP2007034525A (ja) * | 2005-07-25 | 2007-02-08 | Fuji Xerox Co Ltd | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2012123617A (ja) * | 2010-12-08 | 2012-06-28 | Omron Corp | ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体 |
JP2014048680A (ja) * | 2012-08-29 | 2014-03-17 | Alpine Electronics Inc | 情報システム |
US20150026646A1 (en) * | 2013-07-18 | 2015-01-22 | Korea Electronics Technology Institute | User interface apparatus based on hand gesture and method providing the same |
Also Published As
Publication number | Publication date |
---|---|
EP3057035B1 (en) | 2019-11-13 |
EP3057035A1 (en) | 2016-08-17 |
JP6603024B2 (ja) | 2019-11-06 |
US20160232673A1 (en) | 2016-08-11 |
US9824293B2 (en) | 2017-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6534011B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
US10015402B2 (en) | Electronic apparatus | |
CN107533373B (zh) | 虚拟现实中经由手与对象的场境敏感碰撞的输入 | |
WO2019153824A1 (zh) | 虚拟对象控制方法、装置、计算机设备及存储介质 | |
TWI546725B (zh) | 於手勢和使用者介面元件間之延續虛擬連結技術 | |
CN108619721A (zh) | 虚拟场景中的距离信息显示方法、装置及计算机设备 | |
US9804667B2 (en) | Electronic apparatus | |
JP6519075B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
US20160073017A1 (en) | Electronic apparatus | |
EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
US20130285904A1 (en) | Computer vision based control of an icon on a display | |
JP6228267B2 (ja) | ビデオゲーム処理装置、ビデオゲーム処理方法、及びビデオゲーム処理プログラム | |
WO2014147668A1 (ja) | ビデオゲーム処理装置、ビデオゲーム処理方法、及びビデオゲーム処理プログラム | |
US20170087455A1 (en) | Filtering controller input mode | |
JP5379275B2 (ja) | ゲーム装置およびゲームプログラム | |
JP6561400B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
JP6388203B2 (ja) | 電子機器 | |
JP6603024B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP6519074B2 (ja) | 電子機器 | |
JP6573457B2 (ja) | 情報処理システム | |
JP6528193B2 (ja) | 電子機器 | |
JP2014195715A (ja) | ゲームプログラムおよびゲーム装置 | |
JP2005078310A (ja) | 触覚呈示装置、触覚呈示方法、及びプログラム | |
JP4438351B2 (ja) | 指示入力装置、指示入力システム、指示入力方法、及びプログラム | |
JP5889995B1 (ja) | 情報処理端末、その制御方法およびアプリケーションプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190612 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190829 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6603024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |