JP2020161006A - Object posture control program and information processing device - Google Patents
Object posture control program and information processing device Download PDFInfo
- Publication number
- JP2020161006A JP2020161006A JP2019061945A JP2019061945A JP2020161006A JP 2020161006 A JP2020161006 A JP 2020161006A JP 2019061945 A JP2019061945 A JP 2019061945A JP 2019061945 A JP2019061945 A JP 2019061945A JP 2020161006 A JP2020161006 A JP 2020161006A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- operating body
- information
- posture
- operated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明はオブジェクト姿勢制御プログラムおよび情報処理装置に関する。 The present invention relates to an object attitude control program and an information processing device.
近年、電子機器の発展により、高精細の静止画および動画をスマートフォンやパーソナルコンピュータなどの端末に表示することが可能となった。さらに、情報処理技術の研究開発も進展しており、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を用いて仮想空間と現実空間を融合させた表示技術も実用可能になりつつある。例えば、特許文献１には情報端末の表示領域に仮想空間に配置されたオブジェクトを表示する技術が開示されている。
In recent years, the development of electronic devices has made it possible to display high-definition still images and moving images on terminals such as smartphones and personal computers. Furthermore, research and development of information processing technology is also progressing, and display technology that fuses virtual space and real space using augmented reality (AR) is becoming practical. For example,
一方で、表示領域に表示されたオブジェクトの姿勢の制御は、オブジェクトの対象となる部位を指定するうえで、入力処理が複雑となる場合がある。 On the other hand, controlling the attitude of the object displayed in the display area may complicate the input process in designating the target portion of the object.
このような課題に鑑み、本発明の目的の一つは、仮想空間に配置されたオブジェクトの姿勢を容易に制御することにある。 In view of such a problem, one of the objects of the present invention is to easily control the posture of an object arranged in a virtual space.
本発明の一実施形態によれば、情報処理装置に複数の部位を有するオブジェクトを表す第１画像を撮像部で撮像された第２画像に重畳させて表示部に表示し、前記オブジェクトと前記第２画像内の操作体との位置関係に基づいて、前記オブジェクトの複数の部位のうち少なくとも一部の被操作部位の位置情報を変化させて前記オブジェクトの姿勢を制御することを実行させるためのオブジェクト姿勢制御プログラムが提供される。 According to one embodiment of the present invention, a first image representing an object having a plurality of parts on the information processing apparatus is superimposed on a second image captured by the imaging unit and displayed on the display unit, and the object and the first image are displayed. 2 An object for controlling the posture of the object by changing the position information of at least a part of the operated parts among a plurality of parts of the object based on the positional relationship with the operating body in the image. A posture control program is provided.
上記オブジェクト姿勢制御プログラムにおいて、前記操作体の位置と前記被操作部位の位置とが少なくとも一部重なる場合に、ユーザに通知するための処理を実行してもよい。 In the object posture control program, when the position of the operating body and the position of the operated portion overlap at least partially, a process for notifying the user may be executed.
上記オブジェクト姿勢制御プログラムにおいて、前記操作体の位置と前記被操作部位の位置とが少なくとも一部重なっている間の前記操作体の位置情報の変化に基づいて、前記被操作部位の位置を変化させてもよい。 In the object attitude control program, the position of the operated portion is changed based on the change of the position information of the operated body while the position of the operating body and the position of the operated portion overlap at least partially. You may.
上記オブジェクト姿勢制御プログラムにおいて、前記被操作部位の位置と前記被操作部位の位置とはそれぞれ前記オブジェクトが配置される空間の座標系における位置として規定されてもよい。 In the object posture control program, the position of the operated portion and the position of the operated portion may be defined as positions in the coordinate system of the space in which the object is arranged.
本発明の一実施形態によれば、オブジェクトの姿勢を制御する情報処理装置であって、複数の部位を有するオブジェクトを表す第１画像を撮像部で撮像された第２画像に重畳させて表示部に表示し、前記オブジェクトと前記第２画像内の操作体との位置関係に基づいて、前記オブジェクトの複数の部位のうち少なくとも一部の被操作部位の位置情報を変化させて前記オブジェクトの姿勢を制御する、情報処理装置が提供される。 According to one embodiment of the present invention, it is an information processing device that controls the posture of an object, and a display unit superimposes a first image representing an object having a plurality of parts on a second image captured by the imaging unit. The posture of the object is changed by changing the position information of at least a part of the operated parts among the plurality of parts of the object based on the positional relationship between the object and the operating body in the second image. An information processing device to control is provided.
本発明の一実施形態を用いることにより、オブジェクトの姿勢を容易に制御することができる。 By using one embodiment of the present invention, the posture of the object can be easily controlled.
以下、本発明の実施の形態を、図面等を参照しながら説明する。但し、本発明は多くの異なる態様で実施することが可能であり、以下に例示する実施の形態の記載内容に限定して解釈されるものではない。図面は説明をより明確にするため、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、各要素に対する「第１」、「第２」と付記された文字は、各要素を区別するために用いられる便宜的な標識であり、特段の説明がない限りそれ以上の意味を有さない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字ｘｘｘにＡ，Ｂを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。また、構成の一部が図面から省略されたりする場合がある。その他、本発明の属する分野における通常に知識を有する者であれば認識できるものである場合、特段の説明を行わないものとする。 Hereinafter, embodiments of the present invention will be described with reference to drawings and the like. However, the present invention can be implemented in many different modes, and is not construed as being limited to the description of the embodiments illustrated below. The drawings may be schematically shown for the sake of clarity, but they are merely examples and do not limit the interpretation of the present invention. In addition, the letters "1st" and "2nd" for each element are convenient signs used to distinguish each element, and have more meaning unless otherwise specified. Absent. In the drawings referred to in the present embodiment, the same part or a part having the same function is given the same code or a similar code (a code obtained by adding A and B to the numbers xxx), and the process is repeated. The explanation may be omitted. In addition, a part of the configuration may be omitted from the drawing. In addition, if it can be recognized by a person who has ordinary knowledge in the field to which the present invention belongs, no particular explanation will be given.
本発明の一実施形態において記載される「部位」とは、オブジェクトが有する移動可能な部位をいい、複数の部位を組み合わせることにより連動する部位が構成される。 The "site" described in one embodiment of the present invention means a movable portion of an object, and a linked portion is configured by combining a plurality of portions.
＜第１実施形態＞
本発明の第１実施形態に係るオブジェクト姿勢制御システムについて、図面を参照しながら詳細に説明する。
<First Embodiment>
The object attitude control system according to the first embodiment of the present invention will be described in detail with reference to the drawings.
（１−１．オブジェクト姿勢制御システムのハードウェア構成）
図１に、オブジェクト姿勢制御システム１のハードウェア構成および機能ブロック図を示す。図１に示すように、オブジェクト姿勢制御システム１は、端末１０およびサーバ２０を含む。端末１０およびサーバ２０を合わせて情報処理装置という場合がある。
(1-1. Hardware configuration of object attitude control system)
FIG. 1 shows a hardware configuration and a functional block diagram of the object
端末１０は、コンピュータの一つであり、表示部１１、制御部１２、記憶部１３、操作部１４、通信部１５、センサ部１６、撮像部１７、およびスピーカー部１８を有する。この例では、端末１０としてスマートフォンが用いられる。なお、スマートフォンに限定されず、携帯電話（フィーチャーフォン）、タブレット型端末、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＩｏＴデバイス（電源機構、通信機能および情報記憶機構を備えた機器）などでもよく、ネットワークを通じてサーバ２０と通信可能なものであれば適用可能である。
The
表示部１１は、液晶ディスプレイまたは有機ＥＬディスプレイなどの表示デバイスであって、制御部１２から入力される信号により表示内容が制御される。
The
制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｌｅｘｉｂｅ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはその他の演算処理回路を備える。制御部１２は、表示部１１および操作部１４の操作に基づいて、記憶部１３に記憶されたオブジェクト姿勢制御プログラムを含むアプリケーションを実行させる。
The
記憶部１３は、オブジェクト姿勢制御用プログラム、およびオブジェクト姿勢制御用プログラムで用いられる空間情報を記憶するデータベースとしての機能を有する。記憶部１３には、メモリ、ＳＳＤ、またはその他の記憶可能な素子が用いられる。
The
操作部１４は、コントローラー、ボタン、またはスイッチを含む。操作部１４は、上下左右への移動、押圧、または回転などの動作がなされることにより、その動作に基づく情報が制御部１２に送信される。本実施形態では、端末１０がタッチセンサを有する表示装置（タッチパネル）であることにより、表示部１１と操作部１４とが、同じ場所に配置されてもよい。
The
通信部１５は、サーバ２０と送受信する機能を有する。通信部１５には、ＬＡＮ送受信機（例えばＷｉ−Ｆｉ送受信機）が用いられる。なお、送受信機は、ＬＡＮ送受信機に限定されない。端末が携帯型の端末の場合には、携帯端末用通信（例えばＬＴＥ通信）用の送受信機が設けられてもよいし、近距離無線通信用の送受信機が設けられてもよい。端末１０は、ネットワーク５０を介してサーバ２０と接続される。
The
センサ部１６は、マーカー、操作体、オブジェクトなどの位置情報を検出する機能を有する。センサ部１６には、位置センサ、距離センサ、変位センサを含む。
The
撮像部１７は、環境画像を撮像する機能を有し、オブジェクトを表示する上でのマーカー部が設けられた対象物を撮像する。撮像部１７には、例えばＣＭＯＳイメージセンサが用いられる。
The
スピーカー部１８は、検出された情報をもとに外部に音情報を出力する音情報を出力する機能を有する。
The
サーバ２０は、通信部２１、記憶部２２、制御部２３および表示部２４を有する。サーバ２０は、データベースおよびアプリケーションサーバとして機能する。なお、あらかじめ端末１０にオブジェクト姿勢制御用プログラムに関連するすべての情報が搭載されている場合にはサーバ２０を必ずしも用いなくてもよい。
The
通信部２１は、送受信機を有し、ネットワーク５０を介して端末１０とオブジェクトの制御情報の情報通信を行う。通信部２１には、インターネット用の送受信機が用いられる。なお、送受信機は、インターネット用のＬＡＮ送受信機に限定されず、端末１０と同様に通信可能な装置が用いられる。
The
記憶部２２は、ハードディスク、およびＳＳＤを用いることで、オブジェクト姿勢制御用プログラムで用いられる情報のデータベースとしての機能を有する。
The
制御部２３は、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡまたはその他の演算処理回路を用いて、オブジェクト姿勢制御プログラムの処理を制御する。また、制御部２３からの命令によって、オブジェクト姿勢制御プログラムを実行するためのユーザインターフェースが表示部２４に提供される場合がある。
The
（１−２．オブジェクト姿勢制御部１００の構成）
図２は、オブジェクト姿勢制御システム１における端末１０の各構成要素およびサーバ２０の各構成要素によって構成され、オブジェクト姿勢制御機能を実現させるプログラム（オブジェクト姿勢制御プログラム）を制御するオブジェクト姿勢制御部１００の機能ブロック図を示す。この例では、オブジェクト姿勢制御プログラムが端末１０に設けられている例を説明する。
(1-2. Configuration of object attitude control unit 100)
FIG. 2 shows an object
オブジェクト姿勢制御部１００は、撮像画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、操作体検出部１５０、重畳部分検出部１６０、通知部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０を含む。
The object
撮像画像取得部１１０は、撮像部１７において撮像された実空間の環境画像を取得する機能を有する。
The captured
マーカー検出部１２０は、撮像画像取得部１１０によって取得された画像からマーカーを検出する機能を有する。この例では、マーカーの情報は、あらかじめ記憶部１３に記憶されている。なお、マーカーの情報は、必ずしも記憶部１３に記憶されていなくてもよく、撮像された画像からマーカーとなりうる特徴点を抽出してもよい。
The
空間定義部１３０は、仮想空間と表示部１１の座標との位置合わせを行う機能を有する。本実施形態では、空間定義部１３０は、マーカーベース位置合わせ法を用い、検出されたマーカーを基準に仮想空間と表示部１１の座標とを位置合わせする。
The
オブジェクト表示部１４０は、仮想空間上に配置された姿勢を制御する対象となるオブジェクトを表示部１１に表示する機能を有する。
The
操作体検出部１５０は、撮像された画像に含まれる対象物から操作体を検出し、操作体として設定する機能を有する。重畳部分検出部１６０は、操作体と、オブジェクトが有する複数の部位のうち一部の部位とが重畳することを検出し、当該部位を被操作部位として設定する機能を有する。
The operating
通知部１７０は、操作体と被操作部位とが重畳していることをユーザに通知する機能を有する。なお、操作体と被操作部位とが重畳しているとは、例えば、操作体と被操作部位が配置される空間（仮想的空間を含む）または表示部１１の表示領域において、操作体との被操作部位との少なくとも一部に位置座標の重なりがあることをいう。この例では、端末１０のスピーカー部１８から発せられる音情報を介して通知する。
The
移動情報取得部１８０は、設定された操作体の移動前後の座標にもとづいた移動情報を取得する機能を有する。
The movement
オブジェクト座標変更部１９０は、表示部１１に移動後のオブジェクトを表示するために、操作体と重畳する非操作部位の座標を変更し記録するとともに、その位置情報をオブジェクト表示部１４０に送信する機能を有する。移動情報取得部１８０、オブジェクト座標変更部１９０およびオブジェクト表示部１４０は、１秒あたり６０回にわたってオブジェクトにおける被操作部位の移動情報を取得し、操作体の空間座標および表示画面上の座標を変更することにより、オブジェクトの動き（姿勢の変化）を静止画または動画として表示することができる。
The object coordinate changing
（１−３．オブジェクト姿勢制御処理）
次に、オブジェクト姿勢制御部１００におけるオブジェクト姿勢制御プログラムによる命令に基づいたオブジェクト姿勢制御処理について説明する。オブジェクト姿勢制御処理は、重畳表示処理Ｓ１００およびオブジェクト姿勢検出処理を含む。図３（Ａ）は、重畳表示処理のフロー図である。図３（Ｂ）は、オブジェクト姿勢検出処理のフロー図である。図３（Ｂ）に示すように、オブジェクト姿勢検出処理は、第１オブジェクト姿勢検出処理Ｓ２００および第２オブジェクト姿勢検出処理Ｓ３００を含む。重畳表示処理と、オブジェクト姿勢検出処理とは、並行して行うことができる。
(1-3. Object attitude control processing)
Next, the object attitude control process based on the instruction by the object attitude control program in the object
重畳表示処理Ｓ１００は、撮像画像の取得・表示処理、マーカー情報検出処理、空間定義処理、オブジェクト座標取得処理および撮像画像・オブジェクト重畳表示処理を含む。第１オブジェクト姿勢検出処理Ｓ２００は、操作体検出処理、操作体設定処理、重畳部分検出処理、被操作部位設定処理、および重畳通知処理を含む。第２オブジェクト姿勢検出処理Ｓ３００は、操作体移動量取得処理、オブジェクトの座標変更処理、および端末の移動が終了したかどうかの判定処理を含む。それぞれのオブジェクト姿勢制御処理を分けて説明する。 The superimposed display process S100 includes acquisition / display processing of captured images, marker information detection processing, spatial definition processing, object coordinate acquisition processing, and captured image / object superimposed display processing. The first object posture detection process S200 includes an operation body detection process, an operation body setting process, a superposed portion detection process, a manipulated part setting process, and a superimposition notification process. The second object posture detection process S300 includes an operation body movement amount acquisition process, an object coordinate change process, and a determination process of determining whether or not the terminal movement has been completed. Each object posture control process will be described separately.
（１−３−１．重畳表示処理Ｓ１００）
図４に、重畳表示処理Ｓ１００を示す。重畳表示処理Ｓ１００は、オブジェクト姿勢制御プログラムを含むアプリケーションを起動させることをきっかけとして開始される。
(1-3-1. Superimposition display processing S100)
FIG. 4 shows the superimposed display process S100. The superimposed display process S100 is started by invoking an application including an object attitude control program.
重畳表示処理Ｓ１００において、撮像画像取得部１１０は実空間の環境画像の撮像を行い、その撮像された画像を取得し（Ｓ１１０）、端末１０の表示部１１に撮像された画像（第２画像ともいう）を表示する。
In the superimposed display process S100, the captured
図５は、端末１０で実空間を撮像するときの一例である。図５において、実際の空間には、端末１０とともに、テーブル６０、シート７０とともに、操作体となるユーザの手９０が配置されている。シート７０には、４つのマーカー７５が含まれている。この例では、端末１０により４つのマーカー７５を含むように、テーブル６０の一部、シート７０、ユーザの手９０が撮像される。
FIG. 5 is an example when the terminal 10 images the real space. In FIG. 5, in the actual space, the terminal 10, the table 60, the
図４に戻って説明する。次に、マーカー検出部１２０は、マーカー検出処理を行う（Ｓ１２０）。この例では、オブジェクト姿勢制御プログラムには、あらかじめ４つのマーカーの情報が登録されている。マーカーの情報は、マーカーの形態および配置に関するものである。４つのマーカーが検出されないとき（Ｓ１２０；Ｎｏ）、撮像画像の取得・表示処理（Ｓ１１０）に戻る。
It will be described back to FIG. Next, the
次に、４つのマーカーを検出した場合には（Ｓ１２０；Ｙｅｓ）、空間定義部１３０は、マーカーベース位置合わせ法を用いて、実空間と仮想空間との座標の位置合わせ（空間定義）を行う（Ｓ１３０）。このとき、空間定義部１３０は、表示部１１に表示された実空間上のマーカー７５と、オブジェクト姿勢制御プログラムに記憶された仮想空間上のマーカーとを照合し、仮想空間の座標を実空間の座標として表示部１１に表示可能となるように調整を行う。例えば、マーカー７５−１の位置座標は、実空間の位置座標が（Ｘr75-1，Ｙr75-1，Ｚr75-1）、表示部１１における位置座標が（Ｘd75-1，Ｙd75-1）、仮想空間の位置座標が（Ｘv75-1，Ｙv75-1，Ｚv75-1）として定義される。
Next, when four markers are detected (S120; Yes), the
次に、空間定義部１３０は、仮想空間におけるオブジェクト座標の取得処理を行う（Ｓ１４０）。図６は、オブジェクトの各部位の仮想空間上の座標である。図６に示すように、オブジェクトの各部位の座標情報は、４つのマーカーの座標に基づいて設定された原点に対して設定される。上記処理により、マーカー７５の表示部１１における情報が取得されることにより、オブジェクトの各部位の座標が取得される。
Next, the
次に、オブジェクト表示部１４０は、撮像された画像（第２画像）とオブジェクトの画像（第１画像ともいう）を重畳して表示する（Ｓ１５０）。図７は、端末１０の表示部１１に表示されたオブジェクトのユーザインターフェースである。図７において、ユーザの手９０とともに、シート７０上に配置された仮想空間上のオブジェクト８０が表示される。この例では、オブジェクト８０は、人型の体形を有し、複数の部位８１および複数のボーン８２を有する。部位８１は、移動可能な部位であり、人間の関節に相当する。部位８１（部位８１ａ）は、隣接する部位８１（部位８１ｂ）と、ボーン８２（ボーン８２ａ）を介して接続されている。つまり、部位８１ａおよび部位８１ｂは連動する部位であるということができる。なお、オブジェクト８０を表示する際に、シート７０は表示されなくてもよい。
Next, the
次に、重畳表示処理を終了するかどうかの判定処理がなされる（Ｓ１６０）。当該判定処理は、ユーザからの入力される情報をもとになされてもよいし、所定の条件を満たすか否かによりなされてもよい。例えば、撮像された画像において、移動する対象物がある場合には、重畳表示処理を終了しないと判定し（Ｓ１６０；Ｎｏ）、再度撮像画像の取得処理（Ｓ１１０）に戻り、重畳表示処理Ｓ１００が繰り返される。一方、重畳表示処理を終了すると判定した場合（Ｓ１６０；Ｙｅｓ）、重畳表示処理Ｓ１００は終了となる。 Next, a determination process of whether or not to end the superimposed display process is performed (S160). The determination process may be performed based on the information input from the user, or may be performed depending on whether or not a predetermined condition is satisfied. For example, if there is a moving object in the captured image, it is determined that the superimposed display process is not completed (S160; No), the process returns to the captured image acquisition process (S110), and the superimposed display process S100 Repeated. On the other hand, when it is determined that the superimposed display process is terminated (S160; Yes), the superimposed display process S100 is terminated.
（１−３−２．第１オブジェクト姿勢検出処理Ｓ２００）
図８に、第１オブジェクト姿勢検出処理Ｓ２００のフロー図を示す。第１オブジェクト姿勢検出処理Ｓ２００は、検出開始信号が入力されることをきっかけとして行われる。検出開始信号は、ユーザが入力してもよいし、プログラムから所定の信号が入力されてもよい。
(1-3-2. First object posture detection process S200)
FIG. 8 shows a flow chart of the first object posture detection process S200. The first object posture detection process S200 is performed when the detection start signal is input. The detection start signal may be input by the user, or a predetermined signal may be input from the program.
まず、操作体検出部１５０は、操作体の検出処理を行う（Ｓ２１０）。当該検出処理は、撮像された撮像において生じる視差に基づいて判定される。
First, the operating
まず、撮像部１７で撮像された複数の画像における対象物の位置の変化（視差）に基づいて端末１０（撮像部１７）から対象物までの距離を算出する。次に、端末１０から対象物までの距離が撮像部１７からテーブルまでの距離よりも小さい対象物を操作体として検出する。この例では、端末１０からテーブル６０までの距離に対して、端末１０からユーザの手９０までの距離の方が小さいため、ユーザの手９０が操作体として検出され（Ｓ２１０；Ｙｅｓ）、設定される（Ｓ２２０）。このとき、ユーザの手９０のうちシート７０に最も近い部分（より具体的には人差し指の先端部９０ａ）を操作体として定義してもよい。操作体が検出されないときは（Ｓ２１０；Ｎｏ）、上記処理がループして行われる。
First, the distance from the terminal 10 (imaging unit 17) to the object is calculated based on the change (parallax) in the position of the object in the plurality of images captured by the
次に、重畳部分検出部１６０は、オブジェクト８０と、操作体とが重畳することを検出する（Ｓ２３０）。重畳しているか否かの検出は、オブジェクト８０の対象部位の仮想空間上の座標と、操作体の実空間の座標とが、一致するか否かに基づいて判定される。
Next, the superposed
図９は、操作体と被操作部位とが重畳したときを示すユーザインターフェースの一例である。図９に示すように、この例では、ユーザの手９０のうち人差し指の先端部９０ａおよび親指の先端部９０ｂがオブジェクト８０の部位８１ａ（左手首の関節に相当）の一部と重畳している。以下に、人差し指の先端部９０ａと、オブジェクト８０の部位８１ａとが重畳したことの検出方法を示す。
FIG. 9 is an example of a user interface showing when the operating body and the operated portion are superimposed. As shown in FIG. 9, in this example, the
まず、人差し指の先端部９０ａの実空間の位置（座標）を取得する。人差し指の先端部９０ａの座標には、シート７０上に配置された４つのマーカー７５で囲まれた領域の中央部を原点とし、当該原点を基準とした相対座標が用いられる。このとき、人差し指の先端部９０ａの実空間の座標は（Ｘr_90a，Ｙr_90a，Ｚr_90a）である。そして、上記実空間の座標に基づいて、人差し指の先端部９０ａが仮想空間に配置された場合の座標（Ｘv_90a，Ｙv_90a，Ｚv_90a）が演算される。
First, the position (coordinates) of the
次に、人差し指の先端部９０ａの仮想空間の座標と、オブジェクト８０の複数の部位８１のいずれかの部位（この例ではオブジェクトの部位８１ａの仮想空間の座標（Ｘv_81a，Ｙv_81a，Ｚv_81a））とが一致したときに、重畳部分を検出したと判定する（Ｓ２３０；Ｙｅｓ）。このとき、オブジェクトの部位８１ａは被操作部位として設定される（Ｓ２４０）。なお、重畳部分が検出されないときは（Ｓ２３０；Ｎｏ）、上記重畳部分検出処理がループして行われる。
Next, the coordinates of the virtual space of the
重畳部分を検出したとき、通知部１７０は、操作体と被操作部位とが重畳していることを通知する（Ｓ２５０）。この例では、端末１０のスピーカー部１８から発せられる音情報を用いて通知する。以上により、第１オブジェクト姿勢検出処理Ｓ２００は終了となる。
When the superposed portion is detected, the
（１−３−３．第２オブジェクト姿勢検出処理Ｓ３００）
図１０は、第２オブジェクト姿勢検出処理Ｓ３００のフロー図である。第２オブジェクト姿勢検出処理Ｓ３００は、第１オブジェクト姿勢検出処理Ｓ２００の終了をきっかけに開始される。
(1-3-3. Second object posture detection process S300)
FIG. 10 is a flow chart of the second object posture detection process S300. The second object posture detection process S300 is started with the end of the first object posture detection process S200.
第２オブジェクト姿勢検出処理Ｓ３００において、はじめに、移動情報取得部１８０は、操作体の移動量を取得する（Ｓ３１０）。この例では、操作体（ユーザの手９０の人差し指の先端部９０ａ）の位置情報の変化に伴うオブジェクトの姿勢の追跡は、Ｖ−ＳＬＡＭ（Ｖｉｓｕａｌ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）法により行われる。人差し指の先端部９０ａの位置（座標）は、センサ部１６および撮像部１７を用いて計測・演算処理され、移動情報取得部１８０において取得される。センサ部１６および撮像部１７には、イメージセンサ、位置センサ、距離センサ、変位センサ、またはその他位置検出可能な素子が用いられる。
In the second object posture detection process S300, first, the movement
図１１（Ａ）は、初期値（移動前）、時間ｔ１後（移動後）の操作体（人差し指の先端部９０ａ）の位置（座標）、および移動前後の座標より求められる人差し指の先端部９０ａの移動量を示すデータ構造である。移動前は、操作体と被操作部位とが重畳したことを検出した時を示す。
FIG. 11 (A) shows the position (coordinates) of the operating body (
次に、取得された操作体の移動量をもとに、オブジェクト座標変更部１９０は、オブジェクト８０のうち移動対象部位である被操作部位（部位８１ａ）の座標を変更し、記録する（Ｓ３２０）。図１１（Ｂ）は、初期値（移動前）、時間ｔ１後のオブジェクトの被操作部位（部位８１ａ）の仮想空間上の座標および表示部１１における座標のデータ構造である。図１１（Ｂ）に示すように、操作体（人差し指の先端部９０ａ）の移動量に基づいて仮想空間におけるオブジェクト８０の被操作部位（部位８１ａ）の座標情報、および表示部１１におけるオブジェクト８０の被操作部位（部位８１ａ）の座標情報が変更され、変更後の座標情報が記憶される（座標情報の書き換えがなされる）。
Next, based on the acquired movement amount of the operating body, the object coordinate changing
図１０に戻って説明する。このとき、オブジェクト表示部１４０は、重畳表示処理Ｓ１００において移動後（時間ｔ１後）の被操作部位の情報を用いて表示部１１にオブジェクト８０を表示する。図１２は、表示部１１に被操作部位の位置が変化したオブジェクト８０を表示したユーザインターフェースである。図１２に示すように、被操作部位（部位８１ａ）は、図７で表示された位置から異なる部位（部位８１ｂ、肘関節に相当）を基準として移動する。つまり、操作体の動きに関する情報に基づいて、オブジェクトの複数の部位のうち一部の部位を移動することができる。上記処理は、操作体が移動する限り（Ｓ３３０；Ｙｅｓ）、繰り返し行われる。この例では、操作体の移動量の取得は、１秒あたり６０回行われるため、オブジェクトの姿勢の変化が滑らかに表示される。端末１０の移動が終了したとき（Ｓ３３０；Ｎｏ）、第２オブジェクト姿勢検出処理Ｓ３００は、終了となる。
It will be described back to FIG. At this time, the
上記に示した通り、本実施形態のオブジェクト姿勢制御プログラムを用いることにより、複数の部位を有するオブジェクトを、複雑な制御を行うことなく容易にオブジェクトの姿勢制御を行うことができる。 As shown above, by using the object attitude control program of the present embodiment, it is possible to easily control the attitude of an object having a plurality of parts without performing complicated control.
＜第２実施形態＞
本実施形態では、第１実施形態と異なるオブジェクトの姿勢制御処理について説明する。具体的には、複数の部位が一つの端末の移動に基づいて移動する例について説明する。なお、第１と同様の構成および方法については、適宜省略する場合がある。
<Second Embodiment>
In this embodiment, the posture control process of the object different from that of the first embodiment will be described. Specifically, an example in which a plurality of parts move based on the movement of one terminal will be described. The same configuration and method as the first may be omitted as appropriate.
（２−１．サーバおよびオブジェクト姿勢制御部１００Ａの構成）
図１３は、オブジェクト姿勢制御システム１Ａにおける、オブジェクト姿勢制御部１００Ａの機能ブロック図を示す。図２２に示すように、オブジェクト姿勢制御部１００Ａは、撮像画像取得部１１０、マーカー検出部１２０、空間定義部１３０、オブジェクト表示部１４０、操作体検出部１５０、重畳部分検出部１６０、通知部１７０、移動情報取得部１８０、およびオブジェクト座標変更部１９０に加えて、第２操作体検出部１９５、第２重畳部分検出部２００を含む。
(2-1. Configuration of server and object attitude control unit 100A)
FIG. 13 shows a functional block diagram of the object attitude control unit 100A in the object attitude control system 1A. As shown in FIG. 22, the object attitude control unit 100A includes a captured
第２操作体検出部１９５は、撮像された画像に含まれる複数の対象物から操作体として検出された対象物とは異なる対象物を検出し、第２操作体として設定する機能を有する。第２重畳部分検出部２００は、第２操作体と、オブジェクトが有する複数の部位のうち一部の部位とが重畳することを検出し、当該部位を第２被操作部位として設定する機能を有する。
The second operating
（２−２．オブジェクト姿勢制御処理）
図１４に、オブジェクト姿勢制御部１００Ａにおけるオブジェクト姿勢制御プログラムによる命令に基づいた第１オブジェクト姿勢検出処理Ｓ２００Ａのフロー図を示す。図１４に示すように、重畳部分の通知がなされた後（Ｓ２５０）、追加で操作体を設定するか判定する（Ｓ２５５）。上記判定は、所定の期間において操作体として設定された対象物以外に動いている対象物があるか否かに基づいてなされてもよいし、ユーザからの入力情報によりなされてもよい。また、表示部１１に「新たな操作体を追加しますか？」と表示されるとともに、「はい」および「いいえ」のボタンが表示されてもよい。追加で設定しない場合（Ｓ２５５；Ｎｏ）、第１オブジェクト姿勢検出処理Ｓ２００Ａが終了となる。
(2-2. Object attitude control processing)
FIG. 14 shows a flow chart of the first object attitude detection process S200A based on an instruction by the object attitude control program in the object attitude control unit 100A. As shown in FIG. 14, after the notification of the superposed portion is given (S250), it is determined whether to additionally set the operating body (S255). The above determination may be made based on whether or not there is a moving object other than the object set as the operating body in a predetermined period, or may be made based on the input information from the user. In addition, "Are you sure you want to add a new operating body?" Is displayed on the
追加で設定すると判定された場合（Ｓ２５５；Ｙｅｓ）、第２操作体検出部１９５は、第２操作体となる対象物を検出する（Ｓ２６０）。この例では、ユーザの左手９１が第２操作体として検出される。検出方法は、本発明の第１実施形態に記載した方法と同様の方法を用いることができる。このとき、ユーザの左手９１のうちシート７０に最も近い部分（より具体的には左手の人差し指の先端部９１ａ）を操作体として設定してもよい（Ｓ２６５）。
When it is determined to be additionally set (S255; Yes), the second operating
次に、第２重畳部分検出部２００は、第２操作体とオブジェクト８０の一部の部位との重畳部分（第２重畳部分）を検出する（Ｓ２７０）。第２重畳部分の検出方法には、本発明の第１実施形態の重畳部分の検出方法と同様の方法が用いられる。第２操作体がオブジェクト８０の一部の部位８１ｃと重畳したと判定される場合（Ｓ２７０；Ｙｅｓ）。このとき、オブジェクトの部位８１ｃは第２被操作部位として設定される（Ｓ２８０）。なお、第２重畳部分が検出されないときは（Ｓ２７０；Ｎｏ）、上記第２重畳部分検出処理がループして行われる。
Next, the second superposed
第２重畳部分が検出されたのち、通知部１７０は、第２重畳を検出したことを通知してもよい(Ｓ２９０)。通知方法は、第１実施形態と同様の方法を用いることができる。以上により、第１オブジェクト姿勢検出処理Ｓ２００Ａが終了となる。
After the second superimposition is detected, the
図１６は、第３オブジェクト制御処理Ｓ３００Ａのフロー図である。本実施形態において、操作体（ユーザの手９０の人差し指の先端部９０ａ）の移動に伴うオブジェクトの被操作部位（部位８１ａ）の移動は第１実施形態と同様の方法で実現される。本実施形態の場合、図１７に示すように、被操作部位（部位８１ａ）が移動するのと同時に、操作体とは異なる第２操作体（ユーザの左手９１の人差し指の先端部９１ａ）の移動量に基づいて、部位８１ｅを基準にして第２被操作部位（部位８１ｃ，足首の関節に相当）が移動するように被操作部位および第２被操作部位の座標変更が変更される（Ｓ３２０）。つまり、複数の操作体の動きに合わせて複数の被操作部位を動かし、オブジェクトの姿勢を制御することができる。
FIG. 16 is a flow chart of the third object control process S300A. In the present embodiment, the movement of the operated portion (
なお、本実施形態では、２つの操作体を用いて、オブジェクトの姿勢を制御する例を示したが、これに限定されない。３つ以上の操作体を有する場合にも同様に適用することができる。 In the present embodiment, an example of controlling the posture of the object by using two operating bodies is shown, but the present invention is not limited to this. The same can be applied when having three or more operating bodies.
なお、本発明の思想の範疇において、当業者であれば、各種の変更例および修正例に想到し得るものであり、それら変更例および修正例についても本発明の範囲に属するものと了解される。例えば、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。 It should be noted that, within the scope of the idea of the present invention, those skilled in the art can come up with various modified examples and modified examples, and it is understood that these modified examples and modified examples also belong to the scope of the present invention. .. For example, those skilled in the art appropriately adding, deleting, or changing the design of each of the above-described embodiments, or adding, omitting, or changing the conditions of the process are also gist of the present invention. Is included in the scope of the present invention as long as the above is provided.
（変形例）
本発明の第１実施形態では、操作体の移動情報において、Ｘ座標、Ｙ座標、Ｚ座標を用いる例を示したが、これに限定されない。例えば、Ｘ座標、Ｙ座標、Ｚ座標だけではなく角度θを用いてもよい。この場合、Ｘ座標、Ｙ座標、Ｚ座標のいずれかが用いられなくてもよい。操作体の動きに合わせて仮想空間におけるオブジェクト８０の被操作部位（部位８１ａ）の情報、および表示部１１におけるオブジェクト８０の被操作部位（部位８１ａ）の位置座標が変更され、変更後の位置座標の情報が記憶される（座標情報の書き換えがなされる）。これにより、オブジェクトの姿勢において、特にひねりの姿勢を制御することができる。
(Modification example)
In the first embodiment of the present invention, an example in which the X coordinate, the Y coordinate, and the Z coordinate are used in the movement information of the operating body is shown, but the present invention is not limited to this. For example, not only the X coordinate, the Y coordinate, and the Z coordinate but also the angle θ may be used. In this case, any one of the X coordinate, the Y coordinate, and the Z coordinate may not be used. The information of the operated part (
また、本発明の第１実施形態では、操作体を検出、設定した後に重畳部分を検出し、被操作部位を設定する例を示したが、これに限定されない。例えば、対象物とオブジェクトとが重畳した段階で重畳する対象物を操作体として検出、設定し、オブジェクトの重畳部分を被操作部位として設定してもよい。 Further, in the first embodiment of the present invention, an example is shown in which the superimposed portion is detected after the operating body is detected and set, and the operated portion is set, but the present invention is not limited to this. For example, the object to be superimposed may be detected and set as an operating body at the stage where the object and the object are superimposed, and the overlapping portion of the object may be set as the operated portion.
また、本発明の第１実施形態では、主に人差し指の先端部９０ａがオブジェクトの一部の部位（部位８１ａ）と重畳する例を示したが、これに限定されない。重畳部分検出部１６０は、複数の重畳部分を有する場合に、重畳したと検出してもよい。例えば、２点以上で重畳した場合、ユーザの指はオブジェクトをつまむ形状を有することができ、より自然にオブジェクトの姿勢を制御することができる。
Further, in the first embodiment of the present invention, an example is shown in which the
また、複数部分が重畳したと判定されたときに、通常のオブジェクトの姿勢制御とは異なる付加的な制御を設けてもよい。図１８は、複数部分が重畳したと判定され、操作体が移動したときのユーザインターフェースの一例である。図１８に示すように、この例では、人差し指の先端部９０ａおよび親指の先端部９０ｂがオブジェクトの部位８１（ａ）と重畳している。このとき、人差し指の先端部９０ａおよび親指の先端部９０ｂの移動に合わせて、あらかじめ設定された条件に基づき、オブジェクト８０の部位８１ａも移動し、さらにボーン８２（８２ａ）が伸長する。このように、通常のオブジェクトの姿勢制御とは異なる付加的な制御を行うことによりオブジェクトの姿勢を多様な形態で制御することができる。
Further, when it is determined that a plurality of parts are superimposed, additional control different from the normal posture control of the object may be provided. FIG. 18 is an example of a user interface when it is determined that a plurality of parts are superimposed and the operating body moves. As shown in FIG. 18, in this example, the
なお、部位８１ａに相当する部分を囲むように操作体を動作させて検出してもよいし、部位８１ａに相当する部分を複数の指で囲むようにして、検出してもよい。
The operation body may be operated so as to surround the portion corresponding to the
本発明の第１実施形態では、通知部１７０は、音情報を用いて通知する例を示したが、これに限定されない。例えば、通知部１７０は、重畳部分を検出したときに、端末１０を振動させて通知してもよい。または、重畳部分を検出したときに、端末１０が光を発して通知してもよい。または、重畳部分を検出したときに、文字情報を用いて通知してもよい。または、重畳部分を検出したときに、重畳部分の色を変更することにより強調表示して通知してもよい。また、通知部１７０は、必ずしも用いなくてもよい。
In the first embodiment of the present invention, the
なお、操作体の検出は、視差を用いる方法に限定されない。例えば、対象物の色または形状にもとづいて所定の条件を満たすものを操作体として検出してもよい。 The detection of the operating body is not limited to the method using parallax. For example, an object that satisfies a predetermined condition based on the color or shape of the object may be detected as an operating body.
また、所定の速度を超えて移動する対象物を操作体として検出してもよい。また、対象物が仮想空間に配置された場合の仮想空間の座標とオブジェクトとの仮想空間の座標によって導出される距離が所定の距離よりも小さくなった時に、その対象物を操作体として検出してもよい。 Further, an object moving beyond a predetermined speed may be detected as an operating body. In addition, when the distance derived from the coordinates of the virtual space and the coordinates of the virtual space with the object when the object is placed in the virtual space becomes smaller than a predetermined distance, the object is detected as an operating body. You may.
本発明の第１実施形態では、撮像された画像と、仮想空間のオブジェクトとをマーカーベース位置合わせ法により位置合わせされ、重畳表示された例を示したが、これに限定されない。オブジェクトを含む仮想空間と、撮像画像との位置合わせの方法として、マーカーベース位置合わせ手法のほかに、特定のマーカーを用いない自然特徴ベース位置合わせ手法、モデルベース位置合わせ手法などのビジョンベース位置合わせ手法、センサを用いたセンサベース位置合わせ手法などを適宜用いてもよい。 In the first embodiment of the present invention, an example is shown in which the captured image and the object in the virtual space are aligned by the marker-based alignment method and displayed in an superimposed manner, but the present invention is not limited to this. As a method of aligning the virtual space including the object with the captured image, in addition to the marker-based alignment method, a vision-based alignment method such as a natural feature-based alignment method that does not use a specific marker and a model-based alignment method. A method, a sensor-based alignment method using a sensor, or the like may be appropriately used.
また、本発明の第１実施形態では、拡張現実を用いてオブジェクトを表示する例を示したが、これに限定さない。本発明の一実施形態は、オブジェクトの座標が特定できれば、拡張現実以外にも混合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）などに適用することも可能である。 Further, in the first embodiment of the present invention, an example of displaying an object using augmented reality has been shown, but the present invention is not limited to this. If the coordinates of the object can be specified, one embodiment of the present invention can be applied to mixed reality (MR: Mixed Reality) as well as augmented reality.
また、本発明の第１実施形態では、スマートフォンのような形態を有する平面状の端末の表示部に表示する例を示したが、これに限定されない。例えば、表示するための端末としてゴーグル型の端末を用いてもよい。また、このとき、撮像部１７には、２眼方式のカメラ（ステレオカメラ）が用いられてもよい。これにより、表示される画像をより立体的に表示することができる。
Further, in the first embodiment of the present invention, an example of displaying on a display unit of a flat terminal having a form like a smartphone is shown, but the present invention is not limited to this. For example, a goggle type terminal may be used as a terminal for displaying. At this time, a twin-lens camera (stereo camera) may be used for the
１・・・オブジェクト姿勢制御システム，１０・・・端末，１１・・・表示部，１２・・・制御部，１３・・・記憶部，１４・・・操作部，１５・・・通信部，１６・・・センサ部，１７・・・撮像部，１８・・・スピーカー部，２０・・・サーバ，２１・・・通信部，２２・・・記憶部，２３・・・制御部，２４・・・表示部，５０・・・ネットワーク，６０・・・テーブル，７０・・・シート，７５・・・マーカー，８０・・・オブジェクト，８１・・・部位，８２・・・ボーン，９０・・・手，９０ａ・・・先端部，９０ｂ・・・先端部，９１・・・手，９１ａ・・・先端部，１００・・・オブジェクト姿勢制御部，１１０・・・撮像画像取得部，１２０・・・マーカー検出部，１３０・・・空間定義部，１４０・・・オブジェクト表示部，１５０・・・操作体検出部，１６０・・・重畳部分検出部，１７０・・・通知部，１８０・・・移動情報取得部，１９０・・・オブジェクト座標変更部，１９５・・・第２操作体検出部，２００・・・第２重畳部分検出部 1 ... Object attitude control system, 10 ... Terminal, 11 ... Display unit, 12 ... Control unit, 13 ... Storage unit, 14 ... Operation unit, 15 ... Communication unit, 16 ... Sensor unit, 17 ... Imaging unit, 18 ... Speaker unit, 20 ... Server, 21 ... Communication unit, 22 ... Storage unit, 23 ... Control unit, 24.・ ・ Display unit, 50 ・ ・ ・ network, 60 ・ ・ ・ table, 70 ・ ・ ・ sheet, 75 ・ ・ ・ marker, 80 ・ ・ ・ object, 81 ・ ・ ・ part, 82 ・ ・ ・ bone, 90 ・ ・-Hand, 90a ... tip, 90b ... tip, 91 ... hand, 91a ... tip, 100 ... object attitude control unit, 110 ... captured image acquisition unit, 120. .. Marker detection unit, 130 ... Space definition unit, 140 ... Object display unit, 150 ... Operation body detection unit, 160 ... Superimposition part detection unit, 170 ... Notification unit, 180 ... -Movement information acquisition unit, 190 ... Object coordinate change unit, 195 ... Second operation body detection unit, 200 ... Second superimposition part detection unit
Claims (5)
複数の部位を有するオブジェクトを表す第１画像を撮像部で撮像された第２画像に重畳させて表示部に表示し、
前記オブジェクトと前記第２画像内の操作体との位置関係に基づいて、前記オブジェクトの複数の部位のうち少なくとも一部の被操作部位の位置情報を変化させて前記オブジェクトの姿勢を制御することを実行させるためのオブジェクト姿勢制御プログラム。 The first image representing an object having a plurality of parts on the information processing device is superimposed on the second image captured by the imaging unit and displayed on the display unit.
Controlling the posture of the object by changing the position information of at least a part of the operated parts among the plurality of parts of the object based on the positional relationship between the object and the operating body in the second image. Object attitude control program to be executed.
請求項１に記載のオブジェクト姿勢制御プログラム。 When the position of the operating body and the position of the operated portion overlap at least partially, a process for notifying the user is executed.
The object attitude control program according to claim 1.
請求項１または２に記載のオブジェクト姿勢制御プログラム。 The position of the operated portion is changed based on the change of the position information of the operated body while the position of the operated body and the position of the operated portion overlap at least partially.
The object attitude control program according to claim 1 or 2.
請求項２または３に記載のオブジェクト姿勢制御プログラム。 The position of the operated portion and the position of the operated portion are defined as positions in the coordinate system of the space in which the object is arranged, respectively.
The object attitude control program according to claim 2 or 3.
複数の部位を有するオブジェクトを表す第１画像を撮像部で撮像された第２画像に重畳させて表示部に表示し、
前記オブジェクトと前記第２画像内の操作体との位置関係に基づいて、前記オブジェクトの複数の部位のうち少なくとも一部の被操作部位の位置情報を変化させて前記オブジェクトの姿勢を制御する、情報処理装置。 An information processing device that controls the posture of an object.
The first image representing an object having a plurality of parts is superimposed on the second image captured by the imaging unit and displayed on the display unit.
Information that controls the posture of the object by changing the position information of at least a part of the operated parts among the plurality of parts of the object based on the positional relationship between the object and the operating body in the second image. Processing equipment.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019061945A JP7299478B2 (en) | 2019-03-27 | 2019-03-27 | Object attitude control program and information processing device |
| JP2023093373A JP2023111956A (en) | 2019-03-27 | 2023-06-06 | Object posture control program and information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019061945A JP7299478B2 (en) | 2019-03-27 | 2019-03-27 | Object attitude control program and information processing device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023093373A Division JP2023111956A (en) | 2019-03-27 | 2023-06-06 | Object posture control program and information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020161006A true JP2020161006A (en) | 2020-10-01 |
| JP7299478B2 JP7299478B2 (en) | 2023-06-28 |
Family
ID=72639577
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019061945A Active JP7299478B2 (en) | 2019-03-27 | 2019-03-27 | Object attitude control program and information processing device |
| JP2023093373A Pending JP2023111956A (en) | 2019-03-27 | 2023-06-06 | Object posture control program and information processing device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023093373A Pending JP2023111956A (en) | 2019-03-27 | 2023-06-06 | Object posture control program and information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7299478B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014071499A (en) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | Display device and control method |
| JP2016524262A (en) * | 2013-07-10 | 2016-08-12 | リアル ビュー イメージング リミテッド | 3D user interface |
| JP2018029907A (en) * | 2016-08-26 | 2018-03-01 | 株式会社コロプラ | Information processing method, program for allowing computer to execute the information processing method, and computer |
| JP2019020836A (en) * | 2017-07-12 | 2019-02-07 | 株式会社コロプラ | Information processing method, device, and program for causing computer to execute the method |
-
2019
- 2019-03-27 JP JP2019061945A patent/JP7299478B2/en active Active
-
2023
- 2023-06-06 JP JP2023093373A patent/JP2023111956A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014071499A (en) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | Display device and control method |
| JP2016524262A (en) * | 2013-07-10 | 2016-08-12 | リアル ビュー イメージング リミテッド | 3D user interface |
| JP2018029907A (en) * | 2016-08-26 | 2018-03-01 | 株式会社コロプラ | Information processing method, program for allowing computer to execute the information processing method, and computer |
| JP2019020836A (en) * | 2017-07-12 | 2019-02-07 | 株式会社コロプラ | Information processing method, device, and program for causing computer to execute the method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7299478B2 (en) | 2023-06-28 |
| JP2023111956A (en) | 2023-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6393367B2 (en) | Tracking display system, tracking display program, tracking display method, wearable device using them, tracking display program for wearable device, and operation method of wearable device | |
| CN110476168B (en) | Method and system for hand tracking | |
| KR102595150B1 (en) | Method for controlling multiple virtual characters, device, apparatus, and storage medium | |
| US11755186B2 (en) | Screen capturing method and terminal device | |
| JP2021081757A (en) | Information processing equipment, information processing methods, and program | |
| US10140002B2 (en) | Information processing apparatus, information processing method, and program | |
| US20140071044A1 (en) | Device and method for user interfacing, and terminal using the same | |
| US20210263168A1 (en) | System and method to determine positioning in a virtual coordinate system | |
| WO2022052620A1 (en) | Image generation method and electronic device | |
| JP7078234B2 (en) | How to create a 3D object to be placed in augmented reality space | |
| US20180225290A1 (en) | Searching Image Content | |
| JP5350427B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
| CN110052030B (en) | Image setting method and device of virtual character and storage medium | |
| JP2023099603A (en) | Object posture control program and object posture control system | |
| JP2010205031A (en) | Method, system and program for specifying input position | |
| US20210005014A1 (en) | Non-transitory computer-readable medium, image processing method, and image processing system | |
| JP7299478B2 (en) | Object attitude control program and information processing device | |
| US9319600B2 (en) | Information processing apparatus, information processing method and computer program product | |
| CN110163192B (en) | Character recognition method, device and readable medium | |
| JP7155242B2 (en) | Personal digital assistant | |
| CN114201028B (en) | Augmented reality system and method for anchoring display virtual object thereof | |
| US11294510B2 (en) | Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2D camera | |
| JP6999822B2 (en) | Terminal device and control method of terminal device | |
| JP2022014758A (en) | Information processing device and program | |
| CN111913565A (en) | Virtual content control method, device, system, terminal device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7299478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |