JP2015041325A - Device, method and program of designation object display - Google Patents
Device, method and program of designation object display Download PDFInfo
- Publication number
- JP2015041325A JP2015041325A JP2013173100A JP2013173100A JP2015041325A JP 2015041325 A JP2015041325 A JP 2015041325A JP 2013173100 A JP2013173100 A JP 2013173100A JP 2013173100 A JP2013173100 A JP 2013173100A JP 2015041325 A JP2015041325 A JP 2015041325A
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- light
- user
- display device
- predetermined threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、ユーザが指示した対象物を表示する指示対象物表示装置に関する。 The present invention relates to an indicated object display device that displays an object indicated by a user.
従来から、ロボットに対して指示した物体を移動させる等の動作を行わせる際に、対象物を特定する方法として、対象物を指差しで指定する方法が研究されている。特許文献１は、人間の指差す方向は正確に対象物に向かっているとは限らず、間違って対象物を特定する可能性があるという課題を解決する対象物特定方法を開示している。すなわち、特許文献１に記載された発明は、ユーザの視線方向を示す視線直線と各物品との間の距離に基づいて、物品毎の視線方向確信度を評価し、指差し方向確信度および視線方向確信度に基づいて対象物を特定する。 2. Description of the Related Art Conventionally, a method for specifying an object with a pointing hand has been studied as a method for specifying an object when performing an operation such as moving an object instructed to a robot. Patent Document 1 discloses an object specifying method that solves the problem that the direction in which a human is pointing is not always directed toward an object, and the object may be specified by mistake. That is, the invention described in Patent Document 1 evaluates the gaze direction certainty for each article based on the distance between the gaze straight line indicating the gaze direction of the user and each article, and indicates the pointing direction certainty and gaze. An object is specified based on the direction certainty.
本発明は、ユーザが指示した方向を正確に推定することが困難であることに鑑み、ユーザが指示した方向にある物体に対して光を照射することによって、ユーザに対して指示対象物の情報をフィードバックし、これにより、物体を適切に特定することを可能にする装置および方法を提供する。また、ユーザの指示する方向が正確に対象物に向かっているとは限らないことに鑑み、ユーザの意図を推定し、ユーザが指示していると考えられる物体を表示する装置および方法を提供する。 In view of the difficulty in accurately estimating the direction instructed by the user, the present invention irradiates the object in the direction instructed by the user with light, thereby providing information on the target object to the user. Are provided, thereby providing an apparatus and method that allows an object to be properly identified. In addition, in view of the fact that the direction indicated by the user is not always directed toward the target object, an apparatus and method for estimating the user's intention and displaying an object considered to be indicated by the user are provided. .
本発明の指示対象物表示装置は、カメラと、ユーザの周囲にある物体及びその位置のデータを記憶した記憶部と、ユーザが指示する指示対象物に対して光を照射する発光部と、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記記憶部に記憶されたデータに基づいて、前記物体に対して当該物体を含む所定の領域を定めたときに前記指差し方向と交差する前記所定の領域を有する物体を、前記指示対象物として検出する指示対象物検出部と、前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御する発光制御部とを備える。 The pointing object display device of the present invention includes a camera, a storage unit that stores data of an object around the user and data of the position thereof, a light emitting unit that irradiates light to the pointing object that the user points to, The pointing direction of the user is detected based on an image photographed by the camera, and the pointing is performed when a predetermined area including the object is defined for the object based on the data stored in the storage unit. The pointing object detection unit that detects the object having the predetermined area that intersects the direction as the pointing object, and the light that is radiated to a position where the object surface detected as the pointing object is easily visible A light emission control unit that controls the light emission unit.
このようにユーザの指差し方向にある物体を検出すると、その物体表面の視認しやすい位置に光を照射することにより、指示対象物検出部が検出している物体をユーザに認識させることができる。したがって、もし、光が照射された物体がユーザが意図している物体と異なっている場合には、ユーザは、指差し方向を調整することにより、適切に物体を指示することが可能となる。なお、「物体表面の視認しやすい位置」とは、例えば、物体の中心、フラットな面、無地の面、ユーザに対して垂直な面、などである。 When an object in the pointing direction of the user is detected in this way, the user can recognize the object detected by the pointing object detection unit by irradiating light on a position where the object surface is easily visible. . Therefore, if the object irradiated with light is different from the object intended by the user, the user can appropriately indicate the object by adjusting the pointing direction. The “position where the object surface is easily visible” is, for example, the center of the object, a flat surface, a plain surface, a surface perpendicular to the user, and the like.
本発明の指示対象物表示装置は、前記カメラにて撮影した画像に基づいて、ユーザの周囲にある物体を検出し、検出した物体およびその位置のデータを前記記憶部に記憶してもよい。 The pointing object display device of the present invention may detect an object around the user based on an image photographed by the camera, and store the detected object and its position data in the storage unit.
この構成により、物体の位置が変化した場合にも、適切に指示対象物を特定することができる。 With this configuration, even when the position of the object changes, it is possible to appropriately specify the pointing object.
本発明の指示対象物表示装置において、前記所定の領域は、前記物体の実際の大きさを超える拡張領域を含んでもよい。 In the pointing object display device according to the present invention, the predetermined area may include an extended area exceeding an actual size of the object.
このように指差し方向と交差する所定の領域として物体の拡張領域を含むことにより、ユーザの指差し方向が正確に物体と交差していない場合であっても、ユーザの指差し方向にある物体を指示対象物として検出することができる。 By including the extended area of the object as the predetermined area that intersects the pointing direction in this way, even if the pointing direction of the user does not accurately intersect the object, the object in the pointing direction of the user Can be detected as the pointing object.
また、この拡張領域は、鉛直方向より水平方向に大きく拡張した領域であってもよい。人間は指差し方向を水平に動かす場合が多いので、拡張領域を水平方向に大きくすることにより、指差し方向にある物体を適切に捉えることができる。 In addition, this extended region may be a region that is greatly expanded in the horizontal direction than in the vertical direction. Since humans often move the pointing direction horizontally, it is possible to appropriately capture an object in the pointing direction by enlarging the extended area in the horizontal direction.
本発明の指示対象物表示装置は、前記物体が所定の閾値以上の大きさを有する場合に、前記物体の存在領域を前記所定の領域としてもよい。 The pointing object display device of the present invention may set the presence area of the object as the predetermined area when the object has a size equal to or larger than a predetermined threshold.
指示対象物である物体が大きい場合には、指示対象物のいずれかの場所を指差すことは容易であり、指差し方向が指示対象物からずれることは少ない。物体が大きいにもかかわらず、指差し方向が物体からずれている場合には、ユーザはその物体を指示対象物としていないと考えられる。したがって、物体が所定の閾値以上の大きさを有する場合には拡張領域を設定せず、物体の存在領域自体を所定の領域とすることにより、ユーザの意図を適切に反映した指示対象物の表示を行える。 When the object that is the pointing object is large, it is easy to point at any location of the pointing object, and the pointing direction is less likely to deviate from the pointing object. If the pointing direction is deviated from the object even though the object is large, it is considered that the user does not set the object as an instruction target. Therefore, when the object has a size equal to or larger than a predetermined threshold, the extended target area is not set, and the object presence area itself is set as the predetermined area, thereby displaying the indication target object appropriately reflecting the user's intention. Can be done.
本発明の指示対象物表示装置において、前記指示対象物検出部は、前記指差し方向に複数の物体を検出した場合に、前記複数の物体の中で、（ａ）前記指差し方向との交差位置が最も中心近くにある物体、あるいは（ｂ）ユーザの最も近くにある物体を指示対象物として検出してもよい。 In the pointing object display device of the present invention, when the pointing object detection unit detects a plurality of objects in the pointing direction, among the plurality of objects, (a) an intersection with the pointing direction An object whose position is closest to the center or (b) an object closest to the user may be detected as the pointing object.
この構成により、指差し方向に複数の物体が検出された場合に、ユーザの意図に合った物体を指示対象物として検出できる。 With this configuration, when a plurality of objects are detected in the pointing direction, an object that matches the user's intention can be detected as the pointing object.
本発明の指示対象物表示装置は、前記所定の領域内の位置と前記物体表面の位置とを対応付けたテーブルを有し、前記発光制御部は、前記テーブルを参照して、前記指差し方向と前記所定の領域とが交差する位置を前記物体表面の位置に変換した位置に光を照射するように前記発光部を制御してもよい。 The pointing object display device of the present invention has a table in which the position in the predetermined area and the position of the object surface are associated with each other, and the light emission control unit refers to the table and refers to the pointing direction The light emitting unit may be controlled to irradiate light to a position obtained by converting a position where the predetermined area intersects the predetermined area into a position on the object surface.
このようにユーザの指差し方向に基づいて物体表面における光の照射位置に決定することにより、光が照射されている物体を見つけやすくすることができる。例えば、照射位置を指差し位置（指差し方向との交差位置）よりも物体の中心の方に寄せることで、指差し位置が物体の縁部や物体の拡張領域にあったとしても物体の中心付近に光を照射でき、指示対象物を見つけやすくなる。 Thus, by determining the irradiation position of the light on the object surface based on the pointing direction of the user, it is possible to easily find the object irradiated with the light. For example, by moving the irradiation position closer to the center of the object than the pointing position (intersection with the pointing direction), even if the pointing position is at the edge of the object or the extended area of the object, Light can be irradiated in the vicinity, making it easier to find the target object.
本発明の指示対象物表示装置において、前記発光制御部は、前記指差し方向と前記所定の領域とが交差する位置にかかわらず、前記物体表面の所定の位置に光を照射するように前記発光部を制御してもよい。 In the pointing object display device of the present invention, the light emission control unit emits light so as to irradiate a predetermined position on the object surface regardless of a position where the pointing direction and the predetermined area intersect. The unit may be controlled.
このように物体表面の所定の位置が照射されることにより、指示対象物を見つけやすくできる。なお、所定の位置は、物体の中心であってもよい。 By irradiating a predetermined position on the object surface in this way, it is possible to easily find the pointing object. The predetermined position may be the center of the object.
本発明の指示対象物表示装置は、前記発光部が移動体に搭載されていてもよい。ユーザの手の位置と発光部の位置が異なるので、ユーザと指示対象物との間には障害物がない場合でも、発光部と指示対象物との間に障害物があることがあり得る。発光部を移動可能とする構成により、ユーザが物体を指差しているのに、その物体が指示対象物として表示されないという不都合を防止できる。 In the pointing object display device of the present invention, the light emitting unit may be mounted on a moving body. Since the position of the user's hand and the position of the light emitting unit are different, there may be an obstacle between the light emitting unit and the pointing object even when there is no obstacle between the user and the pointing object. With the configuration in which the light emitting unit is movable, it is possible to prevent the inconvenience that the object is not displayed as the instruction target object even though the user is pointing at the object.
本発明の指示対象物表示装置において、前記指示対象物検出部は、一定時間内における前記指差し方向の動きを検出し、前記指差し方向の動きが所定の閾値以内の場合には、指差し方向が変化していないと判定してもよい。 In the pointing object display device of the present invention, the pointing object detection unit detects a movement in the pointing direction within a predetermined time, and when the movement in the pointing direction is within a predetermined threshold, It may be determined that the direction has not changed.
この構成により、例えば、ユーザの指がわずかに震えただけの場合等に、光を照射する位置を動かさないようにし、ユーザの意図しない照射位置の動きを抑えることができる。 With this configuration, for example, when the user's finger is slightly shaken, the position where the light is irradiated is not moved, and the movement of the irradiation position unintended by the user can be suppressed.
本発明の指示対象物表示装置において、前記指示対象物検出部が、ユーザの指先が所定の閾値以上の速度、または所定の閾値以上の加速度で移動していることを検出した場合には、前記発光制御部は、前記指差し方向と前記物体とが交差する位置に光を照射するように前記発光部を制御してもよい。 In the pointing object display device of the present invention, when the pointing object detection unit detects that the user's fingertip is moving at a speed equal to or higher than a predetermined threshold or an acceleration equal to or higher than a predetermined threshold, The light emission control unit may control the light emission unit so that light is emitted to a position where the pointing direction and the object intersect.
指先が早く動いているときには、ユーザが指示したいと意図する物体に向けて指示方向を動かしており、その移動途中にある物体を指示したいわけではないと考えられる。したがって、このような場合には、指差し位置から物体を視認しやすい位置（例えば、物体の中心付近など）に変更して光を照射するのではなく、単に指差し位置を表示することにより、ユーザの意図に適った表示を行える。 When the fingertip is moving quickly, it is considered that the user is moving the pointing direction toward the object that the user wants to point to and does not want to point to an object that is in the middle of the movement. Therefore, in such a case, instead of irradiating the light by changing the position from the pointing position to a position where the object is easily visible (for example, near the center of the object), simply displaying the pointing position, A display suitable for the user's intention can be performed.
本発明の指示対象物表示装置において、前記指示対象物検出部が、ユーザの指先が所定の閾値以上の速度、または所定以上の加速度で移動していることを検出した場合には、前記発光制御部は光の照射を停止するように前記発光部を制御してもよい。 In the pointing object display device of the present invention, when the pointing object detection unit detects that the user's fingertip is moving at a speed equal to or higher than a predetermined threshold or an acceleration higher than a predetermined level, the light emission control is performed. The unit may control the light emitting unit to stop the light irradiation.
指先が早く動いているときには、その移動途中にある物体を指示したいわけではないと考えられるので、光の照射を停止する構成とすることにより、指先が素早く動いているときの処理を簡単にすることができる。 When the fingertip is moving quickly, it is considered that you do not want to indicate an object that is in the middle of its movement, so it is easy to process when the fingertip is moving quickly by adopting a configuration that stops the irradiation of light. be able to.
本発明の指示対象物表示装置において、前記指示対象物検出部は、前記指先の移動軌跡の曲率半径が所定の閾値より大きい場合には、ユーザから所定の距離以上離れた場所にある物体を前記指示対象物として検出してもよい。 In the pointing object display device of the present invention, the pointing object detection unit may detect an object located at a predetermined distance or more away from a user when the radius of curvature of the movement locus of the fingertip is larger than a predetermined threshold. You may detect as an instruction | indication target object.
このように指先の移動軌跡の曲率半径が大きい場合には、肘を伸ばして肩を回すことによって指差し方向を変え、遠くの物体を指示しようとしていると考えられる。したがって、この場合には、遠くの物体を指示対象物として検出することにより、ユーザの意図に合った物体を指示対象物として検出できる。 Thus, when the radius of curvature of the movement locus of the fingertip is large, it is considered that the finger pointing direction is changed by extending the elbow and turning the shoulder to indicate a distant object. Therefore, in this case, an object that matches the user's intention can be detected as the pointing object by detecting a distant object as the pointing object.
本発明の指示対象物表示装置は、ユーザが指示する方向に光を照射する発光部と、前記発光部の照射開始の指示を受け付ける入力部と、前記入力部にて照射開始の指示を受け付けると、最初に照射角度が所定の閾値より大きい光を発光させた後に、照射角度が所定の閾値以下の光を発光させるように、前記発光部を制御する発光制御部とを備える。 The pointing object display device of the present invention receives a light emitting unit that irradiates light in a direction designated by a user, an input unit that receives an instruction to start irradiation of the light emitting unit, and an irradiation start instruction from the input unit. And a light emission control unit that controls the light emitting unit so that light having an irradiation angle larger than a predetermined threshold is first emitted and then light having an irradiation angle equal to or smaller than the predetermined threshold is emitted.
このように照射開始時には照射角度が所定の閾値より大きい光を発光することにより、どの方向を指しているかを容易に見つけることができるようになる。そして、どの方向を指しているかをユーザが認識した後は、照射角度を所定の閾値以下として、指示対象物の物体を適切に指示することができる。なお、照射開始の指示を受け付ける入力部は、例えば、電源スイッチでもよいし、照射を指示するスイッチであってもよい。 Thus, by emitting light having an irradiation angle larger than a predetermined threshold at the start of irradiation, it is possible to easily find out which direction the light is pointing. Then, after the user recognizes which direction he is pointing, the object of the pointing object can be appropriately instructed with the irradiation angle set to a predetermined threshold value or less. Note that the input unit that receives an instruction to start irradiation may be, for example, a power switch or a switch that instructs irradiation.
本発明の指示対象物表示装置において、前記発光制御部は、照射角度が所定の閾値より大きい光を所定の閾値以下の光に切り替える際に、照射角度を徐々に小さくしてもよい。この構成により、ユーザがいったん認識した方向を見失う可能性を低減できる。 In the pointing object display device of the present invention, the light emission control unit may gradually reduce the irradiation angle when switching light having an irradiation angle larger than a predetermined threshold value to light having a predetermined threshold value or less. With this configuration, the possibility of losing sight of the direction once recognized by the user can be reduced.
本発明の指示対象物表示装置は、棒状の筐体を有し、前記発光部は、前記筐体の長手方向に光を照射する向きで、前記棒状の筐体に設けられていてもよい。 The pointing object display device of the present invention may have a rod-shaped housing, and the light emitting unit may be provided in the rod-shaped housing in a direction in which light is emitted in a longitudinal direction of the housing.
この構成により、棒状の筐体が延びる方向に光を照射するので、棒状の筐体の端部を指示対象物の方向に向けるという直感的に理解しやすい方法で、指示対象物を照射できる。 With this configuration, light is emitted in the direction in which the rod-shaped casing extends, so that the pointing object can be irradiated by an intuitively easy method of directing the end of the rod-shaped casing toward the pointing object.
本発明の指示対象物表示装置において、前記筐体は、加速度センサーを備え、前記発光制御部は、前記照射開始の指示を受け付けてから前記加速度センサーにより検出した加速度が所定の閾値以下になるまで照射角度が所定の閾値より大きい光を発光させ、前記加速度センサーにより検出した加速度が所定の閾値以下になった後は、照射角度が所定の閾値以下の光を発光させてもよい。 In the pointing object display device according to the present invention, the housing includes an acceleration sensor, and the light emission control unit receives an acceleration detected by the acceleration sensor after receiving the irradiation start instruction. Light having an irradiation angle greater than a predetermined threshold value may be emitted, and light having an irradiation angle equal to or less than a predetermined threshold value may be emitted after the acceleration detected by the acceleration sensor is equal to or lower than the predetermined threshold value.
光がどの方向に照射されているか分からないときには、ユーザは、筐体を振ってみて照射されている場所を探す行動をとる場合がある。このようなユーザの行動特性に鑑みると、筐体の揺れが収まるまではユーザが照射方向を探していると考えられるので、加速度が所定の閾値以下になるまで照射角度の大きい光を発光してユーザに照射方向を認識させやすくすることができる。また、ユーザがいったん照射方向を認識し、筐体の揺れが収まった後は、照射角度が小さい光により指示対象物を適切に指示できるようにすることができる。 When it is not known in which direction the light is emitted, the user may take an action of looking for a place where the light is irradiated by shaking the housing. In view of such user behavior characteristics, it is considered that the user is looking for the irradiation direction until the shaking of the housing is settled, so light with a large irradiation angle is emitted until the acceleration falls below a predetermined threshold. It is possible to make the user easily recognize the irradiation direction. In addition, after the user recognizes the irradiation direction once and the shaking of the housing has stopped, it is possible to appropriately indicate the pointing object with light having a small irradiation angle.
本発明の指示対象物表示装置は、カメラを備え、前記発光制御部は、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記指差し方向に向けて光を照射するように前記発光部を制御してもよい。 The pointing object display device of the present invention includes a camera, and the light emission control unit detects a pointing direction of the user based on an image photographed by the camera and irradiates light toward the pointing direction. The light emitting unit may be controlled as described above.
この構成により、ユーザの指差し方向によって指示方向を検出して、その検出方向を照射することができるが、この場合にも、最初に照射角度の大きい光を用いることで指差し方向を見つけやすくすることができる。なお、この場合には、照射開始の指示を受け付ける入力部は、例えば、ユーザの所定のジェスチャーを照射開始の指示として検出してもよい。 With this configuration, it is possible to detect the indication direction according to the pointing direction of the user and irradiate the detection direction, but in this case as well, it is easy to find the pointing direction by using light with a large irradiation angle first. can do. In this case, the input unit that receives an instruction to start irradiation may detect, for example, a user's predetermined gesture as an instruction to start irradiation.
本発明の指示対象物表示装置において、前記発光制御部は、所定時間内における前記指差し方向の変化が所定の閾値以下になるまで、照射角度が所定の閾値より大きい光を発光させ、所定時間内における前記指差し方向の変化が所定の閾値以下になった後は、照射角度が所定の閾値以下の光を発光させてもよい。 In the pointing object display device of the present invention, the light emission control unit emits light having an irradiation angle greater than a predetermined threshold until a change in the pointing direction within a predetermined time becomes equal to or less than a predetermined threshold, for a predetermined time. After the change in the pointing direction in the light falls below a predetermined threshold, light whose irradiation angle is below the predetermined threshold may be emitted.
光がどの方向に照射されているか分からないときには、ユーザは、指差し方向を変えてみて照射されている場所を探す行動をとる。このようなユーザの行動特性に鑑みると、指差し方向の揺れが収まるまでは、ユーザが照射方向を探していると考えられるので、所定時間内における指差し方向の変化が所定の閾値以下になるまで照射角度の大きい光を発光してユーザに照射方向を認識させやすくすることができる。また、ユーザがいったん照射方向を認識し、指差し方向の変化が収まった後は、照射角度が小さい光により指示対象物を適切に指示できるようにすることができる。 When the user does not know in which direction the light is radiated, the user changes the pointing direction and searches for a place where the light is radiated. In view of such behavioral characteristics of the user, it is considered that the user is looking for the irradiation direction until the shaking in the pointing direction stops, so the change in the pointing direction within a predetermined time is equal to or less than a predetermined threshold value. It is possible to make the user easily recognize the irradiation direction by emitting light having a large irradiation angle. Further, once the user recognizes the irradiation direction and the change in the pointing direction is settled, it is possible to appropriately indicate the pointing object with light having a small irradiation angle.
本発明の指示対象物表示方法は、上記した指示対象物表示装置が行う各ステップを実行する方法であり、本発明のプログラムは、上記した指示対象物表示装置が行う各ステップをコンピュータに実行させる方法である。これらの方法及びプログラムによっても、本発明の指示対象物表示装置と同様に、指示されている物体をユーザに認識させることができ、もし、ユーザが意図している物体と異なっている場合には、ユーザは、指差し方向を調整することにより、適切に物体を指示することが可能となる。 The pointing object display method of the present invention is a method for executing each step performed by the above-described pointing object display device, and the program of the present invention causes a computer to execute each step performed by the above-described pointing object display device. Is the method. These methods and programs also allow the user to recognize the indicated object as in the case of the pointing object display device of the present invention. If the object is different from the object intended by the user, The user can appropriately indicate an object by adjusting the pointing direction.
本発明によれば、ユーザの指差し方向にある物体を検出すると、その物体表面の視認しやすい位置に光を照射することにより、指示対象物検出部が検出している物体をユーザに認識させることができるという効果を有する。 According to the present invention, when an object in the pointing direction of the user is detected, the user recognizes the object detected by the pointing object detection unit by irradiating light to a position where the object surface is easily visible. It has the effect of being able to.
以下、本発明の実施の形態にかかる指示対象物表示装置について、図面を参照して説明する。
［第１の実施の形態］
図１は、実施の形態の指示対象物表示装置１の構成を示す図である。指示対象物表示装置１は、カメラ１０と、制御部１１と、記憶部１５と、発光部１６とを有している。
Hereinafter, an indication object display device according to an embodiment of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a diagram illustrating a configuration of a pointing object display device 1 according to an embodiment. The pointing object display device 1 includes a camera 10, a control unit 11, a storage unit 15, and a light emitting unit 16.
記憶部１５には、ユーザがいる環境、すなわち、ユーザの周囲にある物体、当該物体のある位置および姿勢などのデータを記憶する。記憶部１５に記憶するデータは、ユーザの周囲の物体が静的なもの（例えば、壁、天井、キッチン、食器棚、エアコン等）の場合にはあらかじめデータを取得して記憶しておいてもよい。ユーザの周囲にある物体が移動可能なもの（リモコン、本、コップ等）の場合には、指示対象物の表示を行う際に、カメラ１０にてユーザの周囲の環境を撮影し、撮影した画像を解析することによって物体のデータを取得して記憶することとしてもよい。また、ユーザの周囲の物体が静的なものと動的なものの組合せの場合、静的なものについてはあらかじめ記憶部１５に記憶しておき、動的なものは指示対象物の表示を行う際に記憶することとしてもよい。 The storage unit 15 stores data such as an environment in which the user is present, that is, an object around the user, a position and posture of the object, and the like. The data stored in the storage unit 15 may be acquired and stored in advance if the object around the user is static (for example, a wall, ceiling, kitchen, cupboard, air conditioner, etc.). Good. When the object around the user is movable (remote controller, book, glass, etc.), the camera 10 captures the environment around the user when displaying the target object. It is good also as acquiring and memorize | storing the data of an object by analyzing. When the objects around the user are a combination of a static object and a dynamic object, the static object is stored in the storage unit 15 in advance, and the dynamic object is used for displaying the pointing object. It is good also as memorizing.
カメラ１０は、撮影した画像からユーザの指差し方向を検出するため、複数の方向から物体を撮影する。複数の方向から物体を撮影するために、複数台のカメラ１０を備えることとしてもよいし、カメラ１０を移動体に搭載し、カメラ１０を移動して複数の方向から撮影することとしてもよい。 The camera 10 captures an object from a plurality of directions in order to detect the pointing direction of the user from the captured image. In order to photograph an object from a plurality of directions, a plurality of cameras 10 may be provided, or the camera 10 may be mounted on a moving body and the camera 10 may be moved to photograph from a plurality of directions.
発光部１６は、光を照射する機能を有する。発光部１６は、例えば、レーザーダイオードであり、照射方向を変更可能な構成を有している。また、発光部１６は、移動体に搭載されており、その発光の起点を変えることができる。 The light emitting unit 16 has a function of irradiating light. The light emitting unit 16 is, for example, a laser diode and has a configuration capable of changing the irradiation direction. Moreover, the light emission part 16 is mounted in the moving body, and can change the starting point of the light emission.
制御部１１は、カメラ１０にて撮影した画像を取得する撮影画像取得部１２と、撮影画像からユーザの指差し方向を求め、ユーザの指差し方向にある物体（つまり、指差し方向の延長線上にある物体）を指示対象物として検出する指示対象物検出部１３と、指示対象物に光を照射するように発光部１６を制御する発光制御部１４を有している。 The control unit 11 obtains a captured image acquisition unit 12 that acquires an image captured by the camera 10, and obtains the pointing direction of the user from the captured image, and an object in the pointing direction of the user (that is, on an extension line in the pointing direction) A target object detection unit 13 that detects the target object) and a light emission control unit 14 that controls the light emitting unit 16 to irradiate the instruction target with light.
指示対象物検出部１３は、まず、撮影画像を解析してユーザの指差し方向を求める。具体的には、ユーザの指先が空間座標内のどこにあって、どの方向を向いているかを計算する。撮影画像からユーザの指差し方向を求める方法としては、例えば、上に挙げた特許文献１に記載された方法や、Kaoning Hu, et al. "Hand Pointing Estimation for Human Computer Interaction Based on Two Orthogonal-Views" ICPR '10 Proceeding of the 2010 20th International Conference on Pattern Recognitionに記載された方法等の公知の方法を採用することができる。 The instruction target detection unit 13 first analyzes the captured image to obtain the pointing direction of the user. Specifically, it is calculated where and where the user's fingertip is in the spatial coordinates. As a method for obtaining the pointing direction of the user from the photographed image, for example, the method described in Patent Document 1 cited above, Kaoning Hu, et al. “Hand Pointing Estimation for Human Computer Interaction Based on Two Orthogonal-Views” A known method such as the method described in ICPR '10 Proceeding of the 2010 20th International Conference on Pattern Recognition can be adopted.
指示対象物検出部１３は、記憶部１５から物体に関するデータを読み出し、ユーザの指差し方向と交差する物体を求め、当該物体を指示対象物として検出する。図２（ａ）は、指差し方向が交差する物体の例を示す図である。このように指差し方向が物体に交差する場合に、その物体が指示対象物となる。 The instruction target detection unit 13 reads data related to the object from the storage unit 15, obtains an object that intersects the user's pointing direction, and detects the object as the instruction target. FIG. 2A is a diagram illustrating an example of an object in which the pointing directions intersect. In this way, when the pointing direction intersects an object, the object becomes an instruction target.
指示対象物検出部１３は、指差し方向が物体の近傍を通る場合にも、当該物体を指示対象物として検出する機能を有する。指示対象物検出部１３は、物体に対して、その物体の実際の大きさよりも大きい拡張領域を設定する。拡張領域の大きさは、例えば、物体の実際の大きさに対して所定の倍率（例えば、１．５倍）を乗じた大きさとすることができる。拡張領域と物体の存在領域を合わせた領域が、本発明の「物体を含む所定の領域」に相当する。 The pointing object detection unit 13 has a function of detecting the object as the pointing object even when the pointing direction passes near the object. The instruction target detection unit 13 sets an expanded area larger than the actual size of the object. The size of the extended region can be set to a size obtained by multiplying the actual size of the object by a predetermined magnification (for example, 1.5 times), for example. A region obtained by combining the extension region and the existence region of the object corresponds to the “predetermined region including the object” of the present invention.
図２（ｂ）は、指差し方向が物体の拡張領域と交差する例を示す図である。図２（ｂ）に示すように指差し方向が物体の拡張領域と交差する場合にも、指示対象物検出部１３は、当該物体を指示対象物として検出する。 FIG. 2B is a diagram illustrating an example in which the pointing direction intersects the extended region of the object. Even when the pointing direction intersects the extended area of the object as shown in FIG. 2B, the pointing object detection unit 13 detects the object as the pointing object.
また、指示対象物検出部１３は、指差し方向に複数の物体がある場合には、指差し方向との交差位置が最も中心近くにある物体を指示対象物として検出する。図３に示すように指差し方向に物体Ａと物体Ｂがあり、ユーザの指差し方向の延長線が物体Ａの拡張領域と交差し、物体Ｂの存在領域と交差しているとする。図３を参照すると、それぞれの交差位置と物体中心との距離を見ると、物体Ｂとの交差位置の方が物体Ａとの交差位置よりも、物体中心に近い。このような場合には、指示対象物検出部１３は、物体Ｂを指示対象物として検出する。これにより、複数の物体がある場合に、ユーザの意図に合った物体を指示対象物として検出することができる。 In addition, when there are a plurality of objects in the pointing direction, the pointing object detection unit 13 detects an object whose intersection with the pointing direction is closest to the center as the pointing object. As illustrated in FIG. 3, it is assumed that there are an object A and an object B in the pointing direction, and an extension line in the pointing direction of the user intersects with the extension area of the object A and intersects with the existence area of the object B. Referring to FIG. 3, when the distance between each intersection position and the object center is viewed, the intersection position with the object B is closer to the object center than the intersection position with the object A. In such a case, the pointing object detection unit 13 detects the object B as the pointing object. Thereby, when there are a plurality of objects, an object suitable for the user's intention can be detected as an instruction target.
発光制御部１４は、指示対象物として検出された物体に対して光を照射するように、発光部１６の発光方向を制御する機能を有する。発光制御部１４は、指示対象物である物体の表面の視認しやすい位置に光を照射する。本実施の形態では、発光制御部１４は、指差し方向と物体（またはその拡張領域）との交差位置に対して照射するのではなく、交差位置から物体の中心に寄った位置に対して光を照射する。これにより、ユーザは、物体を見たときに光が照射されているかどうかを容易に判断することができる。 The light emission control unit 14 has a function of controlling the light emitting direction of the light emitting unit 16 so as to irradiate light to an object detected as an instruction target. The light emission control part 14 irradiates light to the position where the surface of the object which is an instruction | indication target object is easy to visually recognize. In the present embodiment, the light emission control unit 14 does not irradiate the intersection position between the pointing direction and the object (or its extended region), but emits light to the position near the center of the object from the intersection position. Irradiate. Thereby, the user can easily determine whether or not light is irradiated when the object is viewed.
図４は、指差し方向が交差する位置と、発光による照射位置との関係を示す図である。図４の左側の図は拡張領域を含む所定の領域の座標系を示し、右側の図は物体の座標系を示す図である。なお、図４では、簡単のため２次元座標で説明しているが、実際には３次元座標である。発光制御部１４は、照射位置を物体の中心（座標系の原点）に寄せるため、指差し方向の交差位置の座標値に２／３を乗じて、照射位置の座標を計算する。本実施の形態の指示対象物表示装置１の記憶部１５には、交差位置の座標を照射位置の座標に変換するためのテーブルが記憶されている。 FIG. 4 is a diagram illustrating a relationship between a position where the pointing directions intersect and an irradiation position by light emission. 4 shows the coordinate system of a predetermined area including the extended area, and the right figure shows the coordinate system of the object. In FIG. 4, for the sake of simplicity, two-dimensional coordinates are used for explanation, but actually three-dimensional coordinates are used. The light emission control unit 14 calculates the coordinates of the irradiation position by multiplying the coordinate value of the intersection position in the pointing direction by 2/3 in order to bring the irradiation position to the center of the object (the origin of the coordinate system). The storage unit 15 of the pointing object display device 1 of the present embodiment stores a table for converting the coordinates of the intersection position into the coordinates of the irradiation position.
図５は、実施の形態の指示対象物表示装置１のハードウェア構成を示す図である。指示対象物表示装置１は、カメラ１０および発光部１６に接続されたコンピュータ２０によって構成される。コンピュータ２０は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、ＨＤＤ２５、外部インターフェース（Ｉ／Ｆ）２６，２７を備え、これらの構成要素がデータバス２８によって接続されている。カメラ１０は外部インターフェース２６に接続され、発光部１６は外部インターフェース２７に接続される。 FIG. 5 is a diagram illustrating a hardware configuration of the pointing object display device 1 according to the embodiment. The pointing object display device 1 includes a computer 20 connected to the camera 10 and the light emitting unit 16. The computer 20 includes a CPU 21, a RAM 22, a ROM 23, an HDD 25, and external interfaces (I / F) 26 and 27, and these components are connected by a data bus 28. The camera 10 is connected to the external interface 26, and the light emitting unit 16 is connected to the external interface 27.
なお、指示対象物表示装置１がロボット装置等と共に用いられる場合には、ロボット装置も外部インターフェースに接続される。ＲＯＭ２３には、上述した制御部１１の機能を実現するプログラム２４が記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することにより、制御部１１の機能が実現される。このようなプログラム２４も本発明の範囲に含まれる。 When the pointing object display device 1 is used with a robot device or the like, the robot device is also connected to an external interface. The ROM 23 stores a program 24 that realizes the function of the control unit 11 described above, and the function of the control unit 11 is realized by the CPU 21 reading and executing the program 24. Such a program 24 is also included in the scope of the present invention.
図６は、実施の形態の指示対象物表示装置１の動作を示すフローチャートである。指示対象物表示装置１は、まず、カメラ１０にてユーザを撮影し（Ｓ１）、指示対象物検出部１３にて、撮影した画像からユーザの指差し方向を検出する（Ｓ２）。続いて、指示対象物検出部１３は、記憶部１５からユーザの周囲にある物体に関するデータを読み出し、物体に対して定めた所定の領域がユーザの指差し方向と交差する物体を指示対象物として求める（Ｓ３）。次に、指示対象物表示装置１の発光制御部１４は、指差し方向と物体との交差位置から物体への照射位置を計算し（Ｓ４）、発光部１６を制御して照射位置に向けて発光する（Ｓ５）。指示対象物表示装置１は、以上の処理を繰り返し行う。 FIG. 6 is a flowchart illustrating the operation of the pointing object display device 1 according to the embodiment. First, the indication object display device 1 images the user with the camera 10 (S1), and the indication object detection unit 13 detects the pointing direction of the user from the captured image (S2). Subsequently, the instruction target detection unit 13 reads data related to an object around the user from the storage unit 15, and uses an object whose predetermined area defined for the object intersects the user's pointing direction as the instruction target. Obtain (S3). Next, the light emission control unit 14 of the pointing object display device 1 calculates the irradiation position on the object from the intersection position of the pointing direction and the object (S4), and controls the light emitting unit 16 toward the irradiation position. Light is emitted (S5). The instruction target object display device 1 repeatedly performs the above processing.
これにより、ユーザが指差し方向を動かした場合には、指示対象物表示装置１は、ユーザの指差し方向に基づいて物体を検出し、その物体への照射位置を求めて照射を行うので、ユーザの指差し方向の変化に応じて、物体への照射位置も変化していく。したがって、ユーザは照射位置を見ながら、指差し方向を変えることによって、所望の物体を適切に指示することができる。 Thereby, when the user moves the pointing direction, the pointing object display device 1 detects an object based on the pointing direction of the user and performs irradiation by obtaining an irradiation position on the object. As the user's pointing direction changes, the irradiation position on the object also changes. Therefore, the user can appropriately indicate a desired object by changing the pointing direction while viewing the irradiation position.
また、図４を用いて説明した内容から分かるように、本実施の形態では、物体の近傍の領域を指差すことにより物体の表面上に光が照射されるので、物体を指示するために指差し方向を動かしていくと、指差し方向が物体に近づいたときに照射位置が物体に吸いつくような動きをする。ユーザは、指差し方向を厳密に物体の方向に向けなくてもよいので、簡単に所望の物体を指示することができる。 In addition, as can be seen from the contents described with reference to FIG. 4, in this embodiment, light is emitted onto the surface of the object by pointing to an area near the object. As the pointing direction is moved, the irradiation position moves toward the object when the pointing direction approaches the object. Since the user does not have to point the pointing direction strictly toward the object, the user can easily indicate a desired object.
［第２の実施の形態］
次に、第２の実施の形態の指示対象物表示装置について説明する。第２の実施の形態の指示対象物表示装置の基本的な構成は、第１の実施の形態の指示対象物表示装置１と同じであるが、第２の実施の形態では、ユーザの指先の震えによって照射位置が震えないような工夫を行った点が異なる。
[Second Embodiment]
Next, the pointing object display device according to the second embodiment will be described. The basic configuration of the pointing object display device of the second embodiment is the same as that of the pointing object display device 1 of the first embodiment. However, in the second embodiment, the fingertip of the user's fingertip is the same. The difference is that the irradiation position is not shaken by the tremor.
図７は、第２の実施の形態の指示対象物表示装置の動作を示すフローチャートである。指示対象物表示装置は、まず、カメラ１０にてユーザを撮影し（Ｓ１１）、指示対象物検出部１３にて、撮影した画像からユーザの指差し方向を検出し（Ｓ１２）、求めた指差し方向のデータを記憶部１５に記憶する（Ｓ１３）。 FIG. 7 is a flowchart illustrating the operation of the pointing object display device according to the second embodiment. First, the pointing object display device shoots the user with the camera 10 (S11), and the pointing object detection unit 13 detects the pointing direction of the user from the captured image (S12). The direction data is stored in the storage unit 15 (S13).
次に、第２の実施の形態の指示対象物表示装置は、直前の所定時間（例えば、０．３秒）内における指差し方向のデータを記憶部１５から読み出し、指差し方向の動きの量が所定の閾値（例えば、１度）より大きいか否かを判定する（Ｓ１４）。その結果、指差しの動きの量が所定の閾値以内である場合には（Ｓ１４でＮＯ）、ユーザを撮影して（Ｓ１１）、ユーザの指差し方向を検出する処理（Ｓ１２）に戻る。 Next, the pointing object display device according to the second embodiment reads the data in the pointing direction within the immediately preceding predetermined time (for example, 0.3 seconds) from the storage unit 15, and the amount of movement in the pointing direction Is greater than a predetermined threshold (for example, 1 degree) (S14). As a result, when the amount of pointing motion is within the predetermined threshold (NO in S14), the user is photographed (S11), and the process returns to the processing for detecting the pointing direction of the user (S12).
指差しの動きの量が所定の閾値より大きい場合（Ｓ１４でＹＥＳ）、指示対象物検出部１３は、記憶部１５からユーザの周囲にある物体に関するデータを読み出し、物体に対して定めた所定の領域がユーザの指差し方向と交差する物体を指示対象物として求める（Ｓ１５）。次に、指示対象物表示装置の発光制御部１４は、指差し方向と物体との交差位置から物体への照射位置を計算し（Ｓ１６）、発光部１６を制御して照射位置に向けて発光する（Ｓ１７）。指示対象物表示装置は、以上の処理を繰り返し行う。 When the amount of pointing motion is greater than the predetermined threshold (YES in S14), the pointing object detection unit 13 reads out data related to the object around the user from the storage unit 15, and the predetermined target determined for the object An object whose region intersects with the user's pointing direction is obtained as an instruction target (S15). Next, the light emission control unit 14 of the pointing object display device calculates the irradiation position on the object from the intersection position of the pointing direction and the object (S16), and controls the light emitting unit 16 to emit light toward the irradiation position. (S17). The instruction object display device repeats the above processing.
ユーザの指先の震えは無意識に起こってしまう現象であり、この現象はユーザが物体を指示しようとしているものではない。第２の実施の形態では、所定の時間内における所定の閾値より小さい細かい動きを照射位置に反映しないようにすることにより、ユーザの意図に合った物体の指示を実現することができる。 The trembling of the user's fingertip is a phenomenon that occurs unconsciously, and this phenomenon is not intended to indicate an object by the user. In the second embodiment, it is possible to realize an instruction of an object that matches the user's intention by not reflecting in the irradiation position a fine movement smaller than a predetermined threshold within a predetermined time.
［第３の実施の形態］
次に、第３の実施の形態の指示対象物表示装置について説明する。第３の実施の形態の指示対象物表示装置の基本的な構成は、第１の実施の形態の指示対象物表示装置と同じであるが、第３の実施の形態では、ユーザが指先を素早く動かして指差し方向を変えたときには、その移動の過程においては、指差し方向と物体の拡張領域との交差位置を検出しないようにしている点が異なる。
[Third Embodiment]
Next, an indication object display device according to a third embodiment will be described. The basic configuration of the pointing object display device according to the third embodiment is the same as that of the pointing object display device according to the first embodiment. However, in the third embodiment, the user can quickly move the fingertip. When moving and changing the pointing direction, the difference is that the crossing position between the pointing direction and the extended area of the object is not detected in the movement process.
図８は、第３の実施の形態の指示対象物表示装置の動作を示すフローチャートである。指示対象物表示装置は、まず、カメラ１０にてユーザを撮影し（Ｓ２１）、指示対象物検出部１３にて、撮影した画像からユーザの指差し方向を検出する（Ｓ２２）。続いて、指示対象物検出部１３は、指差し方向の移動速度を計算する（Ｓ２３）。移動速度の計算は、第２の実施の形態にて説明したのと同様に、求めた指差し方向のデータを記憶部１５に記憶しておき、記憶部１５に記憶された時系列データを用いて速度を計算することによって行う。 FIG. 8 is a flowchart illustrating the operation of the pointing object display device according to the third embodiment. First, the pointing object display device captures the user with the camera 10 (S21), and the pointing object detection unit 13 detects the pointing direction of the user from the captured image (S22). Subsequently, the pointing object detection unit 13 calculates the moving speed in the pointing direction (S23). As in the case of the second embodiment, the movement speed is calculated by storing the obtained pointing direction data in the storage unit 15 and using the time series data stored in the storage unit 15. By calculating the speed.
指示対象物表示装置は、移動速度が所定の閾値以下か否かを判定する（Ｓ２４）。この結果、移動速度が所定の閾値以下の場合には（Ｓ２４でＹＥＳ）、第１の実施の形態と同様の処理を行う。すなわち、指示対象物表示装置は、記憶部１５からユーザの周囲にある物体に関するデータを読み出し、物体に対して定めた所定の領域がユーザの指差し方向と交差する物体を指示対象物として求める（Ｓ２５）。次に、指示対象物表示装置の発光制御部１４は、指差し方向と物体との交差位置から物体への照射位置を計算し（Ｓ２６）、発光部１６を制御して照射位置に向けて発光する（Ｓ２７）。 The instruction target display device determines whether or not the moving speed is equal to or less than a predetermined threshold (S24). As a result, when the moving speed is equal to or lower than the predetermined threshold (YES in S24), the same processing as in the first embodiment is performed. That is, the indication target object display device reads out data related to an object around the user from the storage unit 15 and obtains an object whose predetermined area defined for the object intersects the user's pointing direction as the indication object ( S25). Next, the light emission control unit 14 of the pointing object display device calculates the irradiation position on the object from the crossing position of the pointing direction and the object (S26), and controls the light emitting unit 16 to emit light toward the irradiation position. (S27).
一方、ユーザの指先の移動速度が所定の閾値より大きい場合には（Ｓ２４でＮＯ）、指示対象物表示装置は、指差し方向と物体が交差する位置を求める（Ｓ２８）。このステップでは、物体に拡張領域を設定せず、物体と指差し方向とが交差する位置を求める。そして、発光部１６は、求めた交差位置に向けて発光する（Ｓ２９）。 On the other hand, when the moving speed of the user's fingertip is larger than the predetermined threshold (NO in S24), the pointing object display device obtains a position where the pointing direction and the object intersect (S28). In this step, an extended region is not set for the object, and a position where the object and the pointing direction intersect is obtained. And the light emission part 16 light-emits toward the calculated | required crossing position (S29).
本実施の形態によれば、指差し方向が所定の閾値以下の速度で移動している場合には、移動中の照射位置は、第１の実施の形態で説明したように、物体に吸いつくような動きをするので、ユーザがその途中にある物体を指示することが容易である。指差し方向が所定の閾値より大きい速度で移動している場合には、照射位置は指差し方向をそのまま示し、滑らかな動きをする。指差し方向を素早く動かしている場合には、所望の物体に向けて指差し方向を移動しており、その間にある物体を指示する意図がないと考えられるから、物体に吸いつくような動き方をしないのがユーザの意図に適う。 According to the present embodiment, when the pointing direction is moving at a speed equal to or lower than a predetermined threshold, the irradiation position during movement sticks to the object as described in the first embodiment. Since it moves like this, it is easy for the user to point to an object on the way. When the pointing direction is moving at a speed greater than a predetermined threshold, the irradiation position indicates the pointing direction as it is and moves smoothly. When moving the pointing direction quickly, the pointing direction is moving toward the desired object, and it is considered that there is no intention to point to an object in between. It is suitable for the user's intention not to do this.
なお、本実施の形態では、指差し方向の移動速度が所定の閾値以下か否かにより、照射位置の求め方を変える例について説明したが、指差し方向の移動加速度に基づいて判断してもよいし、移動速度と移動加速度の両方を用いてもよい。 In the present embodiment, an example in which the method of obtaining the irradiation position is changed depending on whether or not the moving speed in the pointing direction is equal to or less than a predetermined threshold has been described, but the determination may be made based on the moving acceleration in the pointing direction. Alternatively, both the moving speed and the moving acceleration may be used.
また、本実施の形態では、指差し方向の移動速度が所定の閾値より大きい場合には、指差し方向をそのまま照射する例について説明したが、指差し方向の移動速度が所定の閾値より大きい場合には、指差し方向を照射するのを停止してもよい。上述したように、指差し方向を素早く動かしているときには物体を指示する意図がないと考えられるので、照射しなくても問題はなく、かつ、物体との交差位置を求める処理が不要になるので、処理が簡単になる。 Further, in this embodiment, an example in which the pointing direction is irradiated as it is when the moving speed in the pointing direction is larger than the predetermined threshold has been described. However, the moving speed in the pointing direction is larger than the predetermined threshold. Alternatively, the irradiation in the pointing direction may be stopped. As mentioned above, it is thought that there is no intention to indicate the object when moving quickly in the pointing direction, so there is no problem even if it does not irradiate, and the process of obtaining the intersection position with the object is unnecessary. , The process becomes simple.
上記した第１〜第３の実施の形態において、物体の近傍を指したときにも物体を検出できるように物体に対して拡張領域を設定する例について説明したが、拡張領域を設定する物体とそうでない物体とを設けてもよい。例えば、大きさが所定の閾値以下の物体に対しては拡張領域を設定し、所定の閾値より大きい物体には拡張領域を設定しない構成とすることもできる。小さい物体を正確に指し示すのは難しいので拡張領域を設定することにより、小さい物体を容易に指示できるようにできる。逆に大きい物体については、拡張領域がなくとも指し示すのが簡単であるし、逆に、大きい物体に拡張領域を設定すると、他の物体を指示したいのに、大きい物体が邪魔になるような事態も考えられる。 In the first to third embodiments described above, the example in which the extension area is set for the object so that the object can be detected even when the vicinity of the object is pointed is described. Other objects may be provided. For example, an extension area may be set for an object having a size equal to or smaller than a predetermined threshold, and no extension area may be set for an object larger than the predetermined threshold. Since it is difficult to point a small object accurately, it is possible to easily indicate a small object by setting an extended area. Conversely, for large objects, it is easy to point without an extended area. Conversely, when an extended area is set for a large object, a large object is in the way even though you want to point to another object. Is also possible.
また、移動可能な物体に拡張領域を設定し、静的な物体に対しては拡張領域を設定しない構成とすることもできる。例えば、ロボットに対して指示を行う場合には、物を持って来させたり、片づけさせたりといったように、物体の移動を伴うことが多いので、動的な物体を指し示す場合が多く、壁や天井などの静的なものを指示することは少ないと考えられる。そこで、動的な物体には拡張領域を設定して、物体の指示を容易にすることが実用的である。 Further, an extension area may be set for a movable object, and an extension area may not be set for a static object. For example, when an instruction is given to a robot, it often involves moving an object, such as bringing an object or putting it away. It is considered that there is little indication of static things such as the ceiling. Therefore, it is practical to set an extension area for a dynamic object to facilitate the instruction of the object.
また、拡張領域を設定する際には、物体の全周にわたって、均一に拡大した領域である必要はなく、例えば、鉛直方向より水平方向に大きく拡大した拡張領域を設定してもよい。人間は指差し方向を水平に動かす場合が多いので、拡張領域を水平方向に大きくすることにより、指差し方向にある物体を適切に捉えることができる。また、拡張領域の形状は、ユーザの指差しの癖を学習して、ユーザに合った形状としてもよい。例えば、物体の実際の位置よりも右側を指してしまいがちなユーザに対しては、右側が大きい拡張領域とすることにより、物体の指示を容易に行えるようになる。 Further, when setting the extension area, it is not necessary to be an area that is uniformly enlarged over the entire circumference of the object. For example, an extension area that is greatly enlarged in the horizontal direction from the vertical direction may be set. Since humans often move the pointing direction horizontally, it is possible to appropriately capture an object in the pointing direction by enlarging the extended area in the horizontal direction. Further, the shape of the extended region may be a shape suitable for the user by learning the habit of pointing at the user. For example, for a user who tends to point to the right side of the actual position of the object, it is possible to easily indicate the object by setting an extended area on the right side.
上記した第１〜第３の実施の形態では、複数の物体を検出した際には、複数の物体の中で最も中心に近いところが指示された物体を指示対象物とする例について説明したが（図３参照）、複数の物体のうち、ユーザに最も近い物体を指示対象物としてもよい。 In the first to third embodiments described above, an example has been described in which when a plurality of objects are detected, an object that is instructed to be the closest to the center among the plurality of objects is used as an instruction target ( 3), an object closest to the user among the plurality of objects may be used as the instruction target.
また、別の態様として、撮影画像から指差しを行っている方のユーザの肘の角度を求め、肘が伸びている場合には、遠くにある物体を指示対象物とし、肘が曲がっている場合には近くにある物体を指示対象物としてもよい。これにより、ユーザの意図を推定して適切に指示対象物を照射することができる。 Further, as another aspect, the elbow angle of the user who is pointing from the captured image is obtained, and when the elbow is stretched, the distant object is used as the pointing object, and the elbow is bent In some cases, a nearby object may be used as the instruction target. Thereby, a user's intention can be estimated and an indication subject can be irradiated appropriately.
また、指差し方向の移動を検出したときに、その指先の移動軌跡の曲率半径に基づいてユーザの意図を推定して、指示対象物を決定してもよい。例えば、指先の移動軌跡の曲率半径が大きいときには、肘や手首を回すのではなく、肩を回すことによって指差し方向を変えていると考えられるので、この場合は遠くの物体を指示対象物とする意図であると推定できる。この場合は、移動後の指差し方向にある物体のうちで、遠くにある物体を指示対象物として検出する。 Further, when the movement in the pointing direction is detected, the intent of the user may be estimated based on the radius of curvature of the movement locus of the fingertip, and the pointing object may be determined. For example, when the radius of curvature of the movement trajectory of the fingertip is large, it is considered that the pointing direction is changed by turning the shoulder instead of turning the elbow or wrist. It can be presumed that this is the intention. In this case, among the objects in the pointing direction after movement, an object far away is detected as the pointing object.
上記した第１〜第３の実施の形態においては、交差位置から照射位置を求める際に、指差し方向の交差位置の座標値に２／３を乗じて、照射位置の座標を計算する例について説明したが、交差位置から照射位置への変換方法（変換テーブル）は必ずしも等倍である必要はなく、様々なバリエーションが考えられる。例えば、拡張領域を含む所定の領域を物体の中心付近か否かで２つの領域に分け、交差位置が中心付近の領域に入っているときにはその交差位置をそのまま照射位置とし、交差位置が外側の領域に入っているときには、照射位置が中心付近の領域に入るように座標変換してもよい。また、交差位置にかかわらず、物体の中心を照射位置とするようにしてもよい。 In the first to third embodiments described above, when obtaining the irradiation position from the intersection position, the coordinate value of the irradiation position is calculated by multiplying the coordinate value of the intersection position in the pointing direction by 2/3. As described above, the conversion method (conversion table) from the intersection position to the irradiation position does not necessarily have to be the same magnification, and various variations are conceivable. For example, a predetermined area including an extended area is divided into two areas depending on whether or not the object is in the vicinity of the center of the object. When entering the area, coordinate conversion may be performed so that the irradiation position enters the area near the center. Further, the center of the object may be set as the irradiation position regardless of the intersection position.
［第４の実施の形態］
次に、第４の実施の形態の指示対象物表示装置について説明する。従来の指示対象物表示装置では、どの指示対象物を指示しているかを適切に表示するため、照射角度の小さい光が用いられていた。しかし、照射角度の小さい光は、指示対象物を適切に指示できる一方で、照射範囲が狭いために、どこを指しているかを見つけることが困難なことがあった。例えば、プレゼンテーションなどでは、説明している箇所を指示するためにレーザーポインタが用いられるが、レーザーポインタをスクリーンに向けてすぐには、レーザーポインタがどこを指しているのか見つからないことがある。この場合、レーザーポインタを適当に振ってみて、どこかに光が見えるかを確認する等の行動をとるユーザもいる。第４の実施の形態では、照射開始の最初の段階において、容易に照射方向を見つけることができるようにした指示対象物表示装置について説明する。なお、当然のことながら、指示対象物表示装置は、ここで説明するレーザーポインタのような装置に限定されることなく、ロボットに指示対象の物体を教示するために用いられる指示対象物表示装置等にも適用できる。
[Fourth Embodiment]
Next, a pointing object display device according to a fourth embodiment will be described. In the conventional pointing object display device, light having a small irradiation angle is used to appropriately display which pointing object is being pointed. However, while the light with a small irradiation angle can appropriately indicate the pointing object, it is sometimes difficult to find where the pointing object is because the irradiation range is narrow. For example, in a presentation or the like, a laser pointer is used to indicate a part being explained, but it may not be found where the laser pointer is pointing as soon as the laser pointer is pointed at the screen. In this case, there is a user who takes an action such as confirming whether the light can be seen somewhere by appropriately shaking the laser pointer. In the fourth embodiment, a pointing object display device that can easily find the irradiation direction at the initial stage of irradiation start will be described. As a matter of course, the pointing object display device is not limited to a device such as a laser pointer described here, but a pointing object display device used for teaching a robot to be pointed as a pointing object, etc. It can also be applied to.
図９（ａ）及び図９（ｂ）は、第４の実施の形態の指示対象物表示装置４の構成を示す図である。図９（ａ）に示すように、指示対象物表示装置４は、細長い棒状の筐体３０にスイッチ３１と発光部３２を備えている。発光部３２は、筐体３０の長手方向（図９（ａ）の右方向）に光を照射する。スイッチ３１は、発光部３２からの光の照射のオン／オフを切り替えるためのスイッチ３１である。オフの状態でスイッチ３１を押すとオンになり、オンの状態でスイッチ３１を押すとオフになる。 FIG. 9A and FIG. 9B are diagrams illustrating the configuration of the pointing object display device 4 according to the fourth embodiment. As illustrated in FIG. 9A, the pointing object display device 4 includes a switch 31 and a light emitting unit 32 in an elongated rod-shaped housing 30. The light emitting unit 32 irradiates light in the longitudinal direction of the housing 30 (the right direction in FIG. 9A). The switch 31 is a switch 31 for switching on / off of light irradiation from the light emitting unit 32. Pressing the switch 31 in the off state turns it on, and pressing the switch 31 in the on state turns it off.
図９（ｂ）に示すように、指示対象物表示装置４は、加速度センサ３３と発光制御部３４を有している。加速度センサ３３は、筐体３０が揺らされたときの加速度を検出する機能を有する。発光制御部３４は、発光部３２による発光を制御する機能を有する。発光制御部３４による発光部３２の制御については、指示対象物表示装置４の動作説明の中で説明する。 As illustrated in FIG. 9B, the pointing object display device 4 includes an acceleration sensor 33 and a light emission control unit 34. The acceleration sensor 33 has a function of detecting acceleration when the housing 30 is shaken. The light emission control unit 34 has a function of controlling light emission by the light emitting unit 32. The control of the light emitting unit 32 by the light emission control unit 34 will be described in the operation description of the pointing object display device 4.
図１０は、指示対象物表示装置４の動作を示すフローチャートである。図１０に示すように、指示対象物表示装置４は、光が照射されていない状態でスイッチ３１の押下を受け付けると（Ｓ３１）、発光制御部３４にて発光部３２を制御し、照射角度が所定の閾値より大きい光を照射する（Ｓ３２）。この際の照射の様子を図１１（ａ）に示す。図１１（ａ）に示すように、比較的広範囲を照射するので、ユーザは指示対象物表示装置４がどの方向を照射しているかを容易に把握することができる。 FIG. 10 is a flowchart showing the operation of the pointing object display device 4. As shown in FIG. 10, when the indication object display device 4 accepts pressing of the switch 31 in a state where no light is irradiated (S31), the light emission control unit 34 controls the light emission unit 32, and the irradiation angle is set. Light that is larger than the predetermined threshold is irradiated (S32). The state of irradiation at this time is shown in FIG. As shown in FIG. 11A, since a relatively wide range is irradiated, the user can easily grasp which direction the pointing object display device 4 is irradiating.
発光制御部３４は、加速度センサ３３が検出した加速度のデータを受信し、筐体３０が揺らされる加速度が所定の閾値以下であるか判定する（Ｓ３３）。加速度が所定の閾値以下でない場合には（Ｓ３３でＮＯ）、発光制御部３４は、引き続き、所定の閾値より大きい照射角度の光を照射するように発光部３２を制御する（Ｓ３２）。 The light emission control unit 34 receives the acceleration data detected by the acceleration sensor 33, and determines whether the acceleration at which the housing 30 is shaken is equal to or less than a predetermined threshold (S33). If the acceleration is not equal to or less than the predetermined threshold value (NO in S33), the light emission control unit 34 continues to control the light emitting unit 32 to irradiate light having an irradiation angle larger than the predetermined threshold value (S32).
加速度が所定の閾値以下の場合には（Ｓ３３でＹＥＳ）、発光制御部３４は、照射角度が所定の閾値以下になるまで、発光部３２による光の照射角度を絞り（Ｓ３４）、所定の閾値以下の照射角度で光を照射する（Ｓ３５）。この際の照射の様子を図１１（ｂ）に示す。図１１（ｂ）に示すように、細い光が照射されるので、指示対象物を適切に指示することができる。指示対象物表示装置４は、スイッチ３１が押されると（Ｓ３６）、発光部３２による照射を停止し（Ｓ３７）、処理を終了する。つまり、照射角度が所定の閾値以下に絞られた後は、発光を終了するまで、同じ照射角度での照射を行う。以上、第４の実施の形態の指示対象物表示装置４の構成および動作について説明した。 When the acceleration is equal to or smaller than the predetermined threshold (YES in S33), the light emission control unit 34 reduces the light irradiation angle by the light emitting unit 32 until the irradiation angle is equal to or smaller than the predetermined threshold (S34), Light is irradiated at the following irradiation angles (S35). The state of irradiation at this time is shown in FIG. As shown in FIG. 11B, since the thin light is irradiated, it is possible to appropriately indicate the pointing object. When the switch 31 is pressed (S36), the indication object display device 4 stops the irradiation by the light emitting unit 32 (S37) and ends the process. That is, after the irradiation angle is reduced to a predetermined threshold value or less, irradiation is performed at the same irradiation angle until the light emission is finished. The configuration and operation of the pointing object display device 4 according to the fourth embodiment have been described above.
第４の実施の形態の指示対象物表示装置４は、発光部３２によって照射を開始するときに、広い照射角度での照射を行うので、ユーザはどの方向を照射しているのかを容易に認識できるという効果がある。また、発光部３２による照射方向をユーザが認識した後には、照射角度を所定の閾値以下になるように絞るので、いったん認識した照射方向を見失うことなく、指示対象物を認識することが可能である。 The pointing object display device 4 according to the fourth embodiment performs irradiation with a wide irradiation angle when the light emitting unit 32 starts irradiation, so that the user can easily recognize which direction the irradiation is performed. There is an effect that can be done. In addition, after the user recognizes the irradiation direction by the light emitting unit 32, the irradiation angle is narrowed so as to be equal to or smaller than a predetermined threshold value, so that the pointing object can be recognized without losing sight of the recognized irradiation direction. is there.
本実施の形態では、加速度センサ３３によって筐体３０の揺れが収まったことを検出し、これを受けて照射角度を絞る構成について説明したが、ユーザが照射方向の認識に要する時間は、長くても２〜３秒と考えられるので、照射開始から適宜設定した所定時間が経過したときに、照射角度を絞ることとしてもよい。 In the present embodiment, the configuration has been described in which the acceleration sensor 33 detects that the shaking of the housing 30 has stopped, and the irradiation angle is narrowed down in response to this detection. However, the time required for the user to recognize the irradiation direction is long. Since it is considered to be 2 to 3 seconds, the irradiation angle may be narrowed when a predetermined time set appropriately from the start of irradiation elapses.
また、本実施の形態では、ユーザが光を照射する筐体３０を把持して、照射方向を指示する装置を例として説明したが、第１〜第３の実施の形態で説明したように、ユーザの指差し方向に基づいてレーザー光を照射する装置にも適用することができる。指差しによって照射方向を指示する場合には、照射開始の指示は、例えば、あらかじめ定められたジェスチャーによって与える。 Further, in the present embodiment, the device has been described as an example in which the user holds the housing 30 that irradiates light and instructs the irradiation direction. However, as described in the first to third embodiments, The present invention can also be applied to an apparatus that irradiates laser light based on a user's pointing direction. When the irradiation direction is instructed by pointing, the irradiation start instruction is given by, for example, a predetermined gesture.
図１２（ａ）は照射開始直後における照射の様子を示す図であり、図１２（ｂ）はユーザが照射方向を認識した後の照射の様子を示す図である。なお、図１２（ａ）及び図１２（ｂ）に示すように、実際には、ユーザの指先から光が出るわけではないので、ユーザの指差し方向と物体とが交差する方向にある指示対象物に対して、発光部３２から光を照射する。 FIG. 12A is a diagram illustrating a state of irradiation immediately after the start of irradiation, and FIG. 12B is a diagram illustrating a state of irradiation after the user recognizes the irradiation direction. In addition, as shown in FIGS. 12A and 12B, since the light is not actually emitted from the fingertip of the user, the indication target is in the direction where the user's pointing direction and the object intersect. The object is irradiated with light from the light emitting unit 32.
ユーザが照射方向を認識したことを検出する方法としては、例えば、ユーザの指差し方向の変化が所定の閾値より小さくなったこと、ユーザの視線の動きが所定時間停止したこと、ユーザの視線と指差し方向とが一致したこと等を基準として、ユーザが照射方向を認識したことを検出できる。 As a method for detecting that the user has recognized the irradiation direction, for example, that the change in the pointing direction of the user is smaller than a predetermined threshold, that the movement of the user's line of sight has stopped for a predetermined time, It is possible to detect that the user has recognized the irradiation direction with reference to the matching with the pointing direction.
本発明によれば、ユーザの指差しによって、指差し方向にある物体表面の視認しやすい位置に光を照射することにより、指示対象物検出部が検出している物体をユーザに認識させることができるという効果を有し、ロボット等に指示対象物を指示する装置等として有用である。 According to the present invention, it is possible to cause the user to recognize the object detected by the pointing object detection unit by irradiating light to a position where the object surface in the pointing direction is easily visible by pointing with the user. This is useful as a device for indicating an object to be pointed to a robot or the like.
１，４ 指示対象物表示装置
１０ カメラ
１１ 制御部
１２ 撮影画像取得部
１３ 指示対象物検出部
１４ 発光制御部
１５ 記憶部
１６ 発光部
２０ コンピュータ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
２４ プログラム
２５ ＨＤＤ
２６，２７ 外部Ｉ／Ｆ
３０ 筐体
３１ スイッチ
３２ 発光部
３３ 加速度センサ
３４ 発光制御部
1, 4 Pointed object display device 10 Camera 11 Control unit 12 Captured image acquisition unit 13 Pointed object detection unit 14 Light emission control unit 15 Storage unit 16 Light emission unit 20 Computer 21 CPU
22 RAM
23 ROM
24 program 25 HDD
26, 27 External I / F
30 Housing 31 Switch 32 Light Emitting Unit 33 Acceleration Sensor 34 Light Emission Control Unit
Claims (24)
ユーザの周囲にある物体及びその位置のデータを記憶した記憶部と、
ユーザが指示する指示対象物に対して光を照射する発光部と、
前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記記憶部に記憶されたデータに基づいて、前記物体に対して当該物体を含む所定の領域を定めたときに前記指差し方向と交差する前記所定の領域を有する物体を、前記指示対象物として検出する指示対象物検出部と、
前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御する発光制御部と、
を備える指示対象物表示装置。 A camera,
A storage unit that stores data on an object around the user and its position;
A light emitting unit for irradiating light to an indication target indicated by the user;
The finger is detected when a pointing direction of the user is detected based on an image photographed by the camera, and a predetermined region including the object is defined for the object based on data stored in the storage unit. An instruction object detection unit that detects an object having the predetermined area intersecting the insertion direction as the instruction object;
A light emission control unit that controls the light emission unit to irradiate light to a position where the object surface detected as the pointing object is easily visible;
A pointing object display device comprising:
前記発光制御部は、前記テーブルを参照して、前記指差し方向と前記所定の領域とが交差する位置を前記物体表面の位置に変換した位置に光を照射するように前記発光部を制御する、請求項１乃至７のいずれかに記載の指示対象物表示装置。 A table associating the position in the predetermined area with the position of the object surface;
The light emission control unit refers to the table, and controls the light emission unit to irradiate light to a position obtained by converting a position where the pointing direction intersects the predetermined area into a position on the object surface. The pointing object display device according to any one of claims 1 to 7.
前記発光部の照射開始の指示を受け付ける入力部と、
前記入力部にて照射開始の指示を受け付けると、最初に照射角度が所定の閾値より大きい光を発光させた後に、照射角度が所定の閾値以下の光を発光させるように、前記発光部を制御する発光制御部と、
を備える指示対象物表示装置。 A light emitting unit that emits light in a direction indicated by the user;
An input unit for receiving an instruction to start irradiation of the light emitting unit;
When receiving an instruction to start irradiation at the input unit, the light emitting unit is controlled so that light having an irradiation angle equal to or smaller than a predetermined threshold is emitted after first emitting light having an irradiation angle larger than the predetermined threshold. A light emission control unit,
A pointing object display device comprising:
前記発光制御部は、前記照射開始の指示を受け付けてから前記加速度センサーにより検出した加速度が所定の閾値以下になるまで照射角度が所定の閾値より大きい光を発光させ、前記加速度センサーにより検出した加速度が所定の閾値以下になった後は、照射角度が所定の閾値以下の光を発光させる請求項１７に記載の指示対象物表示装置。 The housing includes an acceleration sensor,
The light emission control unit emits light having an irradiation angle greater than a predetermined threshold until the acceleration detected by the acceleration sensor becomes equal to or less than a predetermined threshold after receiving the irradiation start instruction, and the acceleration detected by the acceleration sensor The pointing object display device according to claim 17, wherein light having an irradiation angle equal to or less than a predetermined threshold is emitted after the value becomes equal to or less than a predetermined threshold.
前記発光制御部は、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記指差し方向に向けて光を照射するように前記発光部を制御する請求項１５または１６に記載の指示対象物表示装置。 With a camera
The light emission control part detects a user's pointing direction based on the image image | photographed with the camera, and controls the said light emission part so that light may be irradiated toward the said pointing direction. The indicated object display device.
前記指示対象物表示装置が、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出するステップと、
前記指示対象物表示装置が、ユーザの周囲にある物体及びその位置のデータを記憶した記憶部のデータに基づいて、前記指差し方向が前記物体を含む所定の領域と交差する物体を前記指示対象物として検出するステップと、
前記指示対象物表示装置が、前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御するステップと、
を備える指示対象物表示方法。 An indication object display method for displaying an object to be indicated by an indication object display device including a camera and a light emitting unit that emits light to an indication object indicated by a user,
The pointing object display device detecting a user's pointing direction based on an image captured by the camera;
Based on the data in the storage unit in which the pointing object display device stores data on an object around the user and the position thereof, an object whose pointing direction intersects a predetermined area including the object is indicated as the pointing object. Detecting as an object,
The pointing object display device controls the light emitting unit to irradiate light to a position where the object surface detected as the pointing object is easily visible; and
A pointing object display method comprising:
前記入力部にて照射開始の指示を受け付けると、前記発光部によって、照射角度が所定の閾値より大きい光を発光させるステップと、
前記ステップに続いて、前記発光部によって、前記照射角度が所定の閾値以下の光を発光させるステップと、
を備える指示対象物表示方法。 A method for displaying an instruction object by an instruction object display device including a light emitting unit that emits light in a direction instructed by a user and an input unit that receives an instruction to start irradiation of the light emitting unit,
When receiving an instruction to start irradiation at the input unit, the light emitting unit emits light having an irradiation angle larger than a predetermined threshold;
Subsequent to the step, causing the light emitting unit to emit light having an irradiation angle of a predetermined threshold value or less;
A pointing object display method comprising:
前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出するステップと、
ユーザの周囲にある物体及びその位置のデータを記憶した記憶部のデータに基づいて、前記指差し方向が前記物体を含む所定の領域と交差する物体を前記指示対象物として検出するステップと、
前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御するステップと、
を実行させるプログラム。 A program for displaying an object to be indicated by a computer connected to a camera and a light emitting unit that emits light to an indication target indicated by a user, the computer
Detecting a user's pointing direction based on an image captured by the camera;
Detecting an object whose pointing direction intersects a predetermined area including the object as the pointing object based on data in a storage unit that stores data on the object around the user and its position;
Controlling the light emitting unit to irradiate light to a position where the object surface detected as the pointing object is easily visible; and
A program that executes
前記入力部にて照射開始の指示を受け付けると、前記発光部によって、照射角度が所定の閾値より大きい光を発光させるステップと、
前記ステップに続いて、前記発光部によって、前記照射角度が所定の閾値以下の光を発光させるステップと、
を実行させるプログラム。 A program for displaying an object to be pointed by a computer connected to a light emitting unit that emits light in a direction designated by a user and an input unit that receives an instruction to start irradiation of the light emitting unit. ,
When receiving an instruction to start irradiation at the input unit, the light emitting unit emits light having an irradiation angle larger than a predetermined threshold;
Subsequent to the step, causing the light emitting unit to emit light having an irradiation angle of a predetermined threshold value or less;
A program that executes
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013173100A JP6026370B2 (en) | 2013-08-23 | 2013-08-23 | Instruction object display device, instruction object display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013173100A JP6026370B2 (en) | 2013-08-23 | 2013-08-23 | Instruction object display device, instruction object display method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015041325A true JP2015041325A (en) | 2015-03-02 |
| JP6026370B2 JP6026370B2 (en) | 2016-11-16 |
Family
ID=52695431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013173100A Expired - Fee Related JP6026370B2 (en) | 2013-08-23 | 2013-08-23 | Instruction object display device, instruction object display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6026370B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101662022B1 (en) * | 2015-08-12 | 2016-10-10 | 연세대학교 산학협력단 | Apparatus and Method for Device Control using Gesture |
| JP7392512B2 (en) | 2020-02-20 | 2023-12-06 | 沖電気工業株式会社 | Information processing device, information processing method, program, and information processing system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010066042A (en) * | 2008-09-09 | 2010-03-25 | Toshiba Corp | Image irradiating system and image irradiating method |
| JP2010257742A (en) * | 2009-04-24 | 2010-11-11 | Panasonic Electric Works Co Ltd | Lighting system |
| JP2012185631A (en) * | 2011-03-04 | 2012-09-27 | Nikon Corp | Projection device |
| JP2013047760A (en) * | 2011-08-29 | 2013-03-07 | Institute Of National Colleges Of Technology Japan | Instruction position display device and instruction position display system |
-
2013
- 2013-08-23 JP JP2013173100A patent/JP6026370B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010066042A (en) * | 2008-09-09 | 2010-03-25 | Toshiba Corp | Image irradiating system and image irradiating method |
| JP2010257742A (en) * | 2009-04-24 | 2010-11-11 | Panasonic Electric Works Co Ltd | Lighting system |
| JP2012185631A (en) * | 2011-03-04 | 2012-09-27 | Nikon Corp | Projection device |
| JP2013047760A (en) * | 2011-08-29 | 2013-03-07 | Institute Of National Colleges Of Technology Japan | Instruction position display device and instruction position display system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101662022B1 (en) * | 2015-08-12 | 2016-10-10 | 연세대학교 산학협력단 | Apparatus and Method for Device Control using Gesture |
| JP7392512B2 (en) | 2020-02-20 | 2023-12-06 | 沖電気工業株式会社 | Information processing device, information processing method, program, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6026370B2 (en) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6810125B2 (en) | How to navigate, systems, and equipment in a virtual reality environment | |
| JP5261554B2 (en) | Human-machine interface for vehicles based on fingertip pointing and gestures | |
| CN116719413A (en) | Method for manipulating objects in an environment | |
| US9367138B2 (en) | Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device | |
| JP6372487B2 (en) | Information processing apparatus, control method, program, and storage medium | |
| US9342925B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2015114818A (en) | Information processing device, information processing method, and program | |
| US9348418B2 (en) | Gesture recognizing and controlling method and device thereof | |
| US8416189B2 (en) | Manual human machine interface operation system and method thereof | |
| KR20160048062A (en) | Systems and methods of direct pointing detection for interaction with a digital device | |
| JP5783828B2 (en) | Information processing apparatus and control method thereof | |
| JP2006209359A (en) | Apparatus, method and program for recognizing indicating action | |
| JP6042291B2 (en) | Robot, robot control method, and robot control program | |
| CN108369451B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| KR20150133585A (en) | System and method for navigating slices of a volume image | |
| EP3127586A1 (en) | Interactive system, remote controller and operating method thereof | |
| US20150277570A1 (en) | Providing Onscreen Visualizations of Gesture Movements | |
| KR20150085957A (en) | User interface apparatus and control method thereof | |
| JP6026370B2 (en) | Instruction object display device, instruction object display method, and program | |
| CN109389082B (en) | Sight line acquisition method, device, system and computer readable storage medium | |
| JP5770251B2 (en) | Operation control device | |
| JP4563723B2 (en) | Instruction motion recognition device and instruction motion recognition program | |
| KR101536753B1 (en) | Method and system for image processing based on user's gesture recognition | |
| CN114911384B (en) | Mirror display and remote control method thereof | |
| CN111819841B (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161012 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6026370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |