JP2007323150A - Simulated human body organ system - Google Patents
Simulated human body organ system Download PDFInfo
- Publication number
- JP2007323150A JP2007323150A JP2006149790A JP2006149790A JP2007323150A JP 2007323150 A JP2007323150 A JP 2007323150A JP 2006149790 A JP2006149790 A JP 2006149790A JP 2006149790 A JP2006149790 A JP 2006149790A JP 2007323150 A JP2007323150 A JP 2007323150A
- Authority
- JP
- Japan
- Prior art keywords
- organ
- human body
- point
- display
- body organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、人間の身体を模擬した身体部品を物体に取り付け可能な人体器官擬似装置に関する。 The present invention relates to a human body organ simulation apparatus that can attach a body part simulating a human body to an object.
人間は、人間に対して取るコミュニケーションと同じようなコミュニケーションを人間ではない物体に対して取る、つまり物体を擬人化してその物体を扱おうとする傾向にあることが近年の研究により報告されている。このような人間の傾向を利用して、人間が擬人化し易いような構造を備え、その構造の形状、動きなどによって人間との間での情報伝達を促進させることを目的とした装置が特許文献1に開示されている。
Recent studies have reported that humans tend to take the same kind of communication with humans as non-human objects, that is, people tend to be anthropomorphic and handle those objects.
特許文献1の擬人化インタフェース装置は、ある物体に設けたディスプレイに人間を模擬した擬人化キャラクタを表示させ、その擬人化キャラクタの視線の動きを変化させることによって、人と人の対面コミュニケーションにおいて実現できる印象や個性などの情報のやり取りを物体と人のコミュニケーションにおいても擬人化キャラクタを介して実現するものである。
しかしながら、特許文献1に開示されている擬人化インタフェース装置では、装置利用者は、擬人化された対象として物体を認識しているわけではなく、また、物体との間でコミュニケーションを取らずに、その物体とは別の対象である擬人化キャラクタとの間でコミュニケーションを取る。このため、装置利用者は、当該装置が設けられた物体を利用する際に、コミュニケーションの対象としてその物体に加えて擬人化キャラクタをも認識しなければならず、認知的な負荷を強いられることになる。また、装置利用者が注視する箇所が擬人化キャラクタの複数箇所を移動する傾向にあり、装置利用者による擬人化キャラクタへの注意が散漫になることが報告されている(非特許文献1)。
However, in the anthropomorphic interface device disclosed in
従って、特許文献1の擬人化インタフェース装置は、物体と人との間での情報伝達が円滑に進み難い環境であり、例えば、擬人化キャラクタがキャラクタ自身の振る舞いによってある地点を指したとしても、その地点を人間に正確に伝える精度は低くなりがちである。
Therefore, the anthropomorphic interface device of
本発明は、上記事情に鑑みてなされたもので、擬人化された対象として認識されることにより、装置利用者との間での情報伝達の円滑化を図ることができる人体器官擬似装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a human organ mimic device capable of facilitating information transmission with a device user by being recognized as an anthropomorphic target. The purpose is to do.
本発明の人体器官擬似装置は、物体を擬人化するために前記物体に設けられる人体器官擬似装置であって、身体の少なくとも一部の器官を擬似した器官部と、前記器官部内部の第1の点と前記器官部外部の第2の点とを結ぶ線上に、前記第1の点とを結ぶ線分によって前記器官部が指し示す方向を一意に特定する、前記器官部内部の第3の点が沿うように、前記器官部を駆動する器官駆動制御部と、を備えるものである。 A human body organ simulation apparatus according to the present invention is a human body organ simulation apparatus provided on an object for anthropomorphizing an object, wherein an organ part simulating at least a part of an organ of the body, and a first part inside the organ part. A third point inside the organ part that uniquely identifies the direction indicated by the organ part by a line segment connecting the first point on a line connecting the point and the second point outside the organ part And an organ drive control unit for driving the organ unit.
この構成によれば、本発明の人体器官擬似装置が設置された物体を利用する利用者は、コミュニケーションの対象として擬人化されたその物体のみを認識すれば良いため認知的な負荷を軽減することができ、さらに、その物体に設けられた器官部における、ある方向を特定する2点(第1の点および第3の点に相当)のみを注視すればよいため、人体器官擬似装置への注意が散漫になることを抑制することができる。第1の点および第3の点としては、例えば器官部が眼を模擬していれば、眼球の中心が第1の点、後述する虹彩の中心が第3の点になり、また器官部が腕および手を模擬していれば、手と反対方向の腕の一端が第1の点、手の指の先端が第3の点になる。 According to this configuration, a user who uses an object in which the human body organ simulation device of the present invention is installed only needs to recognize the person who is anthropomorphic as a communication target, so that the cognitive load is reduced. In addition, it is only necessary to pay attention to only two points (corresponding to the first point and the third point) that specify a certain direction in the organ part provided on the object. Can be suppressed. As the first point and the third point, for example, if the organ part simulates an eye, the center of the eyeball is the first point, the center of the iris described later is the third point, and the organ part is If the arm and hand are simulated, one end of the arm opposite to the hand is the first point and the tip of the finger of the hand is the third point.
また、本発明の人体器官擬似装置は、前記第1の点についての位置情報を取得する第1の位置情報取得部を備えるものを含む。 In addition, the human body organ simulation apparatus of the present invention includes a device including a first position information acquisition unit that acquires position information about the first point.
この構成によれば、本発明の人体器官擬似装置を設ける物体が一箇所に固定されておらず、移動するものであっても、当該装置が示す位置を当該装置の外部に存在する対象物に合わせることができる。 According to this configuration, even if the object provided with the human body mimic device of the present invention is not fixed in one place and moves, the position indicated by the device is the target that exists outside the device. Can be matched.
また、本発明の人体器官擬似装置は、前記第2の点についての位置情報を取得する第2の位置情報取得部を備えるものを含む。 In addition, the human body organ simulation device of the present invention includes a device including a second position information acquisition unit that acquires position information about the second point.
この構成によれば、本発明の人体器官擬似装置の外部に存在する対象物が移動する場合であっても、この対象物に当該装置が示す位置を合わせることができる。 According to this configuration, even when an object existing outside the human body organ simulation apparatus of the present invention moves, the position indicated by the apparatus can be aligned with the object.
また、本発明の人体器官擬似装置は、前記器官部が、各種情報を表示する表示部によって構成され、前記表示部が、身体の少なくとも一部を模擬した器官を表示し、前記器官駆動制御部が、前記表示部による前記器官の表示形態を制御する、ものを含む。 Further, in the human body organ simulation apparatus according to the present invention, the organ unit is configured by a display unit that displays various information, and the display unit displays an organ simulating at least a part of the body, and the organ drive control unit Which controls the display mode of the organ by the display unit.
この構成によれば、身体の器官を容易に模擬することができる。 According to this configuration, a body organ can be easily simulated.
また、本発明の人体器官擬似装置は、前記表示部が、身体の眼を模擬した眼画像を表示し、前記器官駆動制御部が、前記眼画像により特定される眼の中心点と前記器官部外部の第2の点とを結ぶ線上に、前記中心点とを結ぶ線分によって前記眼画像が指し示す方向を一意に特定する眼画像中の特徴点が沿うように、前記表示部による前記眼画像の表示形態を制御する、ものを含む。 Further, in the human body organ simulation apparatus of the present invention, the display unit displays an eye image simulating the eyes of the body, and the organ drive control unit includes an eye center point specified by the eye image and the organ unit. The eye image by the display unit is such that a feature point in the eye image that uniquely identifies the direction indicated by the eye image by a line segment connecting the center point is along a line connecting the second external point. Including the one that controls the display form.
この構成によれば、眼画像中の特徴点を虹彩とすることによって、本発明の人体器官擬似装置が設置された物体を利用する利用者は、その眼画像の視線によって当該装置の外部に存在する対象物の位置を容易に類推することができる。 According to this configuration, by using the feature point in the eye image as an iris, a user who uses the object on which the human body pseudo device of the present invention is installed is present outside the device by the line of sight of the eye image. The position of the target object can be easily estimated.
また、本発明の人体器官擬似装置は、前記表示部が、身体の眼を模擬した眼画像を複数表示し、前記器官駆動制御部が、前記表示部による前記眼画像の表示形態を、前記眼画像毎に制御する、ものを含む。 Further, in the human body organ simulation apparatus of the present invention, the display unit displays a plurality of eye images simulating the eyes of the body, and the organ drive control unit changes the display form of the eye image by the display unit to the eye. The thing controlled for every image is included.
この構成によれば、本発明の人体器官擬似装置が設置された物体を利用する利用者は、複数個の眼画像の視線によって、より正確に対象物の位置を類推することができる。 According to this configuration, a user who uses an object in which the human organ simulation apparatus according to the present invention is installed can more accurately infer the position of the object by the line of sight of a plurality of eye images.
また、本発明の人体器官擬似装置は、前記器官部が、少なくとも一部が直線状に形成される部材によって構成され、前記器官駆動制御部が、前記部材における直線状の箇所の1点と前記器官部外部の第2の点とを結ぶ線上に、前記部材における直線状の箇所の1点とを結ぶ線分によって前記部材が指し示す方向を一意に特定する、前記部材における直線状の箇所の別の1点が沿うように、前記部材の向きを制御する、ものを含む。 Further, in the human body organ simulating apparatus of the present invention, the organ part is constituted by a member that is formed at least partially in a straight line, and the organ drive control unit includes one point of the straight part in the member and the point Differentiating the linear part in the member, which uniquely identifies the direction indicated by the member on a line connecting the second point outside the organ part by a line segment connecting one point of the linear part in the member Including one that controls the orientation of the member so that one point of the
この構成によれば、本発明の人体器官擬似装置が設置された物体を利用する利用者は、指、腕などの直線状の器官を模擬した部材が指し示す方向から、当該装置の外部に存在する対象物の位置を容易に類推することができる。 According to this configuration, the user who uses the object in which the human body organ simulation device of the present invention is installed exists outside the device from the direction indicated by the member simulating a linear organ such as a finger or an arm. The position of the object can be easily inferred.
また、本発明の人体器官擬似装置は、前記器官部が、複数の前記部材によって構成され、前記器官駆動制御部が、前記部材の向きを前記部材毎に制御する、ものを含む。 Moreover, the human body organ simulation apparatus of the present invention includes a device in which the organ part is constituted by a plurality of the members, and the organ drive control unit controls the orientation of the members for each member.
この構成によれば、本発明の人体器官擬似装置が設置された物体を利用する利用者は、指、腕などの直線状の器官を模擬した複数個の部材がそれぞれ指し示す方向によって、より正確に対象物の位置を類推することができる。 According to this configuration, the user who uses the object in which the human organ simulation device of the present invention is installed can more accurately depend on the directions indicated by the plurality of members simulating the linear organs such as fingers and arms. The position of the object can be inferred.
本発明の人体器官擬似装置によれば、当該装置が設置された物体を利用する利用者は、コミュニケーションの対象として擬人化されたその物体のみを認識すれば良いため認知的な負荷を軽減することができ、さらに、その物体に設けられた器官部における、ある方向を特定する2点のみを注視すればよいため、人体器官擬似装置への注意が散漫になることを抑制することができる。この結果、その物体と人との間での情報伝達の円滑化を図ることができる。 According to the human body organ simulation apparatus of the present invention, a user who uses an object on which the apparatus is installed needs to recognize only the object that is anthropomorphic as a communication target, thereby reducing the cognitive load. Furthermore, since it is only necessary to pay attention to only two points that specify a certain direction in the organ part provided on the object, it is possible to suppress distraction of the human body organ simulation device. As a result, information transmission between the object and the person can be facilitated.
以下、本発明の実施の形態の人体器官擬似装置について説明する。
まず、本発明の実施の形態の人体器官擬似装置を冷蔵庫に設けた場合の人体器官擬似装置の処理の概略について説明する。図1に、本発明の実施の形態の人体器官擬似装置が設けられた冷蔵庫の側面図を示す。なお、図1(a)は冷蔵庫利用者に対して擬人化を促す装置が設けられていない冷蔵庫の側面図を、図1(b)は特許文献1に開示されている擬人化インタフェース装置が設けられた冷蔵庫の側面図を、図1(c)は本発明の実施の形態の人体器官擬似装置が設けられた冷蔵庫の側面図を、それぞれ示している。
Hereinafter, a human body organ simulation apparatus according to an embodiment of the present invention will be described.
First, an outline of the processing of the human organ simulator when the human organ simulator according to the embodiment of the present invention is provided in a refrigerator will be described. FIG. 1 shows a side view of a refrigerator provided with a human body organ simulation device according to an embodiment of the present invention. 1A is a side view of a refrigerator that is not provided with a device that promotes anthropomorphism for the refrigerator user, and FIG. 1B is provided with an anthropomorphic interface device disclosed in
図1に記載の冷蔵庫1は、音出力装置が設けられており、その音出力装置から音声ガイダンスを出力することによっても、冷蔵庫利用者に何らかの要求を伝えることができるものとする。例えば、冷蔵庫1は、「want some fruit.」(果物が欲しい)などと音声ガイダンスを出力して、冷蔵庫1に果物を格納するように冷蔵庫利用者に促す。
The
図1(a)に示す、冷蔵庫利用者に対して擬人化を促す装置が設けられていない冷蔵庫11は、音声ガイダンスのみによって、冷蔵庫利用者に果物を指示しなければならない。このため、音声ガイダンスは「want some fruit that is on the sink.」(洗面台の果物が欲しい)などと長く、そしてそのガイダンス内容は複雑になりがちであり、そのような音声ガイダンスを冷蔵庫利用者は直感的に理解することはできず、従って、このような音声ガイダンス機能を備えた冷蔵庫11は使い易いとは言えない。 The refrigerator 11 shown in FIG. 1 (a), which is not provided with a device that urges the refrigerator user to be anthropomorphic, must give fruit to the refrigerator user only by voice guidance. For this reason, voice guidance is long, such as “want some fruit that is on the sink.” And the content of the guidance tends to be complicated, and such voice guidance is often used for refrigerator users. Cannot be intuitively understood, and therefore, the refrigerator 11 having such a voice guidance function is not easy to use.
図1(b)に示す、特許文献1に開示されている擬人化インタフェース装置が設けられた冷蔵庫12は、冷蔵庫上方の開閉扉に設けられたディスプレイ121に擬人化キャラクタを表示させ、その擬人化キャラクタの視線によって、対象物(図1では果物が対象物になる)が位置する場所を指す。冷蔵庫12は、「want the fruit」(その果物が欲しい)音声ガイダンスなどと音声ガイダンスを出力するとともに、視線を対象物に合わせた擬人化キャラクタをディスプレイ121に表示させることになる。冷蔵庫12の利用者は、対象物が擬人化キャラクタの視線が示す場所に存在するものと判別することができるため、音声ガイダンスは短く、そしてそのガイダンス内容は簡易なものでよく、このような冷蔵庫12が指し示す対象物を直感的に特定することができる。しかし、冷蔵庫12の利用者は、コミュニケーションの対象として冷蔵庫12に加えて擬人化キャラクタをも認識しなければならず、認知的な負荷を強いられることになる。従って、擬人化キャラクタが視線によってある場所を指したとしても、その場所を利用者に正確に伝える精度は低くなりがちである。
The
図1(c)に示す、本発明の実施の形態の人体器官擬似装置が設けられた冷蔵庫13は、冷蔵庫上方の開閉扉132に設けられたディスプレイ131a、131bに身体の双方の眼を模擬した画像を別々に表示させ、その眼の画像により推定される視線によって、対象物が位置する場所を指す。冷蔵庫13は、「want it」(それが欲しい)音声ガイダンスなどと音声ガイダンスを出力するとともに、視線を対象物に合わせた眼の画像をディスプレイ131a、131bに表示させることになる。冷蔵庫13の利用者は、ディスプレイ131a、131bが設けられた開閉扉132付近が身体の頭部を模擬していると認識し、冷蔵庫下方の開閉扉133付近が身体の腹部および脚部を模擬していると認識し、さらに、冷蔵庫13の利用者が注視すべき箇所は、ディスプレイ131a、131bに表示された眼を模擬した画像に限定される。このため、冷蔵庫13の利用者は、コミュニケーションの対象として冷蔵庫13のみを認識すれば良いため認知的な負荷を軽減することができ、さらに、注視する箇所がディスプレイ131a、131bに表示された眼に限定されるため、人体器官擬似装置への注意が散漫になることを抑制することができる。この結果、冷蔵庫と人との間での情報伝達の円滑化を図ることができ、音声ガイダンスはさらに短く、そしてそのガイダンス内容はさらに簡易なものでよく、このような冷蔵庫12が指し示す対象物を直感的に精度良く特定することができる。
The
(第1の実施形態)
次に、本発明の実施の形態の人体器官擬似装置について詳細に説明する。本発明の第1の実施形態では、上述のような身体の眼を模擬した人体器官擬似装置について詳細に説明する。図2に、身体の眼の構造を示す構造図(図2(a)は身体の眼の断面図、図2(b)は身体の眼の正面図)を、図3に、本発明の第1の実施形態の人体器官擬似装置におけるディスプレイに表示する、身体の眼を模擬する画像の1例を、をそれぞれ示す。
(First embodiment)
Next, the human body organ simulating apparatus according to the embodiment of the present invention will be described in detail. In the first embodiment of the present invention, a human organ mimic device that simulates the body eye as described above will be described in detail. FIG. 2 is a structural diagram showing the structure of the eye of the body (FIG. 2A is a cross-sectional view of the eye of the body, FIG. 2B is a front view of the eye of the body), and FIG. 1 shows an example of an image simulating the eyes of a body, which is displayed on a display in the human body organ simulation apparatus of one embodiment.
図2に示す身体の眼の構造のように、人間の眼のうち、身体の外部から識別することができる箇所(空気に晒されている箇所)は、主に、強膜、虹彩、および瞳である。図3に示す本発明の人体器官擬似装置におけるディスプレイ3a、3bは、強膜に該当する箇所を白色で表示し、虹彩および瞳に該当する箇所を黒色で表示することにより、身体の眼を模擬した画像を表示させる。これ以後、ディスプレイ3a、3bに表示する虹彩および瞳に該当する箇所(画像上の黒色で特定される領域)のことを、単に「虹彩」と称する。また、ディスプレイ3a、3bは、表示する眼が視線を合わせるべき対象物(図3では、カップ4)の位置に応じて虹彩31a、31bの表示位置を変えることにより、ディスプレイ3a、3bを見ている利用者に対象物の位置を指し示すことになる。
As shown in the structure of the eye of the body shown in FIG. 2, the portions of the human eye that can be identified from outside the body (the portions exposed to the air) are mainly the sclera, iris, and pupil. It is. The
次に、本発明の第1の実施形態の人体器官擬似装置における虹彩の表示位置の制御方法について説明する。図4に、本発明の第1の実施形態の人体器官擬似装置における虹彩の表示位置の制御方法を表す模式図を示す。図4(a)は、ディスプレイを鉛直方向からみたときの虹彩の表示位置の模式図を、図4(b)は、ディスプレイを水平方向からみたときの虹彩の表示位置の模式図を、それぞれ示している。 Next, a method for controlling the display position of the iris in the human body organ simulation apparatus according to the first embodiment of the present invention will be described. FIG. 4 is a schematic diagram showing a method for controlling the display position of the iris in the human body organ simulating apparatus according to the first embodiment of the present invention. 4A shows a schematic diagram of the display position of the iris when the display is viewed from the vertical direction, and FIG. 4B shows a schematic diagram of the display position of the iris when the display is viewed from the horizontal direction. ing.
まず、ディスプレイ3a、3bの表示面後方(対象物4に対してディスプレイ3a、3bを挟んだ反対側)に仮想の眼の中心点c1、c2(特許請求の範囲の記載における第1の点に相当)を設定する。中心点c1、c2を中心とする球s1、s2がディスプレイ3a、3bによって仮想的に形成される球状の眼を表すことになる。なお、図4では、2つの眼を模擬するためにそれぞれの眼を表示する2つのディスプレイ3a、3bがあるため、それぞれの眼毎に仮想の眼の中心点を設定している。次に、対象物(図4ではカップ4)の位置x((特許請求の範囲の記載における第2の点に相当))と中心点c1、c2とを結んだ線分と、ディスプレイ3a、3bの表示面により形成される平面A1、A2との交点p1、p2(特許請求の範囲の記載における第3の点に相当)を算出する。ディスプレイ3a、3bは、交点p1、p2をディスプレイ3a、3b上の表示位置座標に変換し、その表示位置座標と虹彩31a、31bの中心位置とが一致するよう虹彩31a、31bを表示する。
First, virtual eye center points c1 and c2 (on the first point in the description of the claims) behind the display surface of the
次に、具体的な平面A1、A2および中心点c1、c2の算出方法について説明する。平面A1、A2を算出するために、前提として、ディスプレイ3a、3bの表示面は、図4(b)に示すように鉛直方向に対して平行に、かつ、ディスプレイ3a、3bの表示面は所定の角度をもって配置されているものとする(ディスプレイ3a、3bの表示面により形成される相対的な角度は、角度ベクトルrによって表されるとする)。まずは、図4(a)に示すように、ディスプレイ3a、3bの表示面がr=0(つまり平行)を満たすように配置されている場合について、平面A1(A2はA1と同一であるため記載を省く)を算出する方法について説明する。
Next, a specific method for calculating the planes A1 and A2 and the center points c1 and c2 will be described. In order to calculate the planes A1 and A2, as a premise, the display surfaces of the
ディスプレイ3a、3bにはそれぞれ、位置情報を取得するセンサ32a、32bが設けられている。センサ32a、32bは、絶対位置を取得するセンサであっても構わないし、相対位置を取得するセンサであっても構わない。センサ32a、32bの一例としては、GPS(Global Positioning System)を利用して自センサの位置情報を取得するものが挙げられる。ディスプレイ3a、3bによる表示を制御する制御装置(図4には図示せず)は、センサ32a、32bからの2点の位置情報を入力すると、ディスプレイ3a、3bの表示面は鉛直方向に対して平行で、かつ、ディスプレイ3a、3bの表示面は平行であることから、一意に平面A1を算出する。また、表示制御部は、予めセンサ32a、32bの位置を基準とするディスプレイ3a、3bそれぞれの表示可能範囲を設定しておれば、平面A1上におけるそれぞれのディスプレイ3a、3bの表示可能範囲もまた算出することができる。
The
続いて、中心点c1、c2を算出する方法について説明する。
平面A1が算出されれば、平面A1に対する法線ベクトルnの方向に所定の距離離れた、座標の異なる2点を中心点c1、c2と設定すればよい。より好ましい中心点c1、c2としては、平面A1上におけるディスプレイ3a、3bの表示可能範囲がそれぞれ算出されていれば、ディスプレイ3a、3bにおける表示可能範囲のそれぞれの中心から法線ベクトルnの方向に所定の距離離れた2点を中心点とすることが挙げられる。この中心点であれば、ディスプレイの表示可能範囲内で、虹彩31a、31bの表示範囲を最も広くすることができる。なお、図4では、ディスプレイ3a、3bにおける表示可能範囲のそれぞれの中心から法線ベクトルnの方向に所定の距離離れた2点を中心点c1、c2として場合の模式図を記載している。
Next, a method for calculating the center points c1 and c2 will be described.
If the plane A1 is calculated, two points having different coordinates and separated by a predetermined distance in the direction of the normal vector n with respect to the plane A1 may be set as the center points c1 and c2. As more preferable center points c1 and c2, if the displayable ranges of the
さらに、ディスプレイ3a、3bの表示面が角度ベクトルrによって特定される(つまりrが0でない)角度をもって配置されている場合について、平面A1、A2を算出する方法について説明する。図5に、平行に配置されていない2つのディスプレイを鉛直方向からみたときの虹彩の表示位置の模式図を示す。
Furthermore, a method for calculating the planes A1 and A2 when the display surfaces of the
ディスプレイ3a、3bによる表示を制御する制御装置は、センサ32a、32bからの位置情報を入力すると、まずはr=0である場合と同様の算出方法で平面A3を算出する。その後、平面A3をr/2分回転させたものを平面A1、平面A3を−r/2分回転させたものを平面A2として算出する。中心点c1、c2を算出する方法については、上述した通りであるため、説明を省略する。
When the control device that controls display by the
次に、図6に示す本発明の第1の実施形態の人体器官擬似装置の構成、および図7に示す本発明の第1の実施形態の人体器官擬似装置による処理フローを参照して、本発明の第1の実施形態の人体器官擬似装置を実現する構成、および対象物(図3、4、5ではカップ4)の位置xの取得から虹彩51の表示位置の制御に至る処理の流れを述べる。
本発明の第1の実施形態の人体器官擬似装置では、ある対象物の位置情報の取得、その位置情報にに基づく対象物の位置xの特定、およびその対象物の位置xに基づく虹彩31a、31bの表示位置制御を、PCによって構成される制御装置5が行う。制御装置5は、位置情報取得部51、位置特定部52、表示制御部53を含んで構成される。
Next, referring to the configuration of the human organ simulator of the first embodiment of the present invention shown in FIG. 6 and the processing flow by the human organ simulator of the first embodiment of the present invention shown in FIG. The configuration for realizing the human body organ simulation device of the first embodiment of the invention and the flow of processing from the acquisition of the position x of the object (cup 4 in FIGS. 3, 4 and 5) to the control of the display position of the
In the human body organ simulation device according to the first embodiment of the present invention, acquisition of position information of a certain object, identification of the position x of the object based on the position information, and an
位置情報取得部51は、対象物4に取り付けられたRFID(Radio Frequency Identification)タグ41から受信した無線電波により、制御装置5の位置を基準とするRFIDタグの位置座標(つまり、対象物の位置座標)を取得したり、対象物を撮像した画像中から制御装置5に対する対象物の位置座標を取得する(ステップS71)。なお、位置情報取得部51が備える位置情報取得方法は、RFIDシステムや画像認識装置を利用する以外にも、各種位置情報取得機能を利用しても良い。また、位置情報取得部51は、ディスプレイ3a、3bにそれぞれ設けられたセンサ32a、32bから、ディスプレイ3a、3bの位置座標を取得する(ステップS72)。センサ32a、32bの一例としては、GPS(Global Positioning System)を利用して自センサの位置情報を取得するものが挙げられる。なお、センサ32a、32bが検出する位置情報の座標系は、共通のもの、あるいはそれぞれの座標系の相対関係が予め設定されたものである必要がある。
The position
位置特定部52は、位置情報取得部51から通知される対象物の位置座標をセンサ32a、32bの座標系を基準とする相対的な位置xに変換する(ステップS73)。また、位置特定部52は、上述した算出方法により平面A1、A2および中心点c1、c2を算出することによって、平面A1、A2および中心点c1、c2を特定する(ステップS74)。位置特定部52は、位置xと中心点c1(あるいは中心点c2)を結ぶ線分と、平面A1(あるいは平面A2)と、の交点p1(あるいは交点p2)の位置座標を算出する(ステップS75)。なお、図4、5では、交点p1、p2を虹彩31a、32bを形成する領域内の白塗りの丸によって表している。位置特定部52は、算出した交点p1、p2の位置座標を表示制御部53に出力する。
The
表示制御部53は、位置特定部52から入力した交点p1、p2の位置座標を予め形状を設定しておいた虹彩31a、31bの中心位置として虹彩31a、31bを表示する(ステップS76)。この後、制御装置5は、ステップS71からステップS76の処理を任意のタイミングで繰り返すことになる。なお、対象物の位置によっては、図8(a)の本発明の第1の実施形態の人体器官擬似装置における身体の眼を模擬する画像の表示例に示すように、虹彩31a、31bの一部が強膜81に該当する箇所よりも外側に表示されてしまうことが想定される。このような場合、表示制御部53は、強膜81の表示領域内でのみ虹彩31a、31bを表示すること、つまり、図8(b)の本発明の第1の実施形態の人体器官擬似装置における身体の眼を模擬する画像の表示例に示すように、強膜81の表示領域外にある虹彩31a、31bの一部(点線で囲まれる領域)の色を強膜の色に合わせて表示することが好ましい。この処理を実施するためには、表示制御部は、予めディスプレイ3a、3bそれぞれにおける強膜81a、81bの表示範囲を設定しておく必要がある。
The
以上、本発明の第1の実施形態の人体器官擬似装置によれば、ディスプレイ3a、3bが設置された物体(例えば、冷蔵庫、自動販売機などの利用者がなんらかの動作をする必要のある電子機器)の利用者は、コミュニケーションの対象として擬人化されたその物体のみを認識すれば良いため認知的な負荷を軽減することができ、さらに、その物体中の注視する箇所がディスプレイ3a、3bに表示された眼における眼球の中心点と虹彩とに集中するため、人体器官擬似装置への注意が散漫になることを抑制することができる。この結果、その物体と人との間での情報伝達の円滑化を図ることができ、利用者は例えば物体が指し示す対象物を直感的に精度良く特定することができる。
As described above, according to the human body organ simulation apparatus according to the first embodiment of the present invention, an object (for example, a refrigerator, a vending machine, or the like on which an object on which the
また、本発明の第1の実施形態の人体器官擬似装置では、ディスプレイ3a、3bに設けられたセンサ32a、32bによって取得した位置情報を基に、平面A1、A2を算出することにより、本発明の人体器官擬似装置を設ける物体が一箇所に固定されておらず、移動する可能性があるものであっても、ディスプレイ上の虹彩の視線を対象物に視線を合わせることができる。
In the human body organ simulation apparatus according to the first embodiment of the present invention, the planes A1 and A2 are calculated based on the position information acquired by the
ただ、必ずしも、センサ32a、32bによって位置情報を取得する必要は無く、本発明の人体器官擬似装置を設ける物体が一箇所に固定されている場合には、ディスプレイ3a、3bそれぞれの位置情報(センサ32a、32bで取得した位置情報に相当する位置情報)を予め1つずつ登録しておけばよいし、さらに言えば、本発明の人体器官擬似装置を設ける物体が移動する場合であっても、その都度ディスプレイ3a、3bそれぞれの位置情報の登録を更新することによっても、平面A1、A2を算出することができる。
However, it is not always necessary to acquire the position information by the
また、本発明の第1の実施形態の人体器官擬似装置では、2つのディスプレイ3a、3bにそれぞれ眼を表示させる構成としたが、1つのディスプレイに2つの眼を表示させるようにしてもよい。この場合、表示制御部53は、一方の眼の強膜81a上に表示すべき虹彩31aが他方の強膜81b上に表示されることが無いように、予めディスプレイ3a、3bそれぞれにおける強膜81a、81bの表示範囲と、その表示範囲上に重ねて表示すべき虹彩31a、31bとを対応付けて設定しておく必要がある。
In the human body organ simulation apparatus according to the first embodiment of the present invention, the eyes are displayed on the two
また、本発明の第1の実施形態の人体器官擬似装置では、2つのディスプレイ3a、3bにそれぞれ眼を表示させ、その2つの眼の視線から対象物の位置を利用者に知らせる構成としたが、対象物の方向のみを利用者に知らせるだけでも利用者にその対象物の存在を知らせることができる場合には、1つのディスプレイ3a、3bに1つの眼を表示させることによって対応することができる。
In the human body organ simulation device according to the first embodiment of the present invention, the eyes are displayed on the two
また、本発明の第1の実施形態の人体器官擬似装置では、2つのディスプレイ3a、3bにそれぞれ虹彩31a、31b、強膜81a、81bを表示させることにより、身体の眼を模擬したが、ディスプレイに代わる装置、例えば、平板の強膜上を平板の虹彩を任意に動かすことができる構造の装置を用いて眼を模擬するようにしてもよい。
In the human body organ simulation apparatus according to the first embodiment of the present invention, the eyes of the body are simulated by displaying the
(第2の実施形態)
次に、本発明の第2の実施形態の人体器官擬似装置について詳細に説明する。本発明の第2の実施形態では、身体の腕および手を模擬した人体器官擬似装置について詳細に説明する。図9に、本発明の第2の実施形態の人体器官擬似装置の概要図を示す。なお、図9では、身体の腕を模擬した部品を設けた給湯器の正面図を記載している。
(Second Embodiment)
Next, the human body organ simulating apparatus according to the second embodiment of the present invention will be described in detail. In the second embodiment of the present invention, a human body organ simulating apparatus simulating body arms and hands will be described in detail. FIG. 9 shows a schematic diagram of a human body organ simulation apparatus according to the second embodiment of the present invention. In addition, in FIG. 9, the front view of the water heater provided with the part which simulated the arm of the body is described.
本発明の第2の実施形態の人体器官擬似装置は、身体の腕および手を模擬した直線形状の腕部91a、91b、腕部91a、91bの固定箇所c3、c4を中心に任意の角度で給湯器9に固定可能な機構(例えば2つの軸を中心に腕部91a、91bを回転させることができる2軸回転機構)を有する腕保持部92a、92b、および腕保持部92a、92bによる腕部91a、91bを給湯器9に固定する角度を決定する制御装置(図9に図示せず)を含んで構成される。以下、制御装置による制御処理について、図10に示す本発明の第2の実施形態の人体器官擬似装置の構成、および図11に示す本発明の第2の実施形態の人体器官擬似装置による処理フローを参照して、本発明の第2の実施形態の人体器官擬似装置を実現する構成、および対象物(図9、10ではカップ4)の位置xの取得から腕部91a、91bの固定角度の制御に至る処理の流れを述べる。
The human body organ simulating apparatus according to the second embodiment of the present invention has
本発明の第2の実施形態の人体器官擬似装置では、ある対象物の位置情報の取得、その位置情報にに基づく対象物の位置xの特定、およびその対象物の位置xに基づく腕部91a、91bの固定角度の表示位置制御を制御装置10が行う。制御装置10は、位置情報取得部101、位置特定部102、固定角度制御部103を含んで構成される。制御装置9は、マイクロチップにより構成され、腕保持部92a、92b内に配設されるように構成することもできる。なお、以下の説明において、第1の実施形態の人体器官擬似装置の説明において同一の参照符号を割り当てている各部の機能は、第1の実施形態で説明した機能と同一であるため、説明を省略している。
In the human body organ simulating apparatus according to the second embodiment of the present invention, the position information of a certain object is acquired, the position x of the object based on the position information is specified, and the
位置情報取得部101は、対象物4に取り付けられたRFID(Radio Frequency Identification)タグ41から受信した無線電波により、制御装置10の位置を基準とするRFIDタグの位置座標(つまり、対象物の位置座標)を取得し、対象物を撮像した画像中から制御装置10に対する対象物の位置座標を取得する(ステップS101)。また、位置情報取得部101は、腕保持部92a、92bにそれぞれ設けられたセンサ32a、32b(好ましくは、腕部91a、91bを固定している固定箇所に設けられたセンサ32a、32b)から、腕部91a、91bの位置座標c3、c4(特許請求の範囲における第1の点に相当)を取得する(ステップS102)。
The position
位置特定部102は、位置情報取得部51から通知される対象物の位置座標をセンサ32a、32bの座標系を基準とする相対的な位置x(特許請求の範囲における第2の点に相当)に変換する(ステップS103)。また、位置特定部102は、センサ32a(あるいはセンサ32b)から通知された位置座標c3(あるいは位置座標c4)と位置xとを結ぶ線分の方向ベクトルp1(あるいは方向ベクトルp2)を算出する(ステップS104)。位置特定部52は、算出した方向ベクトルp1、p2を固定角度制御部103に出力する。
The position specifying unit 102 is a relative position x based on the coordinate system of the
固定角度制御部103は、位置特定部102から入力した方向ベクトルp1(あるいは方向ベクトルp2)と、腕部91a、91bの位置座標c3、c4と腕部91a、91bにおける指の先端(特許請求の範囲における第3の点に相当)とを結ぶ方向ベクトルとが一致するよう腕部91a、91bの固定角度を制御する(ステップS105)。この後、制御装置10は、ステップS101からステップS105の処理を任意のタイミングで繰り返すことになる。
The fixed
以上、本発明の第2の実施形態の人体器官擬似装置によれば、腕部91a、91bが設置された物体の利用者は、コミュニケーションの対象として擬人化されたその物体のみを認識すれば良いため認知的な負荷を軽減することができ、さらに、その物体中の注視する箇所が腕部に集中するため、人体器官擬似装置への注意が散漫になることを抑制することができる。この結果、その物体と人との間での情報伝達の円滑化を図ることができ、利用者は例えば物体が指し示す対象物を直感的に精度良く特定することができる。
As described above, according to the human body organ simulation apparatus of the second embodiment of the present invention, the user of the object on which the
また、本発明の第2の実施形態の人体器官擬似装置では、センサ32a、32bによって取得した位置c3、c4から物体の位置xまでの方向ベクトルp1、p2を算出することにより、本発明の人体器官擬似装置を設ける物体が一箇所に固定されておらず、移動する可能性があるものであっても、腕部91a、91bの長手方向を対象物がある位置に合わせることができる。
Further, in the human organ simulation apparatus according to the second embodiment of the present invention, the human body of the present invention is calculated by calculating the direction vectors p1 and p2 from the positions c3 and c4 acquired by the
ただ、必ずしも、センサ32a、32bによって位置情報を取得する必要は無く、本発明の人体器官擬似装置を設ける物体が一箇所に固定されている場合には、腕部91a、91bそれぞれの位置情報(センサ32a、32bで取得した位置情報に相当する位置情報)を予め1つずつ登録しておけばよいし、さらに言えば、本発明の人体器官擬似装置を設ける物体が移動する場合であっても、その都度腕部91a、91bそれぞれの位置情報の登録を更新することによっても、方向ベクトルp1、p2を算出することができる。
However, it is not always necessary to acquire the position information by the
また、本発明の第2の実施形態の人体器官擬似装置では、2つの腕部91a、91bによって両腕を模擬し、その両腕の向きから対象物の位置を利用者に知らせる構成としたが、対象物の方向のみを利用者に知らせるだけでも利用者にその対象物の存在を知らせることができる場合には、1つの腕部のみによっても対応することができる。
In the human body organ simulation device according to the second embodiment of the present invention, both
本発明の人体器官擬似装置によれば、当該装置が設置された物体と人との間での情報伝達の円滑化を図ることができるという効果を奏し、物体と人との間でのコミュニケーションを促進するユーザインタフェースの分野において有用である。 According to the human body pseudo device of the present invention, it is possible to facilitate information transmission between an object on which the device is installed and a person, and communication between the object and the person can be achieved. Useful in the field of promoting user interfaces.
11、12、13 冷蔵庫
121、131a、131b ディスプレイ
132、133 開閉扉
3a、3b ディスプレイ
31a、31b 虹彩
32a、32b センサ
4 カップ
41 タグ
5 制御装置
51 位置情報取得部
52 位置特定部
53 表示制御部
81a、81b 強膜
9 給湯器
91a、91b 腕部
92a、92b 腕保持部
10 制御装置
101 位置情報取得部
102 位置特定部
103 固定角度制御部
11, 12, 13
Claims (8)
身体の少なくとも一部の器官を擬似した器官部と、
前記器官部内部の第1の点と前記器官部外部の第2の点とを結ぶ線上に、前記第1の点とを結ぶ線分によって前記器官部が指し示す方向を一意に特定する、前記器官部内部の第3の点が沿うように、前記器官部を駆動する器官駆動制御部と、
を備える人体器官擬似装置。 A human organ mimic device provided on the object for anthropomorphizing the object,
An organ part simulating at least a part of the body,
The organ that uniquely identifies a direction indicated by the organ part by a line segment connecting the first point on a line connecting the first point inside the organ part and the second point outside the organ part An organ drive control unit that drives the organ unit so that the third point inside the unit is along;
A human body organ simulator.
前記第1の点についての位置情報を取得する第1の位置情報取得部を備える人体器官擬似装置。 The human body organ simulation device according to claim 1,
A human body organ simulating apparatus comprising a first position information acquisition unit that acquires position information about the first point.
前記第2の点についての位置情報を取得する第2の位置情報取得部を備える人体器官擬似装置。 A human body organ mimic device according to claim 1 or 2,
A human body organ simulating apparatus including a second position information acquisition unit that acquires position information about the second point.
前記器官部は、各種情報を表示する表示部によって構成され、
前記表示部は、身体の少なくとも一部を模擬した器官を表示し、
前記器官駆動制御部は、前記表示部による前記器官の表示形態を制御する、
人体器官擬似装置。 The human body organ simulation device according to any one of claims 1 to 3,
The organ part is constituted by a display part for displaying various information,
The display unit displays an organ simulating at least a part of the body,
The organ drive control unit controls a display form of the organ by the display unit;
Human body organ simulator.
前記表示部は、身体の眼を模擬した眼画像を表示し、
前記器官駆動制御部は、前記眼画像により特定される眼の中心点と前記器官部外部の第2の点とを結ぶ線上に、前記中心点とを結ぶ線分によって前記眼画像が指し示す方向を一意に特定する眼画像中の特徴点が沿うように、前記表示部による前記眼画像の表示形態を制御する、
人体器官擬似装置。 A human body organ simulation device according to claim 4,
The display unit displays an eye image simulating the eyes of the body,
The organ drive control unit, on a line connecting a center point of the eye specified by the eye image and a second point outside the organ unit, a direction indicated by the eye image by a line segment connecting the center point. Controlling the display form of the eye image by the display unit so that the feature points in the uniquely specified eye image are along,
Human body organ simulator.
前記表示部は、身体の眼を模擬した眼画像を複数表示し、
前記器官駆動制御部は、前記表示部による前記眼画像の表示形態を、前記眼画像毎に制御する、
人体器官擬似装置。 The human body organ simulation device according to claim 5,
The display unit displays a plurality of eye images simulating the eyes of the body,
The organ drive control unit controls the display form of the eye image by the display unit for each eye image.
Human body organ simulator.
前記器官部は、少なくとも一部が直線状に形成される部材によって構成され、
前記器官駆動制御部は、前記部材における直線状の箇所の1点と前記器官部外部の第2の点とを結ぶ線上に、前記部材における直線状の箇所の1点とを結ぶ線分によって前記部材が指し示す方向を一意に特定する、前記部材における直線状の箇所の別の1点が沿うように、前記部材の向きを制御する、
人体器官擬似装置。 The human body organ simulation device according to any one of claims 1 to 3,
The organ part is constituted by a member formed at least partially in a straight line,
The organ drive control unit is configured to connect the one point of the linear part of the member and the second point outside the organ part to a line segment connecting the one point of the linear part of the member. The direction of the member is controlled so that another direction of the linear portion in the member is along, which uniquely specifies the direction indicated by the member.
Human body organ simulator.
前記器官部は、複数の前記部材によって構成され、
前記器官駆動制御部は、前記部材の向きを前記部材毎に制御する、
人体器官擬似装置。 The human body organ simulation device according to claim 7,
The organ part is constituted by a plurality of the members,
The organ drive control unit controls the direction of the member for each member.
Human body organ simulator.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006149790A JP2007323150A (en) | 2006-05-30 | 2006-05-30 | Simulated human body organ system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006149790A JP2007323150A (en) | 2006-05-30 | 2006-05-30 | Simulated human body organ system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007323150A true JP2007323150A (en) | 2007-12-13 |
Family
ID=38855935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006149790A Pending JP2007323150A (en) | 2006-05-30 | 2006-05-30 | Simulated human body organ system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007323150A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019050034A1 (en) * | 2017-09-11 | 2019-03-14 | Groove X株式会社 | Autonomously acting robot staring at partner |
EP3498429A1 (en) * | 2017-11-28 | 2019-06-19 | Toyota Jidosha Kabushiki Kaisha | Communication apparatus |
JP2019130610A (en) * | 2018-01-31 | 2019-08-08 | トヨタ自動車株式会社 | Communication robot and control program of the same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000218065A (en) * | 1999-01-28 | 2000-08-08 | Sony Corp | Information processor and information processing method |
JP2002222437A (en) * | 2001-01-26 | 2002-08-09 | Nippon Telegr & Teleph Corp <Ntt> | Device and method for personification interface, personification interface program, and recording medium with recorded personification interface program |
-
2006
- 2006-05-30 JP JP2006149790A patent/JP2007323150A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000218065A (en) * | 1999-01-28 | 2000-08-08 | Sony Corp | Information processor and information processing method |
JP2002222437A (en) * | 2001-01-26 | 2002-08-09 | Nippon Telegr & Teleph Corp <Ntt> | Device and method for personification interface, personification interface program, and recording medium with recorded personification interface program |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019050034A1 (en) * | 2017-09-11 | 2019-03-14 | Groove X株式会社 | Autonomously acting robot staring at partner |
CN111093913A (en) * | 2017-09-11 | 2020-05-01 | Groove X 株式会社 | Action-independent robot watching opposite side |
GB2580273A (en) * | 2017-09-11 | 2020-07-15 | Groove X Inc | Autonomously acting robot staring at partner |
JPWO2019050034A1 (en) * | 2017-09-11 | 2020-11-05 | Groove X株式会社 | Autonomous behavior robot looking at the other party |
GB2580273B (en) * | 2017-09-11 | 2022-06-01 | Groove X Inc | Autonomously acting robot that stares at companion |
US11498222B2 (en) | 2017-09-11 | 2022-11-15 | Groove X, Inc. | Autonomously acting robot that stares at companion |
JP7177497B2 (en) | 2017-09-11 | 2022-11-24 | Groove X株式会社 | Autonomous action robot that looks at the opponent |
EP3498429A1 (en) * | 2017-11-28 | 2019-06-19 | Toyota Jidosha Kabushiki Kaisha | Communication apparatus |
JP2019101492A (en) * | 2017-11-28 | 2019-06-24 | トヨタ自動車株式会社 | Communication apparatus |
CN110014431A (en) * | 2017-11-28 | 2019-07-16 | 丰田自动车株式会社 | Communication device |
US11188811B2 (en) | 2017-11-28 | 2021-11-30 | TOYOTA JIDOSHA KABUSHtKI KAISHA | Communication apparatus |
JP2019130610A (en) * | 2018-01-31 | 2019-08-08 | トヨタ自動車株式会社 | Communication robot and control program of the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7283506B2 (en) | Information processing device, information processing method, and information processing program | |
US10991162B2 (en) | Integrating a user of a head-mounted display into a process | |
US10565725B2 (en) | Method and device for displaying virtual object | |
US11861062B2 (en) | Blink-based calibration of an optical see-through head-mounted display | |
JP7213899B2 (en) | Gaze-Based Interface for Augmented Reality Environments | |
JP2022535316A (en) | Artificial reality system with sliding menu | |
KR101830793B1 (en) | virtual training system using upper body interaction | |
TW202101172A (en) | Arm gaze-driven user interface element gating for artificial reality systems | |
WO2017021902A1 (en) | System and method for gesture based measurement of virtual reality space | |
US10970935B2 (en) | Body pose message system | |
US10304245B2 (en) | Method for operating a virtual reality system, and virtual reality system | |
TW202101170A (en) | Corner-identifying gesture-driven user interface element gating for artificial reality systems | |
WO2019142560A1 (en) | Information processing device for guiding gaze | |
JP2007323150A (en) | Simulated human body organ system | |
US20230065505A1 (en) | System and method for augmented reality data interaction for ultrasound imaging | |
CN112579029A (en) | Display control method and system of VR glasses | |
Osawa et al. | Anthropomorphization Framework for Human-Object Communication. | |
WO2018074054A1 (en) | Display control device, display control method, and program | |
JP7106140B2 (en) | Program and image display system | |
JP6628331B2 (en) | Program and image display system | |
CN107709927B (en) | Length measurement on an object by determining the orientation of a measuring point by means of a laser measuring module | |
Ohya et al. | Multi-user available information providing system for tourism by pointing gesture | |
JP2023172180A (en) | Image processing apparatus, image processing method, and program | |
JP2023090200A (en) | Sign language learning device, sign language learning method and sign language learning program | |
JP2024047006A (en) | Information processing system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110822 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110913 |