JP2021047424A - Information processing device, information processing system and program - Google Patents
Information processing device, information processing system and program Download PDFInfo
- Publication number
- JP2021047424A JP2021047424A JP2020193526A JP2020193526A JP2021047424A JP 2021047424 A JP2021047424 A JP 2021047424A JP 2020193526 A JP2020193526 A JP 2020193526A JP 2020193526 A JP2020193526 A JP 2020193526A JP 2021047424 A JP2021047424 A JP 2021047424A
- Authority
- JP
- Japan
- Prior art keywords
- display
- robot
- moving body
- shape
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 49
- 230000008859 change Effects 0.000 claims description 39
- 230000007246 mechanism Effects 0.000 claims description 25
- 239000013589 supplement Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 58
- 230000006870 function Effects 0.000 description 52
- 238000004891 communication Methods 0.000 description 51
- 238000000034 method Methods 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 11
- 230000035807 sensation Effects 0.000 description 11
- 235000019615 sensations Nutrition 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008058 pain sensation Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000010970 precious metal Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム及びプログラムに関する。 The present invention relates to information processing devices, information processing systems and programs.
特許文献１には、遠隔操作するロボットの位置および方向をディスプレイ上に表示し、必要に応じて表示位置および方向を修正できる技術が記載されている。
ＩｏＴ（Internet of Things）社会の進展に伴い、物の位置等を容易に把握できる仕組みの必要性が高まると予想される。ところが、物の管理区域のレイアウトの保持を優先して位置を表示する手法では、表示領域との関係で物の位置の把握がかえって難しくなる可能性がある。 With the development of the IoT (Internet of Things) society, it is expected that the need for a mechanism that can easily grasp the position of objects will increase. However, in the method of displaying the position by giving priority to maintaining the layout of the controlled area of the object, it may be rather difficult to grasp the position of the object in relation to the display area.
本発明は、ユーザによる対象物の位置把握を容易にすることを目的とする。 An object of the present invention is to facilitate the user's grasp of the position of an object.
請求項１に記載の発明は、移動体の移動を管理する範囲を規定する第１の形状を取得する第１の取得部と、前記移動体の位置の表示に使用される表示領域を規定する第２の形状を取得する第２の取得部と、前記第１の形状を変形して前記第２の形状に一致させる変形部と、前記第１の形状の変形に応じて前記移動体の位置の表示を変化させる表示制御部と、を有する情報処理装置である。
請求項２に記載の発明は、ディスプレイパネルの表示画面の全体を与える形状であり、前記変形部は、前記範囲の全体を前記表示画面の全体に一致させる、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記変化は、前記表示領域上における変化量の変化であることを特徴とする請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、前記変化の範囲は、前記表示領域の形状の制約を受けることを特徴とする請求項１又は２に記載の情報処理装置である。
請求項５に記載の発明は、前記表示制御部は、前記移動体の位置を当該移動体の管理上定めた前記範囲とは非相似形状の前記表示領域に表示することを特徴とする請求項１又は２に記載の情報処理装置である。
請求項６に記載の発明は、前記表示制御部は、前記移動体に紐付けられた画像を前記表示領域にマッピングされた当該移動体の位置に表示することを特徴とする請求項１又は２に記載の情報処理装置である。
請求項７に記載の発明は、前記表示制御部は、前記表示領域にマッピングされた前記移動体の実空間における位置を補足する情報として縮尺情報を表示することを特徴とする請求項１又は２に記載の情報処理装置である。
請求項８に記載の発明は、前記表示制御部は、前記移動体の位置が管理上定めた前記範囲を越えた場合、当該移動体に紐付けられた画像を前記表示領域上から消すことを特徴とする請求項１又は２に記載の情報処理装置である。
請求項９に記載の発明は、前記表示制御部は、前記移動体の位置が管理上定めた前記範囲内に復帰した場合、当該移動体に紐付けられた前記画像を前記表示領域内に再表示することを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記移動体は、自走機構を有することを特徴とする請求項１又は２に記載の情報処理装置である。
請求項１１に記載の発明は、前記移動体に紐付けられた画像に実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示することを特徴とする請求項１又は２に記載の情報処理装置である。
請求項１２に記載の発明は、前記表示制御部は、前記機能が実行できた場合、前記移動体に紐付けられた前記画像の表示形態を変化させることを特徴とする請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記表示制御部は、前記移動体に紐付けられた前記画像を当該移動体の稼働状態を表す画像に変化させることを特徴とする請求項１２に記載の情報処理装置である。
請求項１４に記載の発明は、前記移動体の管理上定めた前記範囲は、予め定められた対象を基準に定まることを特徴とする請求項１又は２に記載の情報処理装置である。
請求項１５に記載の発明は、１つ又は複数の移動体と、移動体の移動を管理する範囲を規定する第１の形状を取得する第１の取得部と、当該移動体の位置の表示に使用される表示領域を規定する第２の形状を取得する第２の取得部と、当該第１の形状を変形して当該第２の形状に一致させる変形部と、当該第１の形状の変形に応じて当該移動体の位置の表示を変化させる表示制御部とを有する情報処理装置とを有する情報処理システムである。
請求項１６に記載の発明は、コンピュータに、移動体の移動を管理する範囲を規定する第１の形状を取得する機能と、前記移動体の位置の表示に使用される表示領域を規定する第２の形状を取得する機能と、前記第１の形状を変形して前記第２の形状に一致させる機能と、前記第１の形状の変形に応じて前記移動体の位置の表示を変化させる機能と、を実現させるためのプログラムである。
The invention according to
The information processing apparatus according to
The invention according to
The information processing apparatus according to
The invention according to
The invention according to claim 6 is characterized in that the display control unit displays an image associated with the moving body at a position of the moving body mapped to the display area. The information processing apparatus according to the above.
The invention according to claim 7 is characterized in that the display control unit displays scale information as information that supplements the position of the moving body mapped to the display area in the real space. The information processing apparatus according to the above.
According to the eighth aspect of the present invention, when the position of the moving body exceeds the range defined by management, the display control unit erases the image associated with the moving body from the display area. The information processing apparatus according to
According to the ninth aspect of the present invention, when the position of the moving body is returned to the range controlled by the moving body, the display control unit redisplays the image associated with the moving body in the display area. The information processing apparatus according to
The invention according to
The invention according to claim 11 is to instruct the moving body to execute the function when another image associated with the function to be executed is superimposed on the image associated with the moving body. The information processing apparatus according to
The invention according to claim 12, wherein the display control unit changes the display form of the image associated with the moving body when the function can be executed. It is an information processing device.
The information according to claim 12, wherein the display control unit changes the image associated with the moving body into an image showing an operating state of the moving body. It is a processing device.
The invention according to claim 14 is the information processing apparatus according to
The invention according to claim 15 is a display of one or a plurality of moving bodies, a first acquisition unit that acquires a first shape that defines a range for controlling the movement of the moving body, and a position of the moving body. A second acquisition unit that acquires a second shape that defines the display area used in the above, a deformed portion that deforms the first shape to match the second shape, and a first shape. It is an information processing system having an information processing device having a display control unit that changes the display of the position of the moving body according to the deformation.
The invention according to claim 16 defines a function of acquiring a first shape that defines a range for controlling the movement of a moving body and a display area used for displaying the position of the moving body in a computer. A function of acquiring the shape of 2, a function of deforming the first shape to match the second shape, and a function of changing the display of the position of the moving body according to the deformation of the first shape. It is a program to realize.
請求項１記載の発明によれば、表示領域の形状に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
請求項２記載の発明によれば、表示領域の形状に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
請求項３記載の発明によれば、表示領域上における変化量が表示領域の形状に合わせて変化することで、ユーザによる移動体の位置の把握が容易になる。
請求項４記載の発明によれば、表示領域の形状の変化に応じて位置の表示が変化することで、ユーザによる移動体の位置の把握が容易になる。
請求項５記載の発明によれば、移動体の位置を管理上定めた区域の相似形状に合わせて表示する場合に比して、表示される管理上定めた区域の過度な縮小が回避される。
請求項６記載の発明によれば、移動体に紐付けられた画像を管理上定めた区域の表示領域に表示することで、表示される移動体の位置の把握が容易になる。
請求項７記載の発明によれば、縮尺情報の表示により距離感の把握が容易になる。
請求項８記載の発明によれば、移動体に紐付けられた画像が表示領域から消えることで、移動体が管理上定めた区域を越えたことを把握できる。
請求項９記載の発明によれば、移動体に紐付けられた画像の再表示により、移動体が管理上定めた区域内に復帰したことを把握できる。
請求項１０記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
請求項１１記載の発明によれば、機能の実行の指示が容易になる。
請求項１２記載の発明によれば、移動体に紐付けられた画像の表示形態の変化を通じて機能の実行を把握できる。
請求項１３記載の発明によれば、画像の表示形態の変化を通じて稼働状態を把握できる。
請求項１４記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
請求項１５記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
請求項１６記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
According to the first aspect of the present invention, it becomes easier for the user to grasp the position of the moving body as compared with the case where the display of the position of the moving body is not changed according to the shape of the display area.
According to the second aspect of the present invention, it becomes easier for the user to grasp the position of the moving body as compared with the case where the display of the position of the moving body is not changed according to the shape of the display area.
According to the third aspect of the present invention, the amount of change on the display area changes according to the shape of the display area, so that the user can easily grasp the position of the moving body.
According to the invention of claim 4, the display of the position changes according to the change in the shape of the display area, so that the user can easily grasp the position of the moving body.
According to the invention of
According to the invention of claim 6, by displaying the image associated with the moving body in the display area of the area defined in management, it becomes easy to grasp the position of the displayed moving body.
According to the invention of claim 7, the sense of distance can be easily grasped by displaying the scale information.
According to the invention of
According to the invention of claim 9, by redisplaying the image associated with the moving body, it can be grasped that the moving body has returned to the area defined by management.
According to the invention of
According to the invention of claim 11, it becomes easy to instruct the execution of the function.
According to the invention of claim 12, the execution of the function can be grasped through the change of the display form of the image associated with the moving body.
According to the invention of claim 13, the operating state can be grasped through the change of the display form of the image.
According to the invention of claim 14, it becomes easier for the user to grasp the position of the moving body as compared with the case where the display of the position of the moving body is not changed according to the display area.
According to the invention of claim 15, it becomes easier for the user to grasp the position of the moving body as compared with the case where the display of the position of the moving body is not changed according to the display area.
According to the invention of claim 16, it becomes easier for the user to grasp the position of the moving body as compared with the case where the display of the position of the moving body is not changed according to the display area.
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
＜システム構成例＞
図１は、実施形態の一例である情報処理システム１の概念構成を示す図である。
情報処理システム１は、ユーザ３によって操作される情報端末１００と、ユーザ３の管理下にあるロボット２００とによって構成されている。
情報端末１００は情報処理装置の一例であり、ロボット２００は移動体の一例である。
<System configuration example>
FIG. 1 is a diagram showing a conceptual configuration of an
The
The
図１では、情報端末１００としてノート型のコンピュータを例示しているが、情報端末１００は、搭載する表示デバイス又は外部の表示デバイスとの連携により、ロボット２００の位置情報を表示できる機能を備える機器であれば種類を問わない。
例えば情報端末１００は、（１）据え置き型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、モニタ等の画像表示装置、画像記録装置、画像再生装置、ゲーム機等の電子機器、（２）冷蔵庫、調理器、洗濯機等の家庭用電気製品、（３）家電モニタ等の住宅設備、（４）自動車等の車両、（５）工作機械等でもよい。
In FIG. 1, a notebook computer is illustrated as the
For example, the
本実施の形態において、「移動体」は、実空間において位置が固定されていない物であればよく、例えばぬいぐるみ等の人形や玩具、装飾品、ノート型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、ボイスレコーダ、医療器具等の可搬型の物品の他、自動車、電車、船、飛行機、ドローン等の自走機構によって実空間内を移動する有人又は無人の輸送用機器も含まれる。また、移動体には、自転車やベビーカーのように人力で移動する車両も含まれる。
移動体の移動は、面内に限らず線上を含み、水平方向に限らず上下方向を含み、屋内に限らず屋外を含み、地上に限らず、水中、空中、地中、体内を含む。
In the present embodiment, the "moving body" may be an object whose position is not fixed in the real space, for example, a doll such as a stuffed animal, a toy, an ornament, a notebook computer, a tablet computer, or a smart watch. For manned or unmanned transportation that moves in real space by self-propelled mechanisms such as automobiles, trains, ships, airplanes, drones, as well as portable items such as smartphones, digital cameras, video cameras, voice recorders, medical equipment, etc. Equipment is also included. The moving body also includes a vehicle that moves manually, such as a bicycle or a stroller.
The movement of a moving body includes not only in-plane but also on a line, not only in a horizontal direction but also in a vertical direction, not only indoors but also outdoors, and not only on the ground but also in water, in the air, in the ground, and in the body.
図１の場合、ユーザ３は、情報端末１００において実行される処理機能を通じ、管理区域３００内にあるロボット２００の所在や稼働状態を把握する。
管理区域３００は、管理対象とする移動体の所在や状態の管理のために現実の空間で定められる区域であり、物理的に定まる場合（例えば建物、オフィスや店舗のフロア、壁やパーテーションで仕切られた部屋や区画など）だけでなく、基準点との関係で物理的に定まる場合、ユーザの指定により定まる場合を含む。
基準点には、構造物、物品、人、動物、植物などの物理的に特定可能な対象が用いられる。
基準点との関係には、基準点を含む区画、基準点を含む部屋、基準点を含むフロア、基準点を含む建物、基準点を含む地域の他、基準点からの距離なども含まれる。
In the case of FIG. 1, the
The
A physically identifiable object such as a structure, an article, a person, an animal, or a plant is used as a reference point.
The relationship with the reference point includes a section including the reference point, a room including the reference point, a floor including the reference point, a building including the reference point, an area including the reference point, and a distance from the reference point.
図２及び図３は、移動体が移動可能な最大範囲を与える実空間４００の一部分を管理区域３００に設定した例を表している。
図２は、ユーザ３を含むように管理区域３００を定める例を示す図である。
図３は、基準点５から一定の距離又は一定の範囲を管理区域３００に定める例を示す図である。
図３においては、管理区域３００として、保護対象としての子供やペット、防犯対象として貴金属などが基準点５として指定された例を表している。
基準点５は必ずしも不動点に限らず、移動点であってもよい。基準点５が移動点の場合、管理区域３００の範囲は基準点５の移動に伴って移動する。
2 and 3 show an example in which a part of the
FIG. 2 is a diagram showing an example in which the controlled
FIG. 3 is a diagram showing an example in which a certain distance or a certain range from the
FIG. 3 shows an example in which a child or pet as a protection target, a precious metal as a crime prevention target, or the like is designated as a
The
図４は、実施形態の他の例である情報処理システム１０の概念構成を示す図である。図４には図１との対応部分に同一符号を付して表している。
情報処理システム１０では、情報端末１００がネットワーク５００を通じてサーバ６００に接続されている。この点が、情報処理システム１０と情報処理システム１（図１参照）との違いである。
情報処理システム１０の場合、ロボット２００の所在や稼働状態はサーバ６００で実行される処理機能を通じて情報端末１００に提供される。従って、図４における情報端末１００はいわゆる入出力装置として使用され、後述する処理機能はサーバ６００側で実行される。その意味で、サーバ６００は情報処理装置の一例である。
FIG. 4 is a diagram showing a conceptual configuration of an
In the
In the case of the
＜ロボットの構成＞
・外観構成
図５は、本実施の形態で使用するロボット２００の外観構成を説明する図である。ロボット２００は、人形や玩具の一形態である。
ロボット２００の外観構成は、図５に示すヒト型に限らず、犬やネコなどの動物、花や木などの植物、車（電車を含む）や飛行機等の乗り物を題材として表現したものでよい。本実施の形態における乗り物には有人機だけでなく無人機も含まれる。
<Robot configuration>
-Exterior configuration FIG. 5 is a diagram illustrating an external configuration of the
The appearance configuration of the
図５に例示したヒト型のロボット２００は、胴部２０１、頭部２０２、腕２０３、２０５、手２０４、２０６、足２０７、２０８を有している。
本実施の形態における胴部２０１には、信号処理のための電子部品が格納されている。胴部２０１には、表示デバイスや音響機器が搭載されてもよい。
もっとも、ロボット２００が単なる人形である場合、胴部２０１には詰め物が充填される。
The
An electronic component for signal processing is stored in the
However, when the
本実施の形態における頭部２０２は、首の部分に設けられたジョイント機構を介して胴部２０１に連結されている。
本実施の形態の場合、ジョイント機構は、３軸まわりに回転可能である。３軸まわりの回転とは、ヨー（ｚ軸まわりの回転）、ロール（ｘ軸まわりの回転）、ピッチ（ｙ軸まわりの回転）の３つである。
３軸の全てに対して回転可能である必要はなく、１軸のみ又は２軸について回転可能でよい。これらの回転は手動で行われてもよいし、不図示のモーターによる回転駆動により実現してもよい。もっとも、頭部２０２が胴部２０１に対して固定される場合を妨げない。
頭部２０２には目２０２Ａ、２０２Ｂが設けられている。目２０２Ａ及び２０２Ｂは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部２０２には可動式の耳が配置されていてもよい。
The
In the case of this embodiment, the joint mechanism can rotate around three axes. The rotations around the three axes are yaw (rotation around the z-axis), roll (rotation around the x-axis), and pitch (rotation around the y-axis).
It does not have to be rotatable with respect to all three axes, but may be rotatable with respect to only one axis or two axes. These rotations may be performed manually or may be realized by rotational drive by a motor (not shown). However, it does not prevent the
The
本実施の形態における腕２０３及び２０５は、胴部２０１とジョイント機構を介して連結されている。腕２０３及び２０５の上腕と前腕は、ジョイント機構を介して連結されている。
本実施の形態の場合、ジョイント機構は、頭部２０２と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動により実現してもよい。
もっとも、腕２０３及び２０５は、胴部２０１に固定されていてもよい。
なお、腕２０３及び２０５を予め定めた角度に折り曲げれば、物の運搬に用いることができる。
The
In the case of the present embodiment, the joint mechanism may be multi-axis or single-axis as in the
However, the
If the
手２０４及び２０６は、手首の部分に設けられたジョイント機構を介して腕２０３及び２０５に連結されている。手２０４及び２０６の手の平と指は、いずれもジョイント機構を介して連結されている。
本実施の形態におけるジョイント機構は、頭部２０２と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。
本実施の形態の場合、手２０４及び２０６は、指の開閉により物を掴むことができる。
手２０４及び２０６は、腕２０３及び２０５に対して固定でもよい。
The
The joint mechanism in the present embodiment may be multi-axis or single-axis as in the
In the case of the present embodiment, the
The
足２０７及び２０８は、ジョイント機構を介して胴部２０１に連結されてもよいし、車輪やキャタピラー等の自走機構として胴部２０１に取り付けられてもよい。
足２０７及び２０８がジョイント機構を介して胴部２０１に連結される場合、ジョイント機構は、頭部２０２と同じく多軸でも単軸でもよい。
また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。なお、足２０７及び２０８は、胴部２０１に対して固定でもよい。
The
When the
Further, the rotation around the axis may be realized manually, or may be realized by rotational driving by a motor (not shown). The
・ハードウェア構成
図６は、本実施の形態におけるロボット２００のハードウェア構成を説明する図である。
ロボット２００は、装置全体の動きを制御する制御部２１０と、静止画像又は動画像を撮像するカメラ２１１と、会話用の音声、楽曲、効果音を再生するスピーカ２１２と、音の入力又は取得に用いられるマイク２１３と、ジョイント機構などの可動機構２１４と、外部装置との通信に用いられる通信部２１５と、画像を表示する表示部２１６と、装置全体を移動させる移動機構２１７と、各部に電力を供給する電源２１８と、各部の状態や周辺情報の収集に使用されるセンサ２１９と、位置情報の取得に用いられる位置検知部２２０とを有している。これらの各部は、例えばバス２２１により互いに接続されている。
-Hardware configuration FIG. 6 is a diagram illustrating a hardware configuration of the
The
言うまでもなく、図６に示すハードウェア構成は一例である。従って、ロボット２００は、前述した全ての部材を搭載する必要はない。
また、ロボット２００は、不図示の部材を更に搭載してもよい。例えばロボット２００は、電源ボタン、記憶装置（ハードディスク装置、半導体メモリ等）、熱源（冷却源を含む。）等を搭載してもよい。
Needless to say, the hardware configuration shown in FIG. 6 is an example. Therefore, the
Further, the
制御部２１０は、いわゆるコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有している。
ＲＯＭには、ＣＰＵにより実行されるプログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、ＣＰＵはロボット２００を構成する各部の動作を制御する。
The
The ROM stores a program executed by the CPU. The CPU reads the program stored in the ROM and executes the program using the RAM as the work area. Through the execution of the program, the CPU controls the operation of each part constituting the
制御部２１０は、例えばカメラ２１１、マイク２１３、センサ２１９を通じて取得される情報をプログラムに従って処理する機能を有している。
ここでの情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ２１１で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク２１３で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚（触覚、痛覚、温度覚）、深部覚（圧覚、位置覚、振動覚など）、皮質性感覚（二点識別覚、立体識別能力など）が含まれる。制御部２１０は、触覚の違いを分別できる。
触覚、味覚、臭覚、平衡感覚、温度は、各種のセンサ２１９による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部２１０が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部２１５で受信すればよい。
The
The information here includes, for example, visual, auditory, tactile, taste, olfactory, equilibrium, and temperature.
Vision is realized through the recognition process of the image captured by the
Hearing is realized through the sound recognition process acquired by the
Tactile sensations include, for example, superficial sensations (tactile sensations, pain sensations, temperature sensations), deep sensations (pressure sensations, position sensations, vibration sensations, etc.), and cortical sensations (two-point discrimination sensations, stereoscopic discrimination abilities, etc.). The
The sense of touch, taste, smell, balance, and temperature are realized through the detection of information by
Further, the information acquired by the
制御部２１０には、取得した情報を認識し、処理するための機能が備えられている。これらの機能は、内蔵されたプログラムや通信部２１５を通じて接続された外部のコンピュータで実行されるプログラムを通じて実現される。
認識処理では、人工知能に基づく機械学習を採用してもよく、当該技術を採用すればヒトに近い判断結果が得られる。最近では、ニューラルネットワーク型のディープラーニングが発達している。また部分的に学習分野を強化する強化学習などによる認識精度の向上も進んでいる。
さらに、制御部２１０には、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて情報を収集し、検索事象との類似度によって解決策を発見する機能を搭載してもよい。
The
In the recognition process, machine learning based on artificial intelligence may be adopted, and if the technology is adopted, a judgment result close to that of a human can be obtained. Recently, neural network type deep learning has been developed. In addition, the recognition accuracy is being improved by reinforcement learning that partially strengthens the learning field.
Further, even if the
制御部２１０は、認識結果や処理結果に基づいて、各種の動作を実行する。例えばスピーカ２１２を通じて音声を出力したり、通信部２１５を通じてメッセージを送信したり、表示部２１６を通じて画像を出力してもよい。
これら情報の入出力や可動機構２１４の動きを通じ、制御部２１０は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
また、制御部２１０は、コミュニケーションの記録機能や議事録の作成機能を有してもよい。
The
Through the input / output of such information and the movement of the
Further, the
通信を確立できない外部機器が存在する場合、制御部２１０は、外部機器の遠隔操作のために用意されたコントローラを画像認識（例えば形状やリモコンに記載されている文字による認識）により特定し、特定されたコントローラに対する操作を通じて外部機器に対して指示を送信できるようにしてもよい。
When there is an external device for which communication cannot be established, the
本実施の形態の場合、カメラ２１１は、目２０２Ａ及び２０２Ｂ（図５参照）の位置に配置される。
また、表示部２１６として投影機が用いられる場合、投影機は、例えば目２０２Ａ及び２０２Ｂ（図５参照）のいずれか一方又は両方に配置することができる。なお、投影機は胴部２０１や頭部２０２に配置してもよい。
In the case of this embodiment, the
When a projector is used as the
可動機構２１４は、物の搬送の他、感情を表現する目的でも使用される。
物の搬送に使用される場合、可動機構２１４は、腕２０３、２０５や手２０４、２０６の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構２１４は、例えば頭部２０２、腕２０３、２０５等（図５参照）の駆動を通じて、頭を傾げる、見上げる、周囲を見回す（キョロキョロする）、万歳する、指さし等の動作を実行する。
The
When used for transporting an object, the
When used to express emotions, the
本実施の形態における通信部２１５は、無線方式によって外部と通信する。
ロボット２００には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部２１５が搭載される。
通信方式には、例えば赤外線通信、可視光通信、近接無線通信、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、ＲＦＩＤ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＩＥＥＥ８０２．１１ａ（登録商標）、ＭｕｌｔｅＦｉｒｅ、ＬＰＷＡ（Low Power Wide Area）等がある。
無線通信に使用する帯域には、短波長帯（例えば８００ＭＨｚ〜９２０ＭＨｚ）、長波長帯（例えば2．4ＧＨｚ、5ＧＨｚ）等がある。
なお、通信部２１５と外部装置との接続には通信ケーブルを使用してもよい。
The
The
Communication methods include, for example, infrared communication, visible light communication, proximity wireless communication, WiFi (registered trademark), Bluetooth (registered trademark), RFID (registered trademark), ZigBee (registered trademark), IEEE802.11a (registered trademark), and MultiFire. , LPWA (Low Power Wide Area) and the like.
The band used for wireless communication includes a short wavelength band (for example, 800 MHz to 920 MHz), a long wavelength band (for example, 2.4 GHz, 5 GHz) and the like.
A communication cable may be used to connect the
これらの通信機能の応用例として、ロボット２００は、仮想通貨による決済機能を有してもよい。
決済機能には、事前に預託された金額の範囲での決済が可能なプリペイド式、後払い型のクレジット決済、指定口座から代金を決済するデビットカード決済等を用いてもよい。
通貨は、ビットコイン（登録商標）のような仮想通貨でもよい。
なお、ロボット２００の胴部２０１に現金を収容する空間を設け、必要に応じて決済に必要な金額を排出する機能、収容されている現金を取り出せるように扉を開閉する機能などを設けてもよい。
スピーカ２１２と連動して、ヒトに現金を借りる機能を設けてもよい。
As an application example of these communication functions, the
As the payment function, a prepaid type, a postpaid type credit card payment, a debit card payment for payment from a designated account, or the like, which allows payment within the range of the amount deposited in advance, may be used.
The currency may be a virtual currency such as Bitcoin (registered trademark).
Even if a space for accommodating cash is provided in the
A function of borrowing cash from a person may be provided in conjunction with the
表示部２１６は、ユーザとの間で視覚的なコミュニケーションを実現するために用いられる。
本実施の形態の場合、表示部２１６には、文字や図形が表示される。
表示部２１６が頭部２０２に配置される場合、表示部２１６に表情を表示してもよい。
The
In the case of this embodiment, characters and figures are displayed on the
When the
本実施の形態の場合、移動機構２１７には車輪やキャタピラーを用いるが、プロペラや圧縮空気の吹き出し機構を用い、空気の力でロボット２００を移動させてもよい。
本実施の形態における電源２１８には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源２１８の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。
In the case of the present embodiment, wheels and caterpillars are used for the moving
A secondary battery is used as the
Further, instead of the
本実施の形態の場合、ロボット２００には、位置検知部２２０が搭載されている。
位置検知部２２０には、例えばＧＰＳ（Global Positioning System）信号から地点情報を読み取る方式、ＧＰＳと同等の信号を用いて屋内の位置を測位するＩＭＥＳ（Indoor Messaging System）方式、ＷｉＦｉの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するＷｉＦｉ測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、ＬＥＤ（Light Emitting Diode）等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。
In the case of this embodiment, the
The
図７は、ビーコンを用いる測位方式を説明する図である。図７の場合、発振器７００Ａが壁に配置され、発振器７００Ｂが床に配置され、発振器７００Ｃが天井に配置され、発振器７００Ｄが画像形成装置７００の内部に配置されている。各発信器からは、固有の位置情報によって変調されたビーコンが発せられる。
位置検出技術には、屋内用の技術に限らず、屋外用の技術を用いてもよい。ロボット２００が屋内と屋外の両方で使用される場合、屋内用と屋外用の２種類の位置検知部２２０を搭載してもよい。
検出又は推定された位置情報は、通信部２１５を通じて情報端末１００やサーバ６００に通知される。
FIG. 7 is a diagram illustrating a positioning method using a beacon. In the case of FIG. 7, the
The position detection technique is not limited to the technique for indoor use, and the technique for outdoor use may be used. When the
The detected or estimated position information is notified to the
本実施の形態の場合、ロボット２００に位置検知部２２０が搭載されているが、位置検知部２２０が搭載されていない場合には、外部設備を通じてロボット２００の位置情報を取得又は推定してもよい。
図８は、ロボット２００から送信される通信用の電波からロボット２００の位置を測位する方式を説明する図である。
ロボット２００から送信された電波２２５は、位置が既知のアクセスポイント８００Ａ、８００Ｂ、８００Ｃで受信される。位置測位部９００は、アクセスポイント８００Ａ、８００Ｂ、８００Ｃで受信された電波２２５の強度や遅延時間等からロボット２００の位置を測位する。測位された位置情報は、位置測位部９００から情報端末１００やサーバ６００に通知される。
もっとも、位置測位部９００としての機能を情報端末１００やサーバ６００が実行してもよい。
In the case of the present embodiment, the
FIG. 8 is a diagram illustrating a method of positioning the position of the
The
However, the
この他、ロボット２００との間で近接無線通信が確立した読取装置（いわゆるリーダ）の位置情報をロボット２００の位置として用いてもよい。
また、屋内や屋外に配置された監視カメラなどによって撮像された画像にロボット２００の画像が含まれる場合、ロボット２００を撮像した監視カメラの位置などをロボット２００の位置として用いてもよい。ロボット２００の検出には画像認識技術を使用する。
ここでの監視カメラを使用する方法は、ロボット２００が電子部品を搭載しない人形の場合にも適用できる。
In addition, the position information of the reader (so-called reader) for which proximity wireless communication has been established with the
Further, when the image of the
The method of using the surveillance camera here can also be applied to the case where the
＜情報端末及びサーバの構成＞
続いて、情報端末１００及びサーバ６００の構成について説明する。以下では、情報端末１００の構成について説明する。
<Configuration of information terminal and server>
Subsequently, the configurations of the
・ハードウェア構成
図９は、本実施の形態における情報端末１００のハードウェア構成を説明する図である。
情報端末１００は、装置全体の動きを制御する制御部１１０と、ユーザによる操作入力を受け付ける操作部１１１と、外部装置との通信に用いられる通信部１１２と、各種のデータの記憶に用いられる記憶部１１３と、各種のアプリケーションに対応する作業画面を表示する表示部１１４と、音声や楽曲、効果音などを出力するスピーカ１１５とを有している。これらの各部は、例えばバス１１６により互いに接続されている。
-Hardware configuration FIG. 9 is a diagram illustrating a hardware configuration of the
The
言うまでもなく、図９に示すハードウェア構成は一例である。従って、情報端末１００は、前述した全ての部材を搭載する必要はない。また、情報端末１００は、不図示の部材を更に搭載してもよい。
なお、サーバ６００の場合は、制御部１１０、通信部１１２、記憶部１１３が搭載されていればよい。
Needless to say, the hardware configuration shown in FIG. 9 is an example. Therefore, the
In the case of the
制御部１１０は、いわゆるコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有している。
ＲＯＭには、ＣＰＵにより実行されるプログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、ＣＰＵは情報端末１００を構成する各部の動作を制御する。
本実施の形態における制御部１１０は表示制御部の一例である。表示制御部としての機能については後述する。
The
The ROM stores a program executed by the CPU. The CPU reads the program stored in the ROM and executes the program using the RAM as the work area. Through the execution of the program, the CPU controls the operation of each part constituting the
The
操作部１１１には、マウス、キーボード、タッチパネル等が用いられる。タッチパネルは、表示部１１４の前面側に配置される。
通信部１１２は、有線方式により又は無線方式により外部装置と通信するための装置である。本実施の形態における通信部１１２は、無線方式により外部装置と通信する。外部装置の一例がロボット２００である。
記憶部１１３は、ハードディスク装置その他の大容量の記憶装置である。ＣＰＵで実行されるプログラムは記憶部１１３に記憶されていてもよい。
A mouse, keyboard, touch panel, or the like is used for the
The
The
表示部１１４には、液晶ディスプレイパネル、有機ＥＬ（electroluminescence）ディスプレイパネル等が用いられる。なお、表示部１１４は、情報端末１００に対して外付けされるモニタでもよい。
A liquid crystal display panel, an organic EL (electroluminescence) display panel, or the like is used for the
・ソフトウェア構成
図１０は、本実施の形態に係る情報端末１００のソフトウェア構成を説明する図である。図１０に示すソフトウェア構成は、制御部１１０によるプログラムの実行を通じて実現される。
Software Configuration FIG. 10 is a diagram illustrating a software configuration of the
制御部１１０は、実空間４００（図２、図３参照）上におけるロボット２００の位置情報を取得する位置情報取得部１１０１と、ロボット２００の位置管理に用いる基準位置を取得する基準位置取得部１１０２と、基準位置からロボット２００の距離を計算する距離計算部１１０３として機能する。
The
位置情報取得部１１０１は、通信部１１２（図９参照）を通じてロボット２００の位置情報を取得してもよいし、無線基地局における受信強度や遅延時間等に基づいてロボット２００の位置情報を計算してもよい。
基準位置取得部１１０２は、基準位置として情報端末１００を操作するユーザの位置、管理区域３００の中心位置、ユーザによって指定された基準点５（図３参照）等のいずれを使用するかを取得する。
基準位置の情報は、指示受付部１１０７から与えられる。
The position
The reference
Information on the reference position is given by the
距離計算部１１０３は、基準位置とロボット２００との距離Ｌを計算する。
距離Ｌの例を図１１〜図１３に示す。
図１１は、ユーザ３とロボット２００との距離Ｌを説明する図である。この場合、ユーザ３とロボット２００は管理区域３００内に位置する。
図１２は、管理区域３００の中心位置Ｐｃとロボット２００との距離Ｌを説明する図である。この場合、ユーザ３は管理区域３００の内側に位置してもよいし、ユーザ３Ａのように管理区域３００の外側に位置してもよい。
図１３は、子供やペット等の基準点５とロボット２００との距離Ｌを説明する図である。この場合も、ユーザ３は管理区域３００の内側に位置してもよいし、ユーザ３Ａのように管理区域３００の外側に位置してもよい。
The
An example of the distance L is shown in FIGS. 11 to 13.
FIG. 11 is a diagram illustrating a distance L between the
FIG. 12 is a diagram illustrating a distance L between the central position Pc of the controlled
FIG. 13 is a diagram illustrating a distance L between the
図１０の説明に戻る。制御部１１０は、ロボット２００の管理範囲を規定する管理区域３００（図１〜図４参照）の位置情報を取得する管理区域情報取得部１１０４と、表示部１１４（図９参照）の画面上で管理区域３００の表示に使用される表示領域の情報を取得する表示領域情報取得部１１０５と、取得された表示領域の形状に応じて画面上に配置する管理区域３００の形状を変形する管理区域形状変形部１１０６として機能する。
Returning to the description of FIG. The
管理区域情報取得部１１０４は、ユーザによって指定された管理区域３００のレイアウト情報等を不図示のデータベース等から取得する。
データベースは記憶部１１３（図９参照）に保存されていてもよいし、通信部１１２（図９参照）を通じて接続された外部の記憶装置に格納されていてもよい。
本実施の形態における管理区域情報取得部１１０４は、管理区域３００の情報として、レイアウト情報、実空間内に配置又は存在する備品の情報、位置の把握に必要なランドマーク等の情報も取得する。
The management area
The database may be stored in the storage unit 113 (see FIG. 9) or may be stored in an external storage device connected through the communication unit 112 (see FIG. 9).
The management area
本実施の形態における管理区域情報取得部１１０４は、取得された管理区域３００の情報のうち少なくともレイアウト情報を管理区域形状変形部１１０６に出力する。
もっとも、管理区域情報取得部１１０４は、前述したレイアウト以外の情報も含めて管理区域形状変形部１１０６に出力してもよい。
なお、レイアウト情報は、設計図や地図レベルの精密かつ正確な情報に限らず、おおよその形状を表現した簡略的な情報でもよい。
The management area
However, the management area
The layout information is not limited to precise and accurate information at the design drawing or map level, but may be simple information expressing an approximate shape.
レイアウト情報には、管理区域３００内の領域の把握に有用な情報、例えば部署やチームの名称、店舗の名称等を含めてもよい。
備品やランドマークは、概念的なイメージを表す記号やマークによって表示画面１１４Ａに表現されてもよい。
ただし、位置関係の把握の実現には、表示される情報量が増えすぎないことが好ましい。
また、位置関係の把握には、おおよそのレイアウトとレイアウト内の位置関係が分かればよい。このため、備品やランドマーク等に関する情報のうち実際に表示される情報は、表示画像生成部１１１０において選択してもよい。
管理区域３００の設定又は選択に関する情報は、指示受付部１１０７から与えられる。
The layout information may include information useful for grasping the area within the controlled
Equipment and landmarks may be represented on the
However, it is preferable that the amount of information displayed does not increase too much in order to grasp the positional relationship.
Further, in order to grasp the positional relationship, it is sufficient to know the approximate layout and the positional relationship within the layout. Therefore, the information that is actually displayed among the information related to equipment, landmarks, and the like may be selected by the display
Information regarding the setting or selection of the controlled
表示領域情報取得部１１０５は、管理区域３００の表示に使用できる表示領域の情報を取得する。
表示領域情報取得部１１０５は、表示画面１１４Ａの物理的な情報（例えば７インチディスプレイ、解像度等）を取得する他、指示受付部１１０７を通じて受け付けた他の作業画面の寸法や配置位置に関する情報も取得する。
表示画面１１４Ａ上に他の作業画面が表示されていない場合、表示上の管理区域（以下「仮想管理区域」という。）の表示には、表示部１１４の画面全体（表示画面１１４Ａ）を使用できる。もっとも、仮想管理区域の表示に使用できる最大範囲は、ユーザが設定し又は調整してもよい。
表示画面１１４Ａ上に他の作業画面が表示される場合、仮想管理区域３００Ａの表示には、表示画面１１４Ａから他の作業画面を除いた部分が用いられる。
The display area
The display area
When no other work screen is displayed on the
When another work screen is displayed on the
管理区域形状変形部１１０６は、管理区域３００のレイアウト情報を例えば図１４〜図１７に示すように変形する。
図１４は、実空間における管理区域３００が楕円形状であるのに対し、表示部１１４の表示画面１１４Ａが概略矩形である場合の変形処理を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
The control area
FIG. 14 is a diagram for explaining the deformation process when the
図１４の場合、管理区域形状変形部１１０６は、変形後の仮想管理区域３００Ａが表示画面１１４Ａの形状（例えば５インチディスプレイ）と一致するように、管理区域情報取得部１１０４から与えられた仮想管理区域３００Ａの全体を非線形に変形している。変形後の仮想管理区域３００Ａは、ロボット２００に紐付けられた画像（図１９等で後述する画像２００Ａ）の位置表示に使用される表示領域の一例である。
非線形に変形されるので、変形前のレイアウトと変形後のレイアウトは相似にはならない。
In the case of FIG. 14, the controlled area
Since it is deformed non-linearly, the layout before deformation and the layout after deformation are not similar.
図１４の例では、仮想管理区域３００Ａのうち、表示画面１１４Ａから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面１１４Ａの四隅の領域では伸長変換が適用される。
このように、図１４に示す変形処理は、領域によって圧縮変換と伸長変換が適用される不均一な変形であり、変形後の仮想管理区域３００Ａには、圧縮される領域と伸長される領域が混在する。すなわち、図１４に示す仮想管理区域３００Ａには、縮尺が異なる領域が混在している。
なお、管理区域形状変形部１１０６による仮想管理区域３００Ａの変形は、基準点に対するロボット２００の遠近と基準点に対するロボット２００のおおよその方向を把握できる程度に情報が保存される変形であればよい。
In the example of FIG. 14, the compression conversion is applied to the horizontal direction in which a part of the area protrudes from the
As described above, the deformation process shown in FIG. 14 is a non-uniform deformation to which the compression conversion and the decompression conversion are applied depending on the region, and the
The deformation of the
このような変形を実現する手法は１つではなく、様々な手法が考えられる。
例えば個々の領域における変形量が表示画面１１４Ａの中心から遠いほど大きく、表示画面１１４Ａの中心に近いほど小さくなるようにしてもよい。
また、方向や領域別に圧縮すべき量や伸長すべき量を特定し、その大きさに応じて各方向や領域に対する変形量を定めてもよい。
There is not only one method for realizing such a transformation, but various methods can be considered.
For example, the amount of deformation in each region may be larger as it is farther from the center of the
Further, the amount to be compressed and the amount to be decompressed may be specified for each direction and region, and the amount of deformation for each direction and region may be determined according to the size.
なお、管理区域情報取得部１１０４から与えられた仮想管理区域３００Ａの形状と表示画面１１４Ａの形状が相似である場合には、管理区域形状変形部１１０６が、仮想管理区域３００Ａを相似変換してもよい。
もっとも、管理区域情報取得部１１０４から与えられた仮想管理区域３００Ａの形状と表示画面１１４Ａの形状が相似でも、仮想管理区域３００Ａの一部領域を非線形に変形することは可能である。
If the shape of the
However, even if the shape of the
図１５は、ユーザ３が位置する管理区域３００の端部が画面左端に位置するように仮想管理区域３００Ａを変形する例を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は表示上の仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
FIG. 15 is a diagram illustrating an example of deforming the
図１５の例では、仮想管理区域３００Ａのうち、表示画面１１４Ａから領域の一部がはみ出す水平方向には左端に向けて全体的に圧縮変形する処理が適用され、表示画面１１４Ａの左上隅と左下隅の領域では伸長変換が適用される。
この変形手法でも、仮想管理区域３００Ａが表示画面１１４Ａと同じ概略矩形に変形されるが、実空間上における地点と表示画面上の地点の対応関係の分布は図１４の例とは異なるものになる。
In the example of FIG. 15, in the
Even with this transformation method, the
図１６は、実空間における管理区域３００が一方向に長い長方形状（例えば細長い通路）であるのに対し、表示部１１４の表示画面１１４Ａが概略矩形である場合の変形処理を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
FIG. 16 is a diagram illustrating a deformation process when the
図１６の例では、仮想管理区域３００Ａのうち、表示画面１１４Ａから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面１１４Ａの上下方向には伸長変換が適用される。
図１６に示すように一方向の長い長方形状の場合にも、図１５に例示したように、ユーザ３が位置する管理区域３００の端部が画面左端に位置するように仮想管理区域３００Ａを変形してもよい。
In the example of FIG. 16, in the
Even in the case of a long rectangle in one direction as shown in FIG. 16, as illustrated in FIG. 15, the
ところで、図１４〜図１６に示す変形の例では、変形後の仮想管理区域３００Ａの形状を表示画面１１４Ａの形状に一致させているが、変形後の仮想管理区域３００Ａの形状が表示画面１１４Ａの形状に一致しなくてもよい。
このような例を図１７に示す。図１７は、変形後の仮想管理区域３００Ａの形状が表示画面１１４Ａの形状に一致しない例を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。
図１７は、実空間における管理区域３００が一方向に長い長方形状（例えば細長い通路）であるのに対し、表示画面１１４Ａが概略矩形である場合を表している。
By the way, in the deformation examples shown in FIGS. 14 to 16, the shape of the
An example of this is shown in FIG. 17A and 17B are diagrams for explaining an example in which the shape of the
FIG. 17 shows a case where the
図１７の例では、表示画面１１４Ａからはみ出す領域がある水平方向についてのみ圧縮しているので、表示画面１１４Ａには仮想管理区域３００Ａの上下位置に余白が生じている。
しかし、左右方向については、表示画面１１４Ａに収まるように変形しているので、図１７に示す変形も、特許請求の範囲における「表示領域の形状に応じて変形する」の一例である。
In the example of FIG. 17, since compression is performed only in the horizontal direction where there is an area protruding from the
However, since the left-right direction is deformed so as to fit in the
続いて、表示画面１１４Ａ上に他の作業画面が表示されている又は新たに表示される場合における仮想管理区域３００Ａの変形例について説明する。
図１８は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、他の作業画面と重ならないように仮想管理区域３００Ａを変形させる例を説明する図であり、（ａ）は実空間における管理区域３００の形状を示し、（ｂ）は仮想管理区域３００Ａに加えられる部分領域別の変形の方向と大きさを示す。
ここでの他の作業画面１１４Ｂは、特許請求の範囲における「他の作業領域」の一例である。
Subsequently, a modification of the
FIG. 18 is a diagram illustrating an example in which the
The
図１８の場合、変形前は楕円形状であった仮想管理区域３００ＡがＬ字形状に変形されている。
なお、仮想管理区域３００Ａの形状は、他の作業画面１１４Ｂの形状が変化すると又は閉じられると、他の作業画面１１４Ｂの形状変化に連動して変化する。
In the case of FIG. 18, the
The shape of the
図１０の説明に戻る。制御部１１０は、ユーザ３からの指示を受け付ける指示受付部１１０７としての機能を有している。
ここでの指示には、前述した基準位置の指定、管理区域３００の指定などが含まれる。
Returning to the description of FIG. The
The instructions here include the above-mentioned designation of the reference position, designation of the controlled
また、制御部１１０は、指示受付部１１０７で受け付けた指示のうち外部装置（例えばロボット２００）に対する指示内容を通信部１１２により送信する指示送信部１１０８として機能する。
例えば表示画面１１４Ａ上で、ロボット２００に実行させたい機能を表す画像がロボット２００に紐付けられた画像２００Ａ（図１９参照）に重ね合わせるように移動された場合、指示送信部１１０８は、該当する機能の実行を指示するコマンドをロボット２００に送信する。ここでの「ロボット２００に実行させたい機能を表す画像」は、特許請求の範囲における「他の画像」の一例である。
Further, the
For example, when the image representing the function to be executed by the
また、制御部１１０は、位置情報取得部１１０１から与えられるロボット２００やユーザ３（又は３Ａ）の位置情報を表示画面１１４Ａに表示される仮想管理区域３００Ａ上にマッピングするマッピング部１１０９として機能する。
マッピング部１１０９は、ロボット２００やユーザ３（又は３Ａ）が管理区域３００内に位置するか否かを判断する機能も有している。
Further, the
The
本実施の形態におけるマッピング部１１０９は、管理区域形状変形部１１０６で実行された変形処理の情報を取得し、又は、管理区域３００と仮想管理区域３００Ａの間の座標の対応関係に関する情報を取得し、仮想管理区域３００Ａ上にロボット２００やユーザ３の位置をマッピングする（対応付ける）処理を実行する。
マッピング処理の際には、表示部１１４の解像度も考慮される。従って、ディスプレイの寸法が同じでも解像度が異なればロボット２００やユーザ３のマッピング位置は異なる可能性がある。
The
The resolution of the
さらに、制御部１１０は、ロボット２００の位置情報がマッピングされた後の仮想管理区域３００Ａに基づいて、仮想管理区域３００Ａの画像を生成する表示画像生成部１１１０としても機能する。
ここで、表示画像生成部１１１０は、ロボット２００の位置をアイコンや画像等によって仮想管理区域３００Ａ上に表示する。
Further, the
Here, the display
管理区域３００に配置されたカメラが撮像したロボット２００の画像が画像取得部１１１１から与えられる場合、表示画像生成部１１１０は、アイコンに代えてロボット２００の実画像を表示することもできる。
図１９は、表示画面１１４Ａにおけるロボット２００の位置表示に実画像を用いる例を説明する図であり、（ａ）はカメラ９１０の配置例を示し、（ｂ）は仮想管理区域３００Ａにおける表示例を示す。
実画像（画像２００Ａ）を用いることで、仮想管理区域３００Ａ上で管理される物品が複数の場合にも、ユーザ３による位置の把握が容易になる。
When the image of the
19A and 19B are views for explaining an example in which an actual image is used for displaying the position of the
By using the real image (
また、表示画像生成部１１１０は、距離計算部１１０３から距離情報を入力してもよい。この場合、表示画像生成部１１１０は、表示画面１１４Ａ上に距離を表す数値を表示することができる。表示例については後述する。
また、表示画像生成部１１１０は、距離に応じて画像２００Ａの表示寸法を変更することもできる。表示例については後述する。
Further, the display
In addition, the display
また、表示画像生成部１１１０は、仮想管理区域３００Ａ以外の作業画面（他の作業画面１１４Ｂ）が画面上に表示された場合に、仮想管理区域３００Ａの表示寸法はそのままに他の作業画面１１４Ｂを避けるように表示位置を移動させる機能を有してもよい。図２０〜図２３に表示位置の移動例を示す。
Further, when the display
図２０は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、仮想管理区域３００Ａを表示画面１１４Ａ内で移動する例を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の仮想管理区域３００Ａの表示位置を示し、（ｂ）は他の作業画面１１４Ｂが表示された後の仮想管理区域３００Ａの表示位置を示す。
FIG. 20 is a diagram illustrating an example of moving the
図２１は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、仮想管理区域３００Ａを表示画面１１４Ａと仮想管理画面１１４Ｃを跨ぐ位置に移動する例を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の仮想管理区域３００Ａの表示位置を示し、（ｂ）は他の作業画面１１４Ｂが表示された後の仮想管理区域３００Ａの表示位置を示す。
ここで、仮想管理画面１１４Ｃは、物理的な表示画面１１４Ａの外側に位置する非表示のページである。非表示のページは仮想空間の一例である。図２１では、非表示のページが１つの例を表しているが、非表示のページ数は複数でもよい。
FIG. 21 is a diagram illustrating an example of moving the
Here, the
図２１の例では、仮想管理区域３００Ａの形状を変化させずに表示位置を移動させているが、新たに表示された他の作業画面１１４Ｂに応じて仮想管理区域３００Ａの形状を変化させた後に表示位置を移動させてもよい。
例えば他の作業画面１１４Ｂに応じて単純に変形したのでは仮想管理区域３００Ａの表示面積が小さくなりすぎて、ロボット２００の位置の理解そのものが困難になる可能性がある。
そこで、仮想管理区域３００Ａの表示面積が予め定めた面積より小さくならないように変形し、その後、仮想管理区域３００Ａの表示位置を移動させてもよい。
In the example of FIG. 21, the display position is moved without changing the shape of the
For example, if the
Therefore, the display area of the
図２２は、表示画面１１４Ａ上に他の作業画面１１４Ｂが表示される場合に、仮想管理区域３００Ａを仮想管理画面１１４Ｃに移動する例を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の仮想管理区域３００Ａの表示位置を示し、（ｂ）は他の作業画面１１４Ｂが表示された後の仮想管理区域３００Ａの表示位置を示す。
この場合も、仮想管理区域３００Ａの形状を変形した後に表示位置を移動させてもよい。
FIG. 22 is a diagram illustrating an example of moving the
In this case as well, the display position may be moved after the shape of the
また、表示画像生成部１１１０には、ロボット２００に紐付けられた画像２００Ａの表示寸法を基準位置からの距離に応じて変化させる機能を搭載してもよい。
図２３は、距離Ｌに応じてロボット２００に紐付けられた画像２００Ａの表示寸法を変化させる例を説明する図であり、（ａ）は実空間上におけるユーザ３とロボット２００の距離Ｌの関係を示し、（ｂ）は表示寸法の変化が連続的である場合を示し、（ｃ）は表示寸法の変化がステップ的である場合を示す。
Further, the display
FIG. 23 is a diagram illustrating an example of changing the display dimension of the
図２３に示すように、表示画像生成部１１１０は、距離Ｌが近くなるほど大きな表示寸法で画像２００Ａを表示し、距離Ｌが遠くなるほど小さい表示寸法で画像２００Ａを表示する。このように表示寸法を変化させることで、ユーザ３によるロボット２００の位置の把握が容易になる。
なお、ステップ的な表示寸法の変化は、距離Ｌと閾値との比較により実現される。例えば距離Ｌが閾値を超えるタイミングで（大きい方に超える場合と小さい方に超える場合の２種類がある）、表示画像生成部１１１０は画像２００Ａの表示寸法を変化させる。
本実施の形態では、画像２００Ａの表示寸法を変化させる機能を、仮想管理区域３００Ａを表示画面１１４Ａの形状に応じて変形させる機能と組み合わせて用いるが、表示領域の形状の変形とは無関係に画像２００Ａの表示寸法を変化させてもよい。
As shown in FIG. 23, the display
The stepwise change in the display dimension is realized by comparing the distance L with the threshold value. For example, when the distance L exceeds the threshold value (there are two types, a case where the distance L exceeds the threshold value and a case where the distance L exceeds the threshold value), the display
In the present embodiment, the function of changing the display dimension of the
なお、表示画面１１４Ａでの表示寸法の変化によってロボット２００が近いか遠いかを把握することはできても実際の距離までは分からない。
距離の理解には、仮想管理区域３００Ａ上における各位置の表示縮尺や距離情報の表示が必要である。
図２４は仮想管理区域３００Ａの各部に表示縮尺（スケールバー）を表示する例を示す図である。図２４の例では表示画面１１４Ａの４隅部分に比して画面中央側の十字領域の圧縮比率が高いことを表している。
表示縮尺は、縮尺情報の一例であり、表示画面１１４Ａにマッピングされた画像２００Ａに対応するロボット２００の実空間４００上における位置を補足する情報として用いられる。
It should be noted that although it is possible to grasp whether the
In order to understand the distance, it is necessary to display the display scale and the distance information of each position on the
FIG. 24 is a diagram showing an example of displaying a display scale (scale bar) in each part of the
The display scale is an example of scale information, and is used as information for supplementing the position of the
図２５は表示寸法が表す距離情報を画面上に表示する例を説明する図であり、（ａ）は表示寸法と距離の対応見本を示し、（ｂ）は画像２００Ａの近傍に距離の目安が表示される例を示す。
図２６はロボット２００の位置を特定するエリア名で表示する例を説明する図であり、（ａ）は管理区域３００で規定されているエリア名を示し、（ｂ）は仮想管理区域３００Ａ上にロボット２００が存在するエリア名を表示する表示例を示す。図２６では、セクションＡに行くことが文字で表示されている。
FIG. 25 is a diagram for explaining an example of displaying the distance information represented by the display dimensions on the screen. FIG. 25A shows a sample correspondence between the display dimensions and the distance, and FIG. 25B shows a guideline for the distance in the vicinity of the
FIG. 26 is a diagram illustrating an example of displaying the position of the
図２７はロボット２００までの距離を画面上に表示する例を説明する図であり、（ａ）は管理区域３００内にあるロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにロボット２００までの距離Ｌを数値で表示する表示例を示す。
これらの表示機能の組み合わせにより、ユーザ３は、ロボット２００の位置を容易に把握できるのに加え、より正確な位置を理解できる。
FIG. 27 is a diagram illustrating an example of displaying the distance to the
By combining these display functions, the
また、表示画像生成部１１１０にはロボット２００が管理区域３００を超えることを表示画面上で予告する機能を設けてもよい。
図２８はロボット２００が管理区域３００を超えることを予告する画面の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
本実施の形態の場合、「予告」とは、画像２００Ａが表示画面１１４Ａから消滅することの報知又は示唆することを意味する。
図２８の例では、ロボット２００が管理区域３００から出ることが「さようなら」との文字で表示され、その後、画像２００Ａが画面上から消えている。これによりユーザ３はロボット２００が管理区域３００から外れることを表示画面１１４Ａ上で理解できる。
Further, the display
FIG. 28 is a diagram illustrating an example of a screen for notifying that the
In the case of the present embodiment, the "notice" means notifying or suggesting that the
In the example of FIG. 28, it is displayed by the characters "Goodbye" that the
図２９はロボット２００が管理区域３００を超えることを予告する画面の他の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
図２９の例では、ロボット２００が管理区域３００から出ることが手を振る動作で表示され、その後、画像２００Ａが画面上から消えている。これによりユーザ３はロボット２００が管理区域３００から外れることを表示画面１１４Ａ上で理解できる。
29A and 29B are views for explaining another example of the screen for notifying that the
In the example of FIG. 29, the
また、表示画像生成部１１１０には、ロボット２００が管理区域３００に復帰することを表示画面上で予告する機能を設けてもよい。
図３０はロボット２００が管理区域３００に復帰することを予告する画面の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
図３０の例では、ロボット２００が管理区域３００に戻ることが「ただいま」との文字とともに画像２００Ａが画面上に出現されている。すなわち、画像２００Ａが再表示されている。これによりユーザ３はロボット２００が管理区域３００に復帰したことを表示画面１１４Ａ上で理解できる。
Further, the display
FIG. 30 is a diagram illustrating an example of a screen for notifying that the
In the example of FIG. 30, the
図３１はロボット２００が管理区域３００に復帰することを予告する画面の例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は表示画面１１４Ａに表示される予告画面の例を示し、（ｃ）は予告表示後の表示を示す。
図３１の例では、ロボット２００が管理区域３００に復帰することが、お辞儀をする画像２００Ａを画面上に出現させることで示されている。すなわち、画像２００Ａが再表示されている。これによりユーザ３はロボット２００が管理区域３００に復帰したことを表示画面１１４Ａ上で理解できる。
FIG. 31 is a diagram illustrating an example of a screen for notifying that the
In the example of FIG. 31, it is shown that the
また、表示画像生成部１１１０には、ロボット２００が管理区域３００の中にあっても通信不良となることを表示する機能を設けてもよい。
図３２は、管理区域３００の中央でロボット２００との通信が途切れる場合の表示例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は通信不良を予告する画面の例を示し、（ｃ）は予告表示後の表示を示す。
図３２の例では、ロボット２００と通信できなくなったことが手を振る動作で表示され、その後、画像２００Ａが画面上から消えている。
仮想管理区域３００Ａの中央に位置するにもかかわらず、このような動作の後にロボット２００に紐付けられた画像２００Ａが消えることでロボット２００との通信が途切れたことを、ユーザ３は表示画面１１４Ａ上で理解できる。
なお、通信不良となったことを文字によって画面上に表示してもよい。
Further, the display
FIG. 32 is a diagram illustrating a display example when communication with the
In the example of FIG. 32, it is displayed by waving that the
Although it is located in the center of the
It should be noted that the communication failure may be displayed on the screen by characters.
図３３は、管理区域３００の中央でロボット２００との通信が再開される場合の表示例を説明する図であり、（ａ）は管理区域３００とロボット２００の位置関係を示し、（ｂ）は通信再開前の画面の例を示し、（ｃ）は通信の再開を示す画面の例を示す。
図３３の例では、ロボット２００との通信が復帰したことが、お辞儀した画像２００Ａの出現で表示されている。
仮想管理区域３００Ａの中央に位置するにもかかわらず、お辞儀した画像２００Ａが出現することで、ロボット２００との通信が再開したことを、ユーザ３は表示画面１１４Ａ上で理解できる。
なお、通信が再開したことを文字によって画面上に表示してもよい。因みに画像２００Ａの表示が消える際の表示寸法と表示が回復する際の表示寸法は同じになる。
FIG. 33 is a diagram illustrating a display example when communication with the
In the example of FIG. 33, the restoration of communication with the
The
It should be noted that the fact that communication has resumed may be displayed on the screen by characters. Incidentally, the display dimension when the display of the
図１０の説明に戻る。制御部１１０は、ロボット２００から稼働情報を取得する稼働情報取得部１１１２としての機能も有している。
ロボット２００の稼働状態を取得できれば、表示画面１１４Ａにロボット２００の稼働状態を表示することができる。
Returning to the description of FIG. The
If the operating state of the
図３４は、稼働情報取得部１１１２から稼働情報を取得した表示画像生成部１１１０による表示例を説明する図であり、（ａ）は実空間上でのロボット２００の稼働状態を示し、（ｂ）は表示画面上の表示態様を示す。
図３４では、ロボット２００が荷物２３０を運んでいる状態を表している。このため、表示画面１１４Ａには荷物２３０Ａを運ぶ画像２００Ａが表示されている。この表示よりユーザ３は、ロボット２００が荷物２３０を運んでいることを確認できる。
FIG. 34 is a diagram for explaining a display example by the display
FIG. 34 shows a state in which the
図３５は、稼働情報取得部１１１２から稼働情報を取得した表示画像生成部１１１０による表示の他の例を説明する図であり、（ａ）は実空間上でのロボット２００の稼働状態を示し、（ｂ）は表示画面上の表示態様を示す。
図３５では、ロボット２００が荷物２３０を落とした状態を表している。この例では、表示画面１１４Ａでも、荷物２３０Ａを持っていない画像２００Ａが表示されるとともに「ＨＥＬＰ」、「荷物落とした」、「荷物拾いに来て」等の救援を要請する表記（文字）が表示されている。この表示よりユーザ３は、ロボット２００を視認できなくてもトラブルの発生を知り、対応動作をとることが可能になる。
FIG. 35 is a diagram illustrating another example of display by the display
FIG. 35 shows a state in which the
＜操作画面例＞
以下では、実施の形態に係る情報端末１００による操作画面例について説明する。
・画面例１
図３６は、ユーザ３とロボット２００が近くに位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図３６ではユーザ３の近くにロボット２００が位置する場合の表示例であるので、ユーザ３を表す画像３Ｂの近くに比較的大きな表示寸法でロボット２００に紐付けられた画像２００Ａが表示されている。図３６からは、ロボット２００が管理区域３００の中央付近に位置することもわかる。
<Example of operation screen>
Hereinafter, an example of an operation screen by the
・ Screen example 1
FIG. 36 is a diagram showing a display example when the
Since FIG. 36 is a display example when the
図３７は、ユーザ３とロボット２００が離れて位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図３７ではユーザ３の遠くにロボット２００が位置する場合の表示例であるので、ユーザ３を表す画像３Ｂから遠く離れた位置に小さい表示寸法でロボット２００に紐付けられた画像２００Ａが表示されている。図３７からは、ロボット２００が管理区域３００の隅付近に位置することも分かる。
FIG. 37 is a diagram showing a display example when the
Since FIG. 37 is a display example when the
なお、図３６と図３７ではロボット２００に紐付けられた画像２００Ａの表示寸法をユーザ３との距離に応じて変化させているが、表示寸法は画面上の位置によらず同じとしてもよい。
Although the display dimensions of the
・画面例２
図３８は、ユーザ３が管理区域３００の中央付近に位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図３８は、ロボット２００が管理区域３００の隅に位置する点で図３７の例と同じであるが、ユーザ３とロボット２００との距離が近いため、ロボット２００に紐付けられた画像２００Ａの表示寸法はあまり小さくなっていない。
・ Screen example 2
FIG. 38 is a diagram showing a display example when the
FIG. 38 is the same as the example of FIG. 37 in that the
・画像例３
図３９は、ユーザ３とロボット２００が近くに位置する場合の他の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
ユーザ３とロボット２００の位置関係は図３６と同じである。ただし、図３９の場合には、表示領域に対応する距離の目安が表示されている。例えば図３９の例では、ロボット２００が１００ｍほど離れたところに位置することが分かる。
ロボット２００に紐付けられた画像２００Ａの表示寸法と画面上の距離の目安から、ユーザ３はロボット２００の位置関係を容易に把握できる。
・ Image example 3
FIG. 39 is a diagram showing another display example when the
The positional relationship between the
From the display dimensions of the
・画面例４
図４０は、ユーザ３とロボット２００が近くに位置する場合の他の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
ユーザ３とロボット２００の位置関係は図３９と同じである。ただし、図４０の場合には、表示領域に対応する縮尺情報が表示されている。具体的には、同じ長さでも画面の左側は５ｍ、中央付近は１０ｍ、右側は１００ｍであることが分かる。
ロボット２００に紐付けられた画像２００Ａの表示寸法と画面上の縮尺情報から、ユーザ３はロボット２００の位置関係を容易に把握できる。
・ Screen example 4
FIG. 40 is a diagram showing another display example when the
The positional relationship between the
From the display dimensions of the
・画面例５
図４１は、管理区域３００内に複数のロボット２００が位置する場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３と２台のロボット２００（１）、２００（２）の位置関係を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図４１に示す表示例では、近くに位置するロボット２００（１）と２００（２）を表す画像２００Ａ（１）と２００Ａ（２）が同じ表示寸法で表示されている。
ただし、画像２００Ａ（１）と２００Ａ（２）の表示形態が同じでは２台のロボット２００（１）と２００（２）を区別できない。
そこで、図４１では、２つの画像２００Ａ（１）と２００Ａ（２）の表示形態を変えて２台のロボット２００（１）と２００（２）の位置関係を区別できるようにしている。なお、図４１では、画像２００Ａ（１）と画像２００Ａ（２）の色を変えている。
・ Screen example 5
FIG. 41 is a diagram showing a display example when a plurality of
In the display example shown in FIG. 41, the
However, if the display modes of the
Therefore, in FIG. 41, the display modes of the two
図４２は、管理区域３００内における複数のロボット２００の位置関係が変化した場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３と２台のロボット２００（１）、２００（２）の位置関係を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図４２に示す表示例では、ロボット２００（１）がユーザ３に近づいた一方で、ロボット２００（２）はユーザ３から遠ざかっている。加えて図４２では、画像２００Ａ（１）の表示寸法が大きく変化し、画像２００Ａ（２）の表示寸法が小さく変化している。
この表示の変化により、ユーザ３は２台のロボット２００（１）と２００（２）の位置関係を容易に把握できる。
FIG. 42 is a diagram showing a display example when the positional relationship of a plurality of
In the display example shown in FIG. 42, the robot 200 (1) is approaching the
By this change in display, the
・画面例６
図４３は、表示画面１１４Ａ内に他の作業画面１１４Ｂが表示された場合の表示例を示す図であり、（ａ）は管理区域３００におけるユーザ３と２台のロボット２００（１）、２００（２）の位置関係を示し、（ｂ）は仮想管理区域３００Ａにおける位置関係の表示例を示す。
図４３では仮想管理区域３００Ａの形状が他の作業画面１１４Ｂを避けるように変形されており、その結果として、ロボット２００（２）を表す画像２００Ａ（２）が表示画面１１４Ａの真ん中付近に移動されている。
ただし、この表示位置は管理区域３００の端に対応するため、ロボット２００（２）を表す画像２００Ａ（２）の表示寸法は他方のロボット２００（１）を表す画像２００Ａ（１）の表示寸法に対して格段に小さくなっている。
これによりユーザ３はロボット２００（１）が近くに位置し、ロボット２００（２）が遠くに位置することを容易に把握できる。
・ Screen example 6
FIG. 43 is a diagram showing a display example when another
In FIG. 43, the shape of the
However, since this display position corresponds to the edge of the controlled
As a result, the
・画面例７
図４４は、他の作業画面１１４Ｂの表示寸法が変化する場合の仮想管理区域３００Ａの形状変化を説明する図であり、（ａ）は他の作業画面１１４Ｂが表示される前の表示例を示し、（ｂ）は他の作業画面１１４Ｂが表示された直後の表示例を示し、（ｃ）は他の作業画面１１４Ｂの表示面積が変更された後の表示例を示す。
図４４では、仮想管理区域３００Ａの形状が変化しているが、ロボット２００に紐付けられた画像２００Ａの表示寸法は変化していない。このように仮想管理区域３００Ａの変化によらず、ユーザ３はロボット２００の位置を容易に把握できる。
・ Screen example 7
FIG. 44 is a diagram for explaining the shape change of the
In FIG. 44, the shape of the
・画面例８
図４５は、ロボット２００が管理区域３００内でユーザ３から遠ざかる場合の表示例を説明する図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置関係を示し、（ｂ）はロボット２００が遠ざかる様子を表現する表示例を示し、（ｃ）はロボット２００が遠ざかる様子を表現する他の表示例を示す。
（ｂ）では、ユーザ３に対応する画像３Ｂに対してロボット２００に紐付けられた画像２００Ａが背を向けている。（ｃ）では、表示画面１１４Ａを見ているユーザ３に対してロボット２００に紐付けられた画像２００Ａが背を向けている。
・ Screen example 8
FIG. 45 is a diagram illustrating a display example when the
In (b), the
図４６は、ロボット２００が管理区域３００内でユーザ３に近づく場合の表示例を説明する図であり、（ａ）は管理区域３００におけるユーザ３とロボット２００の位置関係を示し、（ｂ）はロボット２００が近づく様子を表現する表示例を示し、（ｃ）はロボット２００が近づく様子を表現する他の表示例を示す。
（ｂ）では、ユーザ３に対応する画像３Ｂに対してロボット２００に紐付けられた画像２００Ａが正面を向けている。（ｃ）では、表示画面１１４Ａを見ているユーザ３に対してロボット２００に紐付けられた画像２００Ａが正面を向けている。
FIG. 46 is a diagram illustrating a display example when the
In (b), the
・画面例９
図４７は、複数の管理区域３００に位置している複数のロボット２００（１）と２００（２）を１つの表示画面１１４Ａで管理する場合の表示例を説明する図であり、（ａ）は２つの管理区域３００（１）と３００（２）におけるロボット２００の位置を示し、（ｂ）は表示画面１１４Ａの表示例を示す。
表示画面１１４Ａには、２つの管理区域３００（１）と３００（２）に対応する２つの仮想管理区域３００Ａ（１）と３００Ａ（２）が並んで表示されている。
仮想管理区域３００Ａ（１）では、ロボット２００（１）に対応する画像２００Ａ（１）の表示寸法が大きく表示され、仮想管理区域３００Ａ（２）では、ロボット２００（２）に対応する画像２００Ａ（２）の表示寸法が小さく表示されている。
・ Screen example 9
FIG. 47 is a diagram illustrating a display example in the case where a plurality of robots 200 (1) and 200 (2) located in a plurality of controlled
On the
In the
・画面例１０
図４８は、表示画面１１４Ａを用いてロボット２００に指示を出す場合の表示例を説明する図であり、（ａ）はロボット２００からの指示要求画面例を示し、（ｂ）はユーザによる指示の入力例を示し、（ｃ）はロボット２００からの応答画面例を示す。
例えばロボット２００に紐付けられた画像２００Ａの上にカーソルを合わせて右クリックすると、指示要求画面が表示される。
図４８の例では、ユーザ３がロボット２００に印刷物の配送を要求する場合の例を示している。
・ Screen example 10
FIG. 48 is a diagram illustrating a display example when an instruction is given to the
For example, when the cursor is placed on the
In the example of FIG. 48, an example is shown in which the
・画面例１１
図４９は、ロボット２００に実行させたい機能を表す画像２５０をロボット２００に紐付けられた画像２００Ａに重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、（ａ）はロボット２００に対する機能の実行指示操作を示し、（ｂ）はロボット２００からの応答画面例を示し、（ｃ）はロボット２００の動作状態を示す。
図４９の例では、ユーザ３がロボット２００に印刷物の配送を要求する場合の例を示している。（ｃ）では、ロボット２００に紐付けられた画像２００Ａが印刷物２３０Ｂを抱えており、配送中であることが分かる。
・ Screen example 11
FIG. 49 is a diagram illustrating a display example in the case of instructing the execution of the function by superimposing the
In the example of FIG. 49, an example is shown in which the
・画面例１２
図５０は、ロボット２００に紐付けられた画像２００Ａの位置を表示画面１１４Ａ上で移動させる移動操作があると、管理区域３００上でロボット２００が実際に移動される様子を説明する図であり、（ａ）は表示画面１１４Ａの表示例を示し、（ｂ）は実空間である管理区域３００におけるロボット２００の移動を示す。
図５０の例では、カーソル２４０をロボット２００に紐付けられた画像２００Ａの上に合わせてドラッグアンドドロップすることで、実空間上のロボット２００に対して移動の指示が送信される。
なお、図５０の例では、ドラッグの過程で画像２００Ａの位置がユーザ３から遠ざかるため、表示画面１１４Ａ上における画像２００Ａの表示寸法が小さくなっている。
・ Screen example 12
FIG. 50 is a diagram illustrating how the
In the example of FIG. 50, the movement instruction is transmitted to the
In the example of FIG. 50, since the position of the
・画面例１３
図５１は、実空間４００上でのロボット２００の移動量に対応する仮想管理区域３００Ａでの画像２００Ａの変化量が仮想管理区域３００Ａの形状に応じて変化する様子を説明する図であり、（ａ）は実空間４００上でのロボット２００の移動量を示し、（ｂ）は仮想管理区域３００Ａの表示面積が大きい場合の画像２００Ａの変化量を示し、（ｃ）は仮想管理区域３００Ａの表示面積が小さい場合の画像２００Ａの変化量を示す。
図中の各矢印は実空間４００又は仮想管理区域３００Ａ内での変化量を表している。
図５１の場合、ロボット２００に紐付けられた画像２００Ａの表示寸法は仮想管理区域３００Ａの違いによらず同じであり、画像２００Ａの変化量だけが変化している。
・ Screen example 13
FIG. 51 is a diagram illustrating how the amount of change in the
Each arrow in the figure represents the amount of change in the
In the case of FIG. 51, the display dimensions of the
図５１では、実空間４００内に管理区域３００が設定されていないので、図５１における仮想管理区域３００Ａはロボット２００の周辺領域に対応する。ここでの仮想管理区域３００Ａは、ロボット２００の位置表示に使用される表示領域の一例である。
管理区域３００を設定しない場合、管理区域情報取得部１１０４（図１０参照）は、ロボット２００が実在する地点周辺の地図情報やレイアウト情報をデータベースなどから取得してもよい。
この場合でも、表示画面１１４Ａ内の仮想管理区域３００Ａの形状に応じてロボット２００の位置表示が変化されることで、ユーザによる移動体の位置の把握が容易になる。
In FIG. 51, since the
When the
Even in this case, the position display of the
・画面例１４
図５２は、仮想管理区域３００Ａの表示寸法に応じて画像２００Ａの変化範囲が制約を受けることを説明する図であり、（ａ）は仮想管理区域３００Ａの表示寸法が大きい場合の画像２００Ａの変化範囲を示し、（ｂ）は仮想管理区域３００Ａの表示寸法が小さい場合の画像２００Ａの変化範囲を示す。
図５２の場合、表示画面１１４Ａ上で画像２００Ａが左右方向に移動できる範囲は（ａ）の方が（ｂ）よりも長くなっている。
このように、画像２００Ａを表示画面１１４Ａ上で移動できる範囲は仮想管理区域３００Ａの表示寸法の制約を受ける。
なお、画像２００Ａの表示寸法の変化範囲が仮想管理区域３００Ａの表示寸法の制約を受ける表示としてもよい。
・ Screen example 14
FIG. 52 is a diagram for explaining that the change range of the
In the case of FIG. 52, the range in which the
As described above, the range in which the
The display dimension change range of the
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
<Other embodiments>
Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the scope described in the above embodiments. It is clear from the description of the claims that the above-described embodiment with various modifications or improvements is also included in the technical scope of the present invention.
１…情報処理システム、３、３Ａ…ユーザ、５…基準点、１００…情報端末、１１０…制御部、１１４Ａ…表示画面、１１４Ｂ…他の作業画面、２００…ロボット、２００Ａ…ロボットを表す画像、２２１…電波、３００…管理区域、３００Ａ…仮想管理区域、４００…実空間、６００…サーバ、７００…画像形成装置、７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ…発信器、８００Ａ、８００Ｂ、８００Ｃ…アクセスポイント、９００…位置測定部、９１０…カメラ、１１０１…位置情報取得部、１１０２…基準位置取得部、１１０３…距離計算部、１１０４…管理区域情報取得部、１１０５…表示領域情報取得部、１１０６…管理区域形状変形部、１１０７…指示受付部、１１０８…指示送信部、１１０９…マッピング部、１１１０…表示画像生成部、１１１１…画像取得部、１１１２…稼働情報取得部
1 ... Information processing system, 3, 3A ... User, 5 ... Reference point, 100 ... Information terminal, 110 ... Control unit, 114A ... Display screen, 114B ... Other work screen, 200 ... Robot, 200A ... Image representing robot, 221 ... Radio, 300 ... Control area, 300A ... Virtual control area, 400 ... Real space, 600 ... Server, 700 ... Image forming device, 700A, 700B, 700C, 700D ... Transmitter, 800A, 800B, 800C ... Access point, 900 ... Position measurement unit, 910 ...
Claims (16)
前記移動体の位置の表示に使用される表示領域を規定する第２の形状を取得する第２の取得部と、
前記第１の形状を変形して前記第２の形状に一致させる変形部と、
前記第１の形状の変形に応じて前記移動体の位置の表示を変化させる表示制御部と、
を有する情報処理装置。 A first acquisition unit that acquires a first shape that defines a range for managing the movement of a moving object, and a first acquisition unit.
A second acquisition unit that acquires a second shape that defines a display area used for displaying the position of the moving body, and a second acquisition unit.
A deformed portion that deforms the first shape to match the second shape, and
A display control unit that changes the display of the position of the moving body according to the deformation of the first shape, and
Information processing device with.
前記変形部は、前記範囲の全体を前記表示画面の全体に一致させる、
請求項１に記載の情報処理装置。 The second shape is a shape that gives the entire display screen of the display panel.
The deformed portion aligns the entire range with the entire display screen.
The information processing device according to claim 1.
を特徴とする請求項１又は２に記載の情報処理装置。 The information processing apparatus according to claim 1 or 2, wherein the change is a change in the amount of change on the display area.
ことを特徴とする請求項１又は２に記載の情報処理装置。 The information processing apparatus according to claim 1 or 2, wherein the range of change is restricted by the shape of the display area.
を特徴とする請求項１又は２に記載の情報処理装置。 The information processing apparatus according to claim 1 or 2, wherein the display control unit displays the position of the moving body in the display area having a shape dissimilar to the range defined in the management of the moving body. ..
を特徴とする請求項１又は２に記載の情報処理装置。 The information processing device according to claim 1 or 2, wherein the display control unit displays an image associated with the moving body at a position of the moving body mapped to the display area.
を特徴とする請求項１又は２に記載の情報処理装置。 The information processing device according to claim 1 or 2, wherein the display control unit displays scale information as information that supplements the position of the moving body in the real space mapped to the display area.
を特徴とする請求項１又は２に記載の情報処理装置。 The display control unit according to claim 1 or 2, wherein when the position of the moving body exceeds the range defined in the management, the image associated with the moving body is erased from the display area. The information processing device described.
を特徴とする請求項８に記載の情報処理装置。 The display control unit is characterized in that, when the position of the moving body is returned to the range determined by management, the display control unit redisplays the image associated with the moving body in the display area. 8. The information processing apparatus according to 8.
を特徴とする請求項１又は２に記載の情報処理装置。 The information processing device according to claim 1 or 2, wherein the moving body has a self-propelled mechanism.
特徴とする請求項１又は２に記載の情報処理装置。 Claim 1 or 2 characterized in that when another image associated with the function to be executed is superimposed on the image associated with the moving body, the moving body is instructed to execute the function. The information processing device described in.
を特徴とする請求項１１に記載の情報処理装置。 The information processing device according to claim 11, wherein the display control unit changes the display form of the image associated with the moving body when the function can be executed.
を特徴とする請求項１２に記載の情報処理装置。 The information processing device according to claim 12, wherein the display control unit changes the image associated with the moving body into an image showing an operating state of the moving body.
を特徴とする請求項１又は２に記載の情報処理装置。 The information processing apparatus according to claim 1 or 2, wherein the range determined in terms of management of the moving body is determined based on a predetermined target.
移動体の移動を管理する範囲を規定する第１の形状を取得する第１の取得部と、当該移動体の位置の表示に使用される表示領域を規定する第２の形状を取得する第２の取得部と、当該第１の形状を変形して当該第２の形状に一致させる変形部と、当該第１の形状の変形に応じて当該移動体の位置の表示を変化させる表示制御部とを有する情報処理装置と
を有する情報処理システム。 With one or more mobiles,
A first acquisition unit that acquires a first shape that defines a range for managing the movement of a moving body, and a second that acquires a second shape that defines a display area used for displaying the position of the moving body. The acquisition unit, the deformation unit that deforms the first shape to match the second shape, and the display control unit that changes the display of the position of the moving body according to the deformation of the first shape. An information processing system that has an information processing device that has.
移動体の移動を管理する範囲を規定する第１の形状を取得する機能と、
前記移動体の位置の表示に使用される表示領域を規定する第２の形状を取得する機能と、
前記第１の形状を変形して前記第２の形状に一致させる機能と、
前記第１の形状の変形に応じて前記移動体の位置の表示を変化させる機能と、
を実現させるためのプログラム。 On the computer
The function to acquire the first shape that defines the range to manage the movement of the moving body, and
A function of acquiring a second shape that defines a display area used for displaying the position of the moving body, and
The function of deforming the first shape to match the second shape, and
A function of changing the display of the position of the moving body according to the deformation of the first shape, and
A program to realize.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020193526A JP7196894B2 (en) | 2020-11-20 | 2020-11-20 | Information processing device, information processing system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020193526A JP7196894B2 (en) | 2020-11-20 | 2020-11-20 | Information processing device, information processing system and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017023380A Division JP6809267B2 (en) | 2017-02-10 | 2017-02-10 | Information processing equipment, information processing systems and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021047424A true JP2021047424A (en) | 2021-03-25 |
| JP7196894B2 JP7196894B2 (en) | 2022-12-27 |
Family
ID=74878453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020193526A Active JP7196894B2 (en) | 2020-11-20 | 2020-11-20 | Information processing device, information processing system and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7196894B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004243499A (en) * | 2003-02-17 | 2004-09-02 | Matsushita Electric Ind Co Ltd | Article handling system for living space, article handling method, and robot operating device |
| JP2011227434A (en) * | 2010-03-31 | 2011-11-10 | Denso Corp | Map display device |
| US20120167014A1 (en) * | 2010-12-23 | 2012-06-28 | Electronics And Telecommunications Research Institute | Visual surrogate for indirect experience and apparatus and method for providing the same |
| JP2012215660A (en) * | 2011-03-31 | 2012-11-08 | Casio Comput Co Ltd | Image display device, image processing method and image processing program |
| JP2014071845A (en) * | 2012-10-01 | 2014-04-21 | Sharp Corp | Device controller, and self-traveling electronic device |
| US20150364060A1 (en) * | 2014-06-12 | 2015-12-17 | Play-i, Inc. | System and method for reinforcing programming education through robotic feedback |
| US20160105331A1 (en) * | 2014-10-13 | 2016-04-14 | Samsung Electronics Co., Ltd. | Electronic device and gateway for network service, and operation method therefor |
-
2020
- 2020-11-20 JP JP2020193526A patent/JP7196894B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004243499A (en) * | 2003-02-17 | 2004-09-02 | Matsushita Electric Ind Co Ltd | Article handling system for living space, article handling method, and robot operating device |
| JP2011227434A (en) * | 2010-03-31 | 2011-11-10 | Denso Corp | Map display device |
| US20120167014A1 (en) * | 2010-12-23 | 2012-06-28 | Electronics And Telecommunications Research Institute | Visual surrogate for indirect experience and apparatus and method for providing the same |
| JP2012215660A (en) * | 2011-03-31 | 2012-11-08 | Casio Comput Co Ltd | Image display device, image processing method and image processing program |
| JP2014071845A (en) * | 2012-10-01 | 2014-04-21 | Sharp Corp | Device controller, and self-traveling electronic device |
| US20150364060A1 (en) * | 2014-06-12 | 2015-12-17 | Play-i, Inc. | System and method for reinforcing programming education through robotic feedback |
| US20160105331A1 (en) * | 2014-10-13 | 2016-04-14 | Samsung Electronics Co., Ltd. | Electronic device and gateway for network service, and operation method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7196894B2 (en) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6950192B2 (en) | Information processing equipment, information processing systems and programs | |
| US9552056B1 (en) | Gesture enabled telepresence robot and system | |
| CN103608741A (en) | Tracking and following of moving objects by a mobile robot | |
| KR20180118219A (en) | Interfacing with a mobile telepresence robot | |
| US20180005445A1 (en) | Augmenting a Moveable Entity with a Hologram | |
| CN106527887B (en) | Dummy object choosing method, device and VR systems | |
| CN111716365B (en) | Immersive remote interaction system and method based on natural walking | |
| JP6938980B2 (en) | Information processing equipment, information processing methods and programs | |
| JP2023126474A (en) | Systems and methods for augmented reality | |
| KR20200020295A (en) | AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF | |
| KR20180074404A (en) | Robot for airport and method thereof | |
| WO2019123744A1 (en) | Information processing device, information processing method, and program | |
| JP6809267B2 (en) | Information processing equipment, information processing systems and programs | |
| Maeyama et al. | Experiments on a remote appreciation robot in an art museum | |
| US10456682B2 (en) | Augmentation of a gaming controller via projection system of an autonomous personal companion | |
| JP2021047424A (en) | Information processing device, information processing system and program | |
| JP6554139B2 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP2019207572A (en) | Information processing device and program | |
| KR20160057649A (en) | System and method for driving robot using action block | |
| JP2020017206A (en) | Information processing apparatus, action determination method, and program | |
| WO2021049147A1 (en) | Information processing device, information processing method, information processing program, and control device | |
| CN116079703A (en) | Robot teaching method, apparatus, device and computer readable storage medium | |
| Walker et al. | User-centered design of an attitude-aware controller for ground reconnaissance robots | |
| Evans III et al. | Control solutions for robots using Android and iOS devices | |
| KR20200094375A (en) | Programmable toy robot and method for operating the toy robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7196894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |