JP2022067459A - システム、端末及びプログラム - Google Patents
システム、端末及びプログラム Download PDFInfo
- Publication number
- JP2022067459A JP2022067459A JP2020176174A JP2020176174A JP2022067459A JP 2022067459 A JP2022067459 A JP 2022067459A JP 2020176174 A JP2020176174 A JP 2020176174A JP 2020176174 A JP2020176174 A JP 2020176174A JP 2022067459 A JP2022067459 A JP 2022067459A
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- robot
- terminal
- region
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
【課題】端末を用いて移動体の操作を適切に行う。
【解決手段】移動体(20)と移動体(20)の操作に用いられる端末(10)とを含むシステムにおいて、移動体(20)は、端末(10)からの指示に基づいて移動体(20)を特定の面上で移動させる駆動部と、端末(10)からの指示に基づいて決定される第1の領域と、前記特定の面上の第2の領域と、を撮像するカメラと、を備え、端末(10)は、前記第1の領域に対応する第1の撮像画像と、前記第2の領域に対応する第2の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部(10f)に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、を備える。
【選択図】図1
【解決手段】移動体(20)と移動体(20)の操作に用いられる端末(10)とを含むシステムにおいて、移動体(20)は、端末(10)からの指示に基づいて移動体(20)を特定の面上で移動させる駆動部と、端末(10)からの指示に基づいて決定される第1の領域と、前記特定の面上の第2の領域と、を撮像するカメラと、を備え、端末(10)は、前記第1の領域に対応する第1の撮像画像と、前記第2の領域に対応する第2の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部(10f)に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、を備える。
【選択図】図1
Description
本発明は、システム、端末及びプログラムに関する。
近年、インターネットを用いたテレビ会議システムが普及し、顔を見ながら話すだけでなく、遠隔地にいるユーザがカメラの向きや位置を操作することができるテレプレゼンスロボットが知られている。
例えば、下記特許文献1には、遠隔操作者に対して撮影画像を提供するカメラと、撮影画像内の少なくとも一部を遠隔操作者から隠蔽するマスク処理を実行し、かつ、マスク処理を用途に応じて切り替えるマスク処理部と、を備えるカメラ付きの移動体が記載されている。
一般に、テレプレゼンスロボット等の移動体を遠隔で操作する端末には、当該移動体が備えるカメラによる撮像画像が表示される。当該端末のユーザは、当該端末に表示された撮像画像に基づいて当該移動体の操作を行う。しかしながら、当該端末に表示された撮像画像によっては、当該端末のユーザが、当該移動体の操作を適切に行うことができない恐れがある。
そこで、本開示は、移動体の操作を適切に行うことが可能なシステム、端末及びプログラムを提供する。
本開示の一態様に係るシステムは、移動体と、前記移動体の操作に用いられる端末と、を含むシステムであって、前記移動体は、前記端末からの指示に基づいて前記移動体を特定の面上で移動させる駆動部と、前記端末からの指示に基づいて決定される第1の領域と、前記特定の面上の第2の領域と、を撮像するカメラと、を備え、前記端末は、前記第1の領域に対応する第1の撮像画像と、前記第2の領域に対応する第2の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、備える。
この態様によれば、移動体が移動している状態であるか否かに基づいて、上記第1の撮像画像と上記第2の撮像画像との表示が制御されるので、上記端末のユーザは、移動体の操作を適切に行うことができる。
上記態様において、前記表示制御部は、前記移動体が移動している状態である場合、前記第1の撮像画像及び前記第2の撮像画像の双方を前記表示部に表示させてもよい。
この態様によれば、移動体が移動している状態である場合、端末からの指示に基づいて決定される第1の領域に対応する第1の撮像画像だけでなく、当該移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像が表示部に表示されるので、端末のユーザは、移動している状態の移動体の操作を適切に行うことができる。
上記態様において、前記表示制御部は、前記移動体が移動していない状態である場合、前記第2の撮像画像を表示させずに前記第1の撮像画像を前記表示部に表示させる。
この態様によれば、移動体が移動していない状態である場合、当該移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像が表示されずに、端末からの指示に基づいて決定される第1の領域に対応する第1の撮像画像が表示されるので、端末のユーザは、移動していない状態の移動体の操作を適切に行うことができる。
上記態様において、前記カメラは、前記第1の領域を撮像する第1のカメラと、前記第2の領域を撮像する第2のカメラと、を含んでもよい。
この態様によれば、第1の領域及び第2の領域が異なるカメラで撮像されるので、第1の領域に対応する第1の撮像画像及び第2の領域に対応する第2の撮像画像を同時に生成することができる。
上記態様において、前記移動体が移動している状態である場合、前記第1の領域は前記移動体が移動する方向の所定の領域を含み、前記第2の領域は、前記方向であって前記特定の面上の所定の領域であってもよい。
この態様によれば、移動体が移動している状態である場合、移動体が移動する方向の第1の領域に対応する第1の撮像画像だけでなく、当該方向であって上記特定の面上の第2の領域に対応する第2の撮像画像が表示部に表示されるので、端末のユーザは、移動している状態の移動体の操作をより適切に行うことができる。
本開示の一態様に係る端末は、移動体の操作に用いられる端末であって、前記移動体に対する指示が入力される入力部と、前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、を備える。
本開示の一態様に係るプログラムは、コンピュータに、移動体の操作を実行させるためのプログラムであって、入力部に入力された前記移動体に対する指示を受け付けることと、前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得することと、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御することと、を実行させる。
本発明によれば、端末を用いて移動体の操作を適切に行うことができる。
以下に、本発明の一実施形態について説明する。なお、以下の実施形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。
また、本実施形態においては、「移動体(moving object)」の一例として、カメラ及び駆動部を備えるロボット(例えば、テレプレゼンスロボット、アバターロボット等)を説明するが、これに限られない。当該移動体は、例えば、自動走行若しくは半自動走行が可能な車両や重機、ドローンや飛行機、スポーツスタジアム等に設置され、レールの上を移動可能なカメラを備えたロボット、宇宙空間に打ち上げられる衛星型ロボットであって姿勢制御やカメラの撮像方向の制御が可能なロボット等、カメラ及び駆動部を備えるどのような機械、装置又は端末等であってもよい。また、当該移動体は、駆動部を有する本体に対して、汎用の装置(例えば、スマートフォン、タブレット等)を接続して構成されてもよい。このように、カメラ及び駆動部を有する移動体は、一体の装置として構成されなくともよく、複数の装置を組み合わせて構成されるものであってもよい。
[システムの構成]
<全体構成>
図1は、本実施形態に係るシステムの全体構成の一例を示す図である。図1に示すように、システム1は、端末10と、端末10を用いて操作されるロボット20と、を備える。端末10及びロボット20は、互いに通信を行う。具体的には、ロボット20及び端末10は、ネットワーク(例えば、インターネット、LAN(Local Area Network)等)を介して通信を行ってもよいし、当該ネットワークを介さずに端末間で通信を行ってもよい。ロボット20及び端末10の通信は、有線通信及び/又は無線通信を含む。
<全体構成>
図1は、本実施形態に係るシステムの全体構成の一例を示す図である。図1に示すように、システム1は、端末10と、端末10を用いて操作されるロボット20と、を備える。端末10及びロボット20は、互いに通信を行う。具体的には、ロボット20及び端末10は、ネットワーク(例えば、インターネット、LAN(Local Area Network)等)を介して通信を行ってもよいし、当該ネットワークを介さずに端末間で通信を行ってもよい。ロボット20及び端末10の通信は、有線通信及び/又は無線通信を含む。
なお、図1では、システム1を構成する端末10及びロボット20の数は任意であり、図1に示すものに限られない。また、システム1は、端末10及び/又はロボット20とネットワークを介して接続される不図示のサーバ及び/又は装置等を含んでもよい。例えば、サーバは、例えば、ロボット20の予約等、ロボット20に関する各種処理を端末10から受け付けてもよい。
端末10は、ロボット20の操作のために、ユーザにより使用される情報処理装置である。端末10は、例えば、スマートフォン、タブレット端末、PDA(Personal Digital Assistants)、パーソナルコンピュータ、ヘッドマウントディスプレイ、特定用途の操作系等の汎用又は専用の情報処理装置である。図1に示すように、端末10は、表示部10fを少なくとも備える。
ロボット20は、移動型のロボットである。図1に示すように、ロボット20は、駆動部20g及びカメラ20hを少なくとも備える。例えば、図1の駆動部20gは、車輪を回転駆動させることでロボット20を特定の面S上で移動させる。当該特定の面Sは、例えば、地面、床、月面等であってもよい。なお、図1では、駆動部20gは、複数の車輪により構成されるが、これに限られない。ロボット20は、例えば、一輪、二輪又は多輪により走行するもの、キャタピラにより走行するもの、レールの上を走行するもの、飛び跳ねて移動するもの、二足歩行、四足歩行又は多足歩行するもの、スクリューにより水上又は水中を航行するもの、及びプロペラ等により飛行するものを含む。
カメラ20hは、端末10からの指示に基づいて決定される所定の領域を撮像する。ロボット20は、異なる領域を撮像する複数のカメラ20hを有してもよい。例えば、図1では、ロボット20は、端末10からの指示に基づいて決定される第1の領域を撮像する第1のカメラ(以下、「メインカメラ」という)20h1、ロボット20が移動する特定の面S上の第2の領域を撮像する第2のカメラ(以下、「ナビゲーション用カメラ」という)20h2を有する。
なお、ロボット20は、複数のカメラ20hの有しなくともよく、所定角度(例えば、360°)で可動し、撮像方向を制御可能な単一のカメラ20hを有してもよい。また、図1のメインカメラ20h1及び/又はナビゲーション用カメラ20h2も、所定角度で可動し、撮像方向を制御可能であってもよい。
ユーザは、端末10を用いてロボット20を操作する。端末10の表示部10fには、ロボット20のカメラ20hによる撮像により生成される画像(以下、「撮像画像」という)が表示される。ユーザは、表示部10fに表示された撮像画像を視認することで、ロボット20の状態を確認し得る。端末10は、ロボット20が移動している状態であるか否かに基づいて、カメラ20hで生成される撮像画像の表示を制御する。
ユーザは、端末10を介してロボット20の操作(例えば、ロボット20の移動やロボット20に搭載されたカメラの操作)を行う。ロボット20を操作するための指示は、端末10から、ロボット20に送信される。当該指示は、端末10からロボット20に直接送信されてもよいし、端末10から不図示の装置(例えば、サーバ等)を介してロボット20に送信されてもよい。当該指示は、指示を示す情報又は信号等であってもよい。
ロボット20は、端末10からの指示に応じて動作し、カメラ20hによる撮像画像を端末10に送信する。なお、ロボット20は、カメラ20hによる撮像画像に限らず、例えば、ロボット20のマイクで取得された音声等、ロボット20によって取得又は検知等された各種のデータを端末10に送信してもよい。これにより、ユーザは、端末10及びロボット20を介して、ロボット20がいる場所に自分もいるかのようなエクスペリエンスを得ることができる。
<物理的構成>
図2は、本実施形態に係る端末10の物理的構成の一例を示す図である。端末10は、演算部に相当するプロセッサ10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、カメラ10gと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図2で示す構成は一例であり、端末10はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
図2は、本実施形態に係る端末10の物理的構成の一例を示す図である。端末10は、演算部に相当するプロセッサ10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、カメラ10gと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図2で示す構成は一例であり、端末10はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
プロセッサ10aは、例えば、CPU(Central Processing Unit)である。プロセッサ10aは、RAM10b又はROM10cに記憶されているプログラムを実行することにより、端末10における各種処理を制御する制御部である。プロセッサ10aは、端末10が備える他の構成と、プログラムとの協働により、端末10の機能を実現し、処理の実行を制御する。プロセッサ10aは、入力部10eや通信部10dから種々のデータを受け取り、データの演算結果を表示部10fに表示したり、RAM10bに格納したりする。
RAM10b及びROM10cは、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。端末10は、RAM10b及びROM10c以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。RAM10b及びROM10cは、例えば、半導体記憶素子で構成されてもよい。
通信部10dは、端末10を他の機器に接続するインターフェースである。通信部10dは、他の機器と通信する。
入力部10eは、ユーザからデータの入力を受け付けるためのデバイスや、端末10の外部からデータを入力するためのデバイスである。入力部10eは、例えば、キーボード、マウス及びタッチパネル等を含んでよい。また、入力部10eは、音声入力のためのマイクを含んでよい。
表示部10fは、プロセッサ10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fは、ロボット20のカメラ20hにより生成される撮像画像を表示する。なお、表示部10fは、複数の表示部10fを含んでもよく、当該複数の表示部10fそれぞれは、カメラ20hで生成された異なる領域の撮像画像(例えば、メインカメラ20h1及びナビゲーション用カメラ20h2でそれぞれ生成された撮像画像)を表示してもよい。また、表示部10fは、端末10のカメラ10gにより生成される撮像画像を表示してもよい。
カメラ10gは、静止画像又は動画像を撮像する撮像素子を含み、所定の領域の撮像により撮像画像(例えば、静止画像又は動画像)を生成し、生成された撮像画像を、通信部10dを介してロボット20に送信する。
ロボット20の操作を実行させるためのプログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。端末10では、プロセッサ10aが当該プログラムを実行することにより、ロボット20を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、端末10は、プロセッサ10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
図3は、本実施形態に係るロボット20の物理的構成を示す図である。ロボット20は、演算部に相当するプロセッサ20aと、記憶部に相当するRAM20bと、記憶部に相当するROM20cと、通信部20dと、入力部20eと、表示部20fと、駆動部20gと、カメラ20hとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図3で示す構成は一例であり、ロボット20はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
プロセッサ20aは、RAM20b又はROM20cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。プロセッサ20aは、入力部20eや通信部20dから種々のデータを受け取り、データの演算結果を表示部20fに表示したり、RAM20bに格納したりする。また、プロセッサ20aは、駆動部20gを制御し、ロボット20の動作を制御する。
RAM20b及びROM20cは、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。ロボット20は、RAM20b及びROM20c以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。通信部20dは、外部装置との通信を行うデバイスである。
入力部20eは、ロボット20の外部からデータを入力するためのデバイスである。入力部20eは、例えば、キーボード及びタッチパネルを含むこととしてよい。また、入力部20eは、音声入力のためのマイクを含んでもよい。
表示部20fは、各種情報を表示するためのデバイスである。表示部20fは、プロセッサ20aによる演算結果を視覚的に表示するものとして、例えば、LCDにより構成されてもよい。表示部20fは、端末10のカメラ10gで生成された撮像画像を表示してもよい。また、表示部20fは、ロボット20のカメラ20hで生成された撮像画像を表示してもよい。
駆動部20gは、遠隔操作可能なアクチュエータを含み、車輪等の移動部やマニピュレータ等を含む。駆動部20gは、少なくとも車輪等の移動部及びマニピュレータの少なくとも一つを含んでもよい。
カメラ20hは、静止画像又は動画像を撮像する撮像素子を含み、所定の領域の撮像により撮像画像(例えば、静止画像又は動画像)を生成し、生成された撮像画像を、通信部20dを介して端末10に送信する。
ロボット20の制御を実行させるためのプログラムは、RAM20bやROM20c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部20dにより接続される通信ネットワークを介して提供されてもよい。ロボット20では、プロセッサ20aが当該プログラムを実行することにより、ロボット20を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、ロボット20は、プロセッサ20aとRAM20bやROM20cが一体化したLSIを備えていてもよい。
<機能的構成>
図4は、本実施形態に係る端末10の機能的構成の一例を示す図である。これらの機能は、端末10のプロセッサ(制御部)が、記憶装置(記憶部)に記憶されたコンピュータプログラムを読み込んで実行することにより実現される。
図4は、本実施形態に係る端末10の機能的構成の一例を示す図である。これらの機能は、端末10のプロセッサ(制御部)が、記憶装置(記憶部)に記憶されたコンピュータプログラムを読み込んで実行することにより実現される。
図4に示すように、端末10は、入力受付部11、取得部12、判定部13、表示制御部14を備える。なお、端末10が有する機能は、これらに限定されず、コンピュータが一般的に有する機能、及び他の機能を有してもよい。
入力受付部11は、入力部10eに入力されたロボット20に対する指示を受け付ける。当該指示は、例えば、ロボット20の移動、ロボット20の停止、ロボット20の移動方向D、駆動部20gの回転方向、カメラ20hが撮像する領域等を示してもよい。
取得部12は、ロボット20で生成された撮像画像を取得する。具体的には、取得部12は、上記ロボット20に対する指示に基づいて決定される第1の領域に対応する第1の撮像画像と、当該指示に基づいて前記移動体を移動させる特定の面上の第2の領域に対応する第2の撮像画像と、を取得する。例えば、取得部12は、ロボット20からの第1の撮像画像及び第2の撮像画像を、通信部10dを介して取得してもよい。
判定部13は、ロボット20の状態を判定する。具体的には、判定部13は、ロボット20が移動している状態(以下、「移動状態」という)であるか否かを判定する。例えば、判定部13は、入力受付部11によって受付られる指示に基づいて、ロボット20が移動状態であるか、又は、ロボット20が移動していない状態(以下、「停止状態」という)のいずれであるかを判定してもよい。なお、移動状態は、ロボット20が実際に移動している状態であってもよいし、実際に移動しているか否かを問わずに移動していると推定される状態であってもよい。同様に、停止状態は、ロボット20が実際に停止している状態であってもよいし、実際に停止しているか否かを問わずに停止していると推定される状態であってもよい。
表示制御部14は、ロボット20が移動状態であるか否かに基づいて、表示部10fに対する上記第1の撮像画像と第2の撮像画像との表示を制御する。具体的には、表示制御部14は、ロボット20が移動状態である場合、上記第1の撮像画像及び上記第2の撮像画像の双方を表示部10fに表示させる。一方、表示制御部14は、ロボット20が停止状態である場合、上記第2の撮像画像を表示させずに上記第1の撮像画像を表示部10fに表示させる。
図5は、本実施形態に係るロボット20が移動状態である場合の一例を示す図である。図5(A)では、移動状態のロボット20のカメラ20hによって撮像される第1及び第2の領域が示される。また、図5(B)では、ロボット20が移動状態である場合における端末10の表示部10fの画面の一例が示される。
図5(A)に示すように、ロボット20が移動状態である場合、端末10からのロボット20に対する指示に基づいて決定される第1の領域は、ロボット20が移動する方向D(以下、「移動方向D」という)の所定の領域を少なくとも含む。例えば、図5(A)では、ロボット20のメインカメラ20h1が第1の領域を撮像して、当該第1の領域に対応する第1の撮像画像を生成する。
一方、図5(A)に示すように、第2の領域は、上記ロボット20の移動方向Dであって上記特定の面S上の所定の領域(例えば、ロボット20の移動方向Dの足元の所定の領域)であってもよい。例えば、図5(A)では、ロボット20のナビゲーション用カメラ20h2が第2の領域を撮像して、当該第2の領域に対応する第2の撮像画像を生成する。
なお、図5(A)では、メインカメラ20h1及びナビゲーション用カメラ20h2がそれぞれ第1及び第2の領域を撮像して第1及び第2の撮像画像を生成するが、同一のカメラ20hが第1及び第2の領域を時間的に切り替えて撮像して第1及び第2の撮像画像を生成してもよい。以上のように生成された第1及び第2の撮像画像は、ロボット20の通信部20dから端末10に送信される。
図5(B)に示すように、ロボット20が移動状態である場合、端末10の表示制御部14は、上記第1の撮像画像及び第2の撮像画像の双方を表示部10fに表示させる。例えば、図5(B)では、表示部10fは、画面の上方に第1の撮像画像を表示し、画面の下方に第2の撮像画像を表示するが、画面上の第1及び第2の撮像画像の位置関係は図示するものに限られない。また、図5(B)では、表示部10fは、第1の撮像画像を第2の撮像画像よりも大きく表示するが、これに限られない。
図5(B)に示される表示部10fの画面では、第1の撮像画像によりロボット20の移動方向Dの状態だけでなく、第2の撮像画像によりロボット20が移動する特定の面S(例えば、地面)の状態も、端末10のユーザに対して示される。したがって、端末10のユーザは、第2の撮像画像によりロボット20の足元の障害物等を認識できる。このため、端末10のユーザは、ロボット20に対する指示(例えば、ロボット20の移動方向Dの変更指示等)を入力部10eに入力することで、ロボット20と障害物との衝突を回避することができる。このように、ロボット20が移動状態である場合、第1の撮像画像及び第2の撮像画像の双方を表示部10fに表示させることにより、端末10のユーザがロボット20の操作を適切に行うことができる。
図6は、本実施形態に係るロボット20が停止状態である場合の一例を示す図である。図6(A)では、停止状態のロボット20のカメラ20hによって撮像される第1の領域が示される。また、図6(B)では、ロボット20が停止状態である場合における端末10の表示部10fの画面の一例が示される。
図6(A)に示すように、ロボット20が停止状態である場合、第1の領域は、端末10からのロボット20に対する指示に基づいて決定される所定の領域である。例えば、図6(A)では、ロボット20のメインカメラ20h1が第1の領域を撮像して、当該第1の領域に対応する第1の撮像画像を生成する。生成された第1の撮像画像は、ロボット20の通信部20dから端末10に送信される。
なお、図6(A)では、ロボット20のナビゲーション用カメラ20h2は、ロボット20が移動する特定の面S上の第2の領域を撮像してもよいし、又は、しなくともよい。また、通信部20dは、当該第2の領域に対応する第2の撮像画像を端末10に送信してもよいし、又は、しなくともよい。
図6(B)に示すように、ロボット20が停止状態である場合、端末10の表示制御部14は、上記第2の撮像画像を表示させずに上記第1の撮像画像を表示部10fに表示させる。例えば、図6(B)に示される表示部10fの画面では、第1の撮像画像により、端末10からの指示に基づいて決定される所定の領域の状態が、端末10のユーザに対して示される。
ロボット20が停止状態である場合、端末10のユーザは、ロボット20の足元の障害物等を認識しなくとも、ロボット20を操作できる。このため、第1の撮像画像だけを表示部10fに表示させることにより、所望の第1の領域の状態を認識し易くなる。したがって、ロボット20が停止状態である場合、第2の撮像画像を表示させずに第1の撮像画像を表示部10fに表示させることにより、端末10のユーザがロボット20の操作を適切に行うことができる。
[システムの動作]
図7は、本実施形態に係る端末10の動作の一例を示すフローチャートである。図7に示すように、ステップS101において、端末10は、ユーザからのロボット20に対する指示の入力を受け付ける。
図7は、本実施形態に係る端末10の動作の一例を示すフローチャートである。図7に示すように、ステップS101において、端末10は、ユーザからのロボット20に対する指示の入力を受け付ける。
ステップS102において、端末10は、ロボット20が移動状態であるか否かを判定する。例えば、端末10は、ステップS101で入力されたロボット20に対する指示に基づいて、ロボット20が移動状態であるか否かを判定してもよい。
ロボット20が移動状態であると判定される場合(ステップS102;YES)、ステップS103において、端末10は、第1の撮像画像及び第2の撮像画像の双方を取得する。例えば、図5(A)で説明したように、第1の撮像画像は、ロボット20のカメラ20h(例えば、メインカメラ20h1)による第1の領域の撮像により生成される。また、第2の撮像画像は、ロボット20のカメラ20h(例えば、ナビゲーション用カメラ20h2)による第2の領域の撮像により生成される。
ステップS104において、端末10は、当該第1の撮像画像及び第2の撮像画像の双方を表示部10fに表示させる(例えば、図5(B)参照)。
ロボット20が移動状態ではない(すなわち、停止状態である)と判定される場合(ステップS102;NO)、ステップS105において、端末10は、上記第1の撮像画像を取得する。例えば、図6(A)で説明したように、第1の撮像画像は、ロボット20のカメラ20h(例えば、メインカメラ20h1)による第1の領域の撮像により生成される。
ステップS106において、端末10は、上記第2の撮像画像を表示させずに、上記第1の撮像画像を表示部10fに表示させる(例えば、図6(B)参照)。
なお、図7に示す動作は、例示にすぎず、一部のステップが省略されてもよいし、不図示のステップが追加されてもよいし、及び/又は、一部のステップの順番が変更されてもよい。例えば、端末10は、ロボット20が移動状態であるか否かに関係なく第1の撮像画像及び第2の撮像画像の双方を取得してもよい。この場合、ロボット20が移動状態であるなら第1及び第2の撮像画像の双方を表示させ、ロボット20が停止状態であるなら第2の撮像画像を表示させずに第1の撮像画像の双方を表示させる。
本実施形態に係るシステムでは、ロボット20が移動状態であるか否かに基づいて、表示部10fに対する上記第1の撮像画像と第2の撮像画像との表示が制御される。したがって、端末10のユーザは、表示部10fに表示されたロボット20のカメラ20hによる撮像画像に基づいて、ロボット20の操作を適切に行うことができる。
具体的には、ロボット20が移動状態である場合、図5(B)に示すように、ロボット20の移動方向Dの状態を示す第1の撮像画像だけでなく、ロボット20が移動する特定の面Sの状態を示す第2の撮像画像が端末10の表示部10fに表示される。したがって、端末10のユーザは、第2の撮像画像によりロボット20の足元の障害物等を認識でき、この結果、例えば、ロボット20と障害物との衝突を回避する等、ロボット20の操作を適切に行うことができる。
[変形例]
上記実施形態において、ロボット20のカメラ20hにより撮像される第1の領域は、単一の領域を想定したが、複数の領域を含んでもよい。具体的には、第1の領域は、端末10からの指示に基づいて決定される所定の領域だけでなく、当該所定の領域とは異なる一以上の方向の所定の領域を含んでもよい。例えば、図5(A)において、第1の領域は、移動方向Dだけでなく、移動方向Dとは逆方向の所定の領域、移動方向Dの左方向の所定の領域、移動方向Dの右方向の所定の領域等を含んでもよい。この場合、例えば、図5(B)の第1の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。図6(A)及び図6(B)についても同様の変更が可能である。また、ロボット20が移動状態である場合には第1の領域として上記複数の領域が撮像され、ロボット20が停止状態である場合には第1の領域として単一の領域が撮像されてもよい。
上記実施形態において、ロボット20のカメラ20hにより撮像される第1の領域は、単一の領域を想定したが、複数の領域を含んでもよい。具体的には、第1の領域は、端末10からの指示に基づいて決定される所定の領域だけでなく、当該所定の領域とは異なる一以上の方向の所定の領域を含んでもよい。例えば、図5(A)において、第1の領域は、移動方向Dだけでなく、移動方向Dとは逆方向の所定の領域、移動方向Dの左方向の所定の領域、移動方向Dの右方向の所定の領域等を含んでもよい。この場合、例えば、図5(B)の第1の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。図6(A)及び図6(B)についても同様の変更が可能である。また、ロボット20が移動状態である場合には第1の領域として上記複数の領域が撮像され、ロボット20が停止状態である場合には第1の領域として単一の領域が撮像されてもよい。
また、上記実施形態において、ロボット20のカメラ20hにより撮像される第2の領域は、単一の領域を想定したが、複数の領域を含んでもよい。例えば、図5(A)において、第2の領域は、ロボット20の移動方向Dであってロボット20が移動する特定の面S上の所定の領域だけでなく移動方向Dとは逆方向、左方向、右方向等であって上記特定の面Sを含む所定の領域等を含んでもよい。この場合、例えば、図5(B)の第2の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。
以上説明した本実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、各要素同士を部分的に置換し又は組み合わせることが可能である。
さらに、本実施形態及び変形例において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や装置が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や装置の機能が1つの物理的手段や装置により実現されても良い。
さらに、本実施形態及び変形例において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や装置が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や装置の機能が1つの物理的手段や装置により実現されても良い。
1…システム、10…端末、20…ロボット、10a…プロセッサ、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、10g…カメラ、20a…プロセッサ、20b…RAM、20c…ROM、20d…通信部、20e…入力部、20f…表示部、20g…駆動部、20h…カメラ、11…入力受付部、12…取得部、13…判定部、14…表示制御部
Claims (7)
- 移動体と、前記移動体の操作に用いられる端末と、を含むシステムであって、
前記移動体は、
前記端末からの指示に基づいて前記移動体を特定の面上で移動させる駆動部と、
前記端末からの指示に基づいて決定される第1の領域と、前記特定の面上の第2の領域と、を撮像するカメラと、を備え、
前記端末は、
前記第1の領域に対応する第1の撮像画像と、前記第2の領域に対応する第2の撮像画像と、を取得する取得部と、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、
を備える、システム。 - 前記表示制御部は、前記移動体が移動している状態である場合、前記第1の撮像画像及び前記第2の撮像画像の双方を前記表示部に表示させる、
請求項1に記載のシステム。 - 前記表示制御部は、前記移動体が移動していない状態である場合、前記第2の撮像画像を表示させずに前記第1の撮像画像を前記表示部に表示させる、
請求項1に記載のシステム。 - 前記カメラは、前記第1の領域を撮像する第1のカメラと、前記第2の領域を撮像する第2のカメラと、を含む、
請求項1から請求項3のいずれかに記載のシステム。 - 前記移動体が移動している状態である場合、前記第1の領域は前記移動体が移動する方向の所定の領域を含み、前記第2の領域は、前記方向であって前記特定の面を含む所定の領域である、
請求項1から請求項4のいずれかに記載のシステム。 - 移動体の操作に用いられる端末であって、
前記移動体に対する指示が入力される入力部と、
前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得する取得部と、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御する表示制御部と、
を備える端末。 - コンピュータに、移動体の操作を実行させるためのプログラムであって、
入力部に入力された前記移動体に対する指示を受け付けることと、
前記指示に基づいて決定される第1の領域に対応する第1の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第2の領域に対応する第2の撮像画像と、を取得することと、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第1の撮像画像と前記第2の撮像画像との表示を制御することと、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020176174A JP2022067459A (ja) | 2020-10-20 | 2020-10-20 | システム、端末及びプログラム |
PCT/JP2021/038257 WO2022085588A1 (ja) | 2020-10-20 | 2021-10-15 | システム、端末及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020176174A JP2022067459A (ja) | 2020-10-20 | 2020-10-20 | システム、端末及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022067459A true JP2022067459A (ja) | 2022-05-06 |
Family
ID=81290531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020176174A Pending JP2022067459A (ja) | 2020-10-20 | 2020-10-20 | システム、端末及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022067459A (ja) |
WO (1) | WO2022085588A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870398A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 画像入力装置 |
JP2008239145A (ja) * | 2004-08-24 | 2008-10-09 | Sharp Corp | 表示制御装置、表示制御方法、表示制御プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2017021517A (ja) * | 2015-07-09 | 2017-01-26 | 株式会社Ihiエアロスペース | 遠隔操縦システムと方法 |
JP2019062293A (ja) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | カメラ装置、カメラ装置制御システム、及びプログラム |
JP2020123013A (ja) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | 自律走行制御システム |
-
2020
- 2020-10-20 JP JP2020176174A patent/JP2022067459A/ja active Pending
-
2021
- 2021-10-15 WO PCT/JP2021/038257 patent/WO2022085588A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870398A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 画像入力装置 |
JP2008239145A (ja) * | 2004-08-24 | 2008-10-09 | Sharp Corp | 表示制御装置、表示制御方法、表示制御プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2017021517A (ja) * | 2015-07-09 | 2017-01-26 | 株式会社Ihiエアロスペース | 遠隔操縦システムと方法 |
JP2019062293A (ja) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | カメラ装置、カメラ装置制御システム、及びプログラム |
JP2020123013A (ja) * | 2019-01-29 | 2020-08-13 | ヤンマーパワーテクノロジー株式会社 | 自律走行制御システム |
Also Published As
Publication number | Publication date |
---|---|
WO2022085588A1 (ja) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11189055B2 (en) | Information processing apparatus and method and program | |
US11895392B2 (en) | Display control apparatus, imaging system, control method, and recording medium for displaying an image and an indicator in a screen including a first region and a second region | |
JP4991458B2 (ja) | 画像表示装置及びその制御方法 | |
JP5724346B2 (ja) | 映像表示装置、映像表示システム、映像表示方法およびプログラム | |
US10917560B2 (en) | Control apparatus, movable apparatus, and remote-control system | |
JP2020506443A (ja) | 無人機の制御方法、頭部装着式表示メガネおよびシステム | |
JP6386809B2 (ja) | 情報処理装置およびその制御方法、システム、並びにプログラム | |
US11228737B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
US20160170488A1 (en) | Image processing apparatus, image processing method, and program | |
WO2015142971A1 (en) | Receiver-controlled panoramic view video share | |
US11334449B2 (en) | Information processing apparatus, update control method, and information processing system | |
JP2015230682A (ja) | 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム | |
JP2020022152A (ja) | 通信端末、プログラム、表示方法、記録媒体 | |
US9729835B2 (en) | Method for switching viewing modes in a camera | |
KR101553503B1 (ko) | 사물 인식을 통한 외부 디바이스의 제어 방법 | |
WO2022085588A1 (ja) | システム、端末及びプログラム | |
JP5847591B2 (ja) | 情報処理装置、情報処理装置の情報処理方法およびプログラム | |
JP2020120388A (ja) | 操作装置、移動装置、およびその制御システム | |
JP2015220601A (ja) | 撮像装置、通信装置、およびそれらの制御方法、システム、並びにプログラム | |
KR20170055455A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
KR20170093389A (ko) | 무인 비행체 제어 방법 | |
US20230308705A1 (en) | Communication terminal, communication management system, remote operation method, processing method, and communication management method | |
JP7338755B2 (ja) | 通信端末、通信システム、通信方法及びプログラム | |
JP2020017829A (ja) | 通信端末、プログラム、表示方法、記録媒体 | |
WO2021261099A1 (ja) | 情報処理装置、表示範囲決定方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240410 |