JP2019062293A - カメラ装置、カメラ装置制御システム、及びプログラム - Google Patents

カメラ装置、カメラ装置制御システム、及びプログラム Download PDF

Info

Publication number
JP2019062293A
JP2019062293A JP2017183821A JP2017183821A JP2019062293A JP 2019062293 A JP2019062293 A JP 2019062293A JP 2017183821 A JP2017183821 A JP 2017183821A JP 2017183821 A JP2017183821 A JP 2017183821A JP 2019062293 A JP2019062293 A JP 2019062293A
Authority
JP
Japan
Prior art keywords
camera
tpr
attention point
operator
position data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017183821A
Other languages
English (en)
Other versions
JP7187768B2 (ja
Inventor
訓稔 山本
Kunitoshi Yamamoto
訓稔 山本
石井 努
Tsutomu Ishii
努 石井
坪田 浩和
Hirokazu Tsubota
浩和 坪田
英基 藤本
Hidemoto Fujimoto
英基 藤本
英登 野見山
Hideto Nomiyama
英登 野見山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2017183821A priority Critical patent/JP7187768B2/ja
Publication of JP2019062293A publication Critical patent/JP2019062293A/ja
Application granted granted Critical
Publication of JP7187768B2 publication Critical patent/JP7187768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】複数の操作者がそれぞれカメラ装置を遠隔操作する場合において、あるカメラ装置を操作している操作者の注目点が他のカメラ装置でも撮影されるようにして当該注目点を操作者間で共有し、操作者間のコミュニケーションを円滑化する。【解決手段】カメラ装置制御システムは、カメラ装置10A(TPR−A)、10B(TPR−B)と、端末20A(端末A)、20B(端末B)と、管理装置(RMS)30を備える。TPR−Bは、TPR−Aを端末Aで遠隔操作する遠隔操作者の注目点の位置データを取得し、注目点がTPR−Bのカメラの視野に含まれるような回転角度を算出してTPR−Bを同調制御する。【選択図】図6A

Description

本発明は、カメラ装置、カメラ装置制御システム、及びプログラムに関する。
特許文献1には、人間同士のコミュニケーションのように、自然なコミュニケーションを実現することができるロボットが記載されている。人の周辺に存在する物体の距離を測定し、人の指示語(これ、それ、あれ)が何を指しているかを推測し、これらの情報だけでは何を指しているか不明の場合に、人による指さし動作で特定する。
特許第4399603号公報
ところで、人が会議等の集合形式で協働する場合、顔の向きや目を細める動作、顔の表情、屈み込む動作、覗き込む動作等、非言語情報による情報の補完を行うことで、相手がどこを見ているかの予測が可能であり、これにより相手の動作に同調しつつ円滑なコミュニケーションを図ることが可能である。
これに対し、近年では、通信技術の進展とともに、利用者がカメラ付き移動体等のカメラ装置を遠隔操作し、周囲の状況をカメラで撮影して認識しつつ会議等に遠隔地から参加することが提案されている。
但し、カメラ装置同士のコミュニケーションでは、共通の対象物を見ている場合に相手の表情が見えない、他者のジェスチャによる注目点に関する情報の無意識的な補完ができない、指差しによる注目点の明確化ができない等の制約がある。従って、相互に注目点を共有するためには、人同士の場合よりも説明言語を多量に駆使して説明する必要が生じる。
本発明の目的は、複数の操作者がそれぞれカメラ装置を遠隔操作する場合において、あるカメラ装置を操作している操作者の注目点が他のカメラ装置でも撮影されるようにして当該注目点を操作者間で共有し、操作者間のコミュニケーションを円滑化する技術を提供することにある。
請求項1に記載の発明は、遠隔操作者に対して撮影画像を提供するカメラと、他カメラの遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記カメラを制御する制御部とを備えるカメラ装置である。
請求項2に記載の発明は、前記制御部は、前記カメラの遠隔操作者からの指示に応じて、前記他カメラの遠隔操作者の注目点の位置データを取得する請求項1に記載のカメラ装置である。
請求項3に記載の発明は、前記カメラの遠隔操作者からの指示に応じて、前記他カメラを検知する検知部と、前記他カメラの遠隔操作者の注目点の位置データの送信を要求する送信部と、送信された前記他カメラの遠隔操作者の注目点の位置データを受信する受信部とを備える請求項2に記載のカメラ装置である。
請求項4に記載の発明は、前記制御部は、前記他カメラの遠隔操作者からの指示に応じて、前記他カメラの遠隔操作者の注目点の位置データを取得する請求項1に記載のカメラ装置である。
請求項5に記載の発明は、前記他カメラの遠隔操作者からの指示に応じて、前記他カメラを検知する検知部と、前記他カメラの遠隔操作者の注目点の位置データの送信を要求する送信部と、送信された前記他カメラの遠隔操作者の注目点の位置データを受信する受信部とを備える請求項4に記載のカメラ装置である。
請求項6に記載の発明は、前記送信部は、管理装置を介して要求し、前記受信部は、前記管理装置を介して受信する請求項3,5のいずれかに記載のカメラ装置である。
請求項7に記載の発明は、前記送信部は、前記他カメラに対して要求し、前記受信部は、前記他カメラから受信する請求項3,5のいずれかに記載のカメラ装置である。
請求項8に記載の発明は、前記他カメラの遠隔操作者の注目点の位置データは、前記他カメラの遠隔操作者の視線方向を検出して得られる請求項1〜7のいずれかに記載のカメラ装置である。
請求項9に記載の発明は、前記他カメラの遠隔操作者の注目点の位置データは、前記遠隔操作者の操作により得られる請求項1〜7のいずれかに記載のカメラ装置である。
請求項10に記載の発明は、自己の位置を検出する位置検出部と、前記他カメラの位置データを取得する取得部とを備え、前記制御部は、前記自己の位置と、前記他カメラの位置データと、前記注目点の位置データを用いて前記カメラを制御する請求項1〜9のいずれかに記載のカメラ装置である。
請求項11に記載の発明は、前記カメラを移動する車輪部をさらに備える請求項1〜10のいずれかに記載のカメラ装置である。
請求項12に記載の発明は、前記制御部は、前記カメラの向き、前記カメラの画角、前記車輪部の少なくともいずれかを制御する請求項11に記載のカメラ装置である。
請求項13に記載の発明は、第1カメラ装置及び第2カメラ装置と、前記第1カメラ装置を遠隔操作する第1遠隔操作用端末及び前記第2カメラ装置を遠隔操作する第2遠隔操作用端末とを備え、前記第1カメラ装置は、前記第1遠隔操作用端末に対して撮影画像を提供する第1カメラと、前記第2カメラ装置の遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記第1カメラを制御する第1制御部とを備え、前記第2カメラ装置は、前記第2遠隔操作用端末に対して撮影画像を提供する第2カメラと、前記第1カメラ装置の遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記第2カメラを制御する第2制御部とを備えるカメラ装置制御システムである。
請求項14に記載の発明は、前記第1遠隔操作用端末は、前記第1カメラの前記撮影画像を表示する第1表示部と、前記第1表示部における遠隔操作者の注目点の位置データを検出する検出部と、検出した前記遠隔操作者の注目点の位置データを前記第2カメラ装置に送信する送信部とを備え、前記第2遠隔操作用端末は、前記第2カメラの前記撮影画像を表示する第2表示部とを備える請求項13に記載のカメラ装置制御システムである。
請求項15に記載の発明は、前記第1遠隔操作用端末は、前記第2カメラ装置に対して前記第1カメラ装置への同調を指示するための操作部を備える請求項14に記載のカメラ装置制御システムである。
請求項16に記載の発明は、前記第2遠隔操作用端末は、前記第2カメラ装置に対して前記第1カメラ装置への同調を指示するための操作部を備える請求項14に記載のカメラ装置制御システムである。
請求項17に記載の発明は、前記第2遠隔操作用端末は、前記第2制御部が前記第2カメラを制御する場合に、前記第1カメラ装置へ同調していることを表示する第3表示部とを備える請求項14に記載のカメラ装置制御システムである。
請求項18に記載の発明は、前記第2遠隔操作用端末の前記第2表示部は、前記撮影画像に前記注目点の位置を示すマークを重畳表示する請求項16,17のいずれかに記載のカメラ装置制御システムである。
請求項19に記載の発明は、カメラ装置を制御するためのプログラムであり、前記カメラ装置を制御するプロセッサに、前記カメラ装置の遠隔操作者に対して撮影画像を提供するステップと、他のカメラ装置の遠隔操作者の注目点の位置データを取得するステップと、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記カメラ装置を制御するステップとを実行させるプログラムである。
請求項1,13,19に記載の発明によれば、あるカメラ装置を操作している操作者の注目点が他のカメラ装置でも撮影されるようにして注目点が操作者間で共有される。
請求項2,3に記載の発明によれば、さらに、カメラの遠隔操作者からの指示に応じて、注目点が操作者間で共有される。
請求項4,5に記載の発明によれば、さらに、他カメラの遠隔操作者からの指示に応じて、当該注目点が操作者間で共有される。
請求項6に記載の発明によれば、さらに、管理装置を介して注目点の位置データが取得される。
請求項7に記載の発明によれば、さらに、管理装置を介することなく注目点の位置データが取得される。
請求項8に記載の発明によれば、さらに、遠隔操作者の視線方向から注目点の位置データが取得される。
請求項9に記載の発明によれば、さらに、遠隔操作者の操作から注目点の位置データが取得される。
請求項10に記載の発明によれば、さらに、自己の位置と、他カメラの位置データと、注目点の位置データを用いて注目点が操作者間で共有される。
請求項11,12に記載の発明によれば、さらに、カメラ付き移動体を遠隔操作する場合において注目点が操作者間で共有される。
請求項14に記載の発明によれば、さらに、第1遠隔操作用端末を操作する遠隔操作者の注目点の位置データが検出されて第2カメラ装置に送信され、第2カメラ装置で注目点の位置データが取得される。
請求項15に記載の発明によれば、さらに、第1遠隔操作用端末から同調が指示される。
請求項16に記載の発明によれば、さらに、第2遠隔操作用端末から同調が指示される。
請求項17に記載の発明によれば、さらに、第2遠隔操作用端末に第1カメラ装置へ同調していることが表示される。
請求項18に記載の発明によれば、さらに、第2遠隔操作用端末に注目点の位置を示すマークが表示される。
実施形態のカメラ付き移動体の外観図である。 カメラの視野と注目点との関係を示す説明図である。 複数のカメラの視野と注目点との関係を示す説明図である 実施形態のシステム構成図である。 実施形態の端末の画面例を示す説明図(その1)である。 実施形態のシステム構成の一例を示す説明図である。 実施形態のシーケンス図である。 実施形態の端末における同期対象指定説明図である。 実施形態の端末の画面例を示す説明図(その2)である。 実施形態の端末の画面例を示す説明図(その3)である。 実施形態の回転角度算出説明図である。 変形例のシステム構成図である。 変形例のシーケンス図である。 変形例の端末の画面例を示す説明図(その1)である。 変形例の端末の画面例を示す説明図(その2)である。
以下、図面に基づき本発明の実施形態について、カメラ装置としてカメラ付き移動体を例にとり説明する。
<実施形態1>
1.カメラ付き移動体
図1は、実施形態におけるカメラ付き移動体10の外観図を示す。カメラ付き移動体10は、本体と車輪部12を備え、本体は表示部14及びカメラ16を備える。
車輪部12は、左右の車輪を回転駆動させることでカメラ付き移動体10を移動させる。左右の車輪速を変化させることで直進走行/旋回走行が可能であり、回転方向を逆転することで前進/後進が可能である。
表示部14は、例えば液晶ディスプレイや有機ELディスプレイ等で構成され、カメラ付き移動体10を操作する操作者の顔画像を表示する。表示部14は、左右あるいは上下方向に可動であってもよい。
カメラ16は、表示部14の所定位置、例えば表示部14の上部に設けられ、カメラ付き移動体10の前方の所定範囲を撮影する。ここで、カメラ付き移動体10の前方とは、表示部14において操作者の顔画像が表示されている側を意味する。また、カメラ16は、マイクを備え、画像とともに周囲の音声を収音してもよい。
操作者(遠隔操作者)は、カメラ付き移動体10から離間した位置に存在し、遠隔操作用の端末を用いてカメラ付き移動体10を遠隔操作する。遠隔操作用の端末には、カメラ16で撮影された画像(通常は動画であるが、静止画であってもよい)が表示され、操作者はこの画像を視認することでカメラ付き移動体10の移動状況を確認し得る。
図において、表示部14の所定位置に、カメラ16とは別にマイクを設けてもよく、さらに操作者からの音声を出力するスピーカを設けてもよい。これにより、カメラ付き移動体10の周囲に存在する人をカメラ16で視認でき、かつマイク及びスピーカを用いて音声によるコミュニケーションが図られる。例えば操作者は自身のデスクに着席しつつカメラ付き移動体10を所望の会議室まで遠隔操作で移動させることで、自身は会議室に存在していなくても会議室にいるかのように会議室の様子を把握し、かつ会議の参加者と議論し得る。また、例えば操作者がカメラ付き移動体10を工場内で移動させることで、自身は工場にいなくても工場内の様子を詳しく知り得る(工場視察)。カメラ付き移動体10は、操作者のいわば分身として機能し得ることからテレプレゼンスロボット(Tele Presence Robot :TPR)と表現し得る。
2.TPRの視野と注目点との関係
2.1 カメラの向き
図2は、TPR10に搭載されるカメラ16の視野と注目点との関係を模式的に示す。図2(a)は、TPR10を上から見た平面図であり、カメラ16の画角から定まる視野を示す。TPR10の視野内の特定の点を操作者の注目点18とする。注目点18は、例えば視野内の特定の物や人等である。
図2(b)は、複数のTPR10A、10B、10Cが存在する場合の、それぞれに搭載されるカメラ16A、16B、16Cの視野を模式的に示す。TPR10Aの操作者の注目点18を、TPR10Bのカメラ16B、及びTPR10Cのカメラ16Cの視野内に含まれない場合、TPR10Bの操作者、及びTPR10Cの操作者は、注目点18を見ることができず、TPR10Aの操作者の注目点18を共有することができない。従って、この場合、TPR10Bのカメラ16B、及びTPR10Cのカメラ16Cの向きを変化させてその視野内に注目点18が含まれるようにする必要がある。
本実施形態において、少なくとも第1カメラ及び第2カメラが存在し、第1カメラを遠隔操作する操作者の注目点が、第2カメラの視野内にも含まれるように第2カメラを制御することを第1カメラに対する第2カメラの同調制御と定義する。
2.2 注目点までの距離
図3は、注目点18までの距離が異なる場合を模式的に示す。TPR10Aのカメラ16Aの視野内に注目点18Aが存在する場合と注目点18Bが存在する場合であり、注目点18Aは相対的に遠距離にあり、注目点18Bは相対的に近距離にある。TPR10Bのカメラ16Bの視野はTPR10Aのカメラ16Aの視野と異なっており、注目点18Aは両者の視野範囲が異なるためTPR10Bの操作者は注目点18Aを視認できない。他方で、注目点18Bは両者の視野範囲が重複する位置に存在しているためTPR10Bの操作者も注目点18Bを視認して注目し得る。
このように、注目点18までの距離に応じて、同調制御が決定される。
3.システム構成
3.1 全体構成
図4は、TPR10を制御するシステムの全体構成図を示す。制御システムは、TPR10と、遠隔操作用端末(以下、端末という)20と、遠隔管理装置(以下、RMSという)30を備える。TPR10、端末20及びRMS30は、通信回線を介して互いにデータ送受信可能に接続される。通信回線は有線/無線を問わないが、遠隔操作用には無線回線が好適である。
図では、TPR10及び端末20はそれぞれ1台のみ例示されているが、TPR10A、10B、10C、・・・、及び端末20A、20B、20C、・・・と複数台存在し得る。複数台のTPR10A,10B,10C,・・・及び端末20A,20B,20C,・・・は通信回線に接続され、TPR10は端末20Aで遠隔操作され、TPR10Bは端末20Bで遠隔操作され、TPR10Cは端末20Cで操作される。RMS30は、複数台のTPR10A,10B,10C,・・・を管理する。
3.2 TPRの構成
TPR10は、車輪部12、表示部14、及びカメラ16に加え、通信部101、映像管理部102、周辺移動体位置検知部103、回転角度計算部104、アクチュエータ制御部105、及びアクチュエータ106を備える。
通信部101は、通信回線を介して端末20及びRMS30とデータを送受信する。通信部101は、特に、カメラ16で撮影して得られた画像を端末20に送信し、端末20からの各種指示を受信する。各種指示には、遠隔操作の操作指示や目的地までの移動指示が含まれる。
映像管理部102は、カメラ16で撮影された映像を管理する。映像管理部102は、例えばカメラ16で得られた映像を圧縮、符号化して通信部101に供給し、通信部101を介して端末20に送信する。
周辺移動体位置検知部103は、注目点を共有するために同調すべきTPRの位置を検知する。例えば、TPR10AとTPR10Bを例示すると、TPR10BにとってTPR10Aが同調対象のTPRであるとすると、TPR10Bの周辺移動体位置検知部103は、TPR10Aを識別し、さらにその位置を検知する。
TPR10Aを識別する方法は、例えば各TPRにLEDを取り付け、それぞれに固有の発光をさせればよい。TPR10Aは青色LED、TPR10Bは赤色LED、TPR10Cは緑色LED等である。あるいは、各TPRに形状、色彩、模様等の特徴を持たせて、画像処理で当該特徴量を抽出すればよい。
TPR10Aの位置を検知する方法は、大別して2つある。第1の場合は、各TPRが空間内における自己の位置を検出する場合であり、第2の場合は、各TPRが空間内における自己の位置を検出していない場合である。
第1の場合は、TPR10Bの周辺移動体位置検知部103は、TPR10Aに対してその位置座標データと角度データとを要求し、TPR10Aからの返信を受信することでTPR10Aの位置を検知できる。各TPRが空間内における自己の位置を検出する方法としては、オドメトリ、レーザレンジファインダ(Laser Range Finder)を用いたSLAM(Simultaneous Localization and Mapping)、Wi−Fi(登録商標)やブルートゥース(登録商標)等による位置推定、空間内へのマーカ設置、画像特徴量変動からのマップ作成と自己位置特定等が用いられる。オドメトリでは、左右の車輪の車輪速をそれぞれvr、vlとし、左右の車輪間隔を2L、TPRの速度及び角速度をv及びωとすると、
v=(vr+vl)/2
ω=(vr−vl)/2L
であり、これを用いて
dx/dt=vcosθ
dy/dt=vsinθ
dθ/dt=ω
を計算することで、TPRの位置(x、y)及び角度θが算出される。出発地から順次、位置を算出して積算することで、出発地に対するTPRの相対的な位置が算出され、自己位置が推定される。オドメトリ情報として、車輪の回転角及び回転角速度を用いてもよい。オドメトリを用いた移動ロボットの自己位置推定については、例えば特開2015−111336号公報に記載されている。
第2の場合は、TPR間の相対座標を取得する。例えば、TPR10Bは、自己を回転させることでTPR10Aを識別し、TPR10Aの相対的方向、自己とTPR10Aの向き、相対的距離を取得する。
TPR10Aの相対的方向は、TPR10Aを識別するまでのTPR10Bの回転角度から算出される。
自己とTPR10Aの向きは、各TPRに地磁気センサ等の方位センサを取り付けて取得される。
TPR10Aまでの相対的距離は、カメラ16を複眼カメラとし、同時刻に撮影された2つの画像の視差から算出される。カメラ16が単眼の場合、TPR10Aの大きさが既知であるとして、焦点距離と画面内の大きさから算出される。具体的には、TPR10Aの大きさをA、焦点距離をF、画面内の大きさをaとすると、
TPR10Aまでの距離=F・A/a
により算出される。
回転角度計算部104は、同調対象のTPRを遠隔操作する遠隔操作者の注目点の位置データを取得し、この位置データと周辺移動体位置検知部103で検知された同調対象のTPRの位置とを用いて同調に必要な回転角度を算出する。回転角度についてはさらに後述する。
アクチュエータ制御部107は、端末20からの操作指示や、回転角度計算部104で算出された回転角度に応じてTPR10を移動させるための車輪速データ群を生成し、制御指令としてアクチュエータ106に出力して駆動制御する。アクチュエータ108は、TPR10の車輪部12を回転駆動して前進/後進/右旋回/左旋回を実現する。
映像管理部102、周辺移動体位置検知部103、回転角度計算部104、及びアクチュエータ制御部105は、具体的にはTPR10に内蔵された1又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ROM等のプログラムメモリに記憶された処理プログラムを実行することで各機能を実現する。いくつかの機能をハードウェア回路、例えばASICやFPGA(フィールドプログラマブルゲートアレイ)等で構成してもよい。
1又は複数のプロセッサにおいて実行される処理を例示列挙すると、以下の通りである。
(1)カメラ16の撮影画像を端末20に送信する
(2)端末20からの指示に応じてアクチュエータ106を駆動する
(3)端末20からの指示に応じて同調対象のTPRを検知する
(4)端末20からの指示に応じて同調対象のTPRを遠隔操作している遠隔操作者の注目点の位置データを取得する
(5)取得した注目点の位置データを用いて同調対象のTPRへ同調処理する
なお、(3)の処理は、詳細には、
(3−1)同調対象のTPRの識別
(3−2)同調対象のTPRの位置検出
が含まれる。また、(4)の処理は、詳細には、
(4−1)注目点の位置データの取得要求の送信
(4−2)注目点の位置データの受信
が含まれる。さらに、(5)の処理は、詳細には、
(5−1)同調対象のTPRの位置を用いた、同調対象のTPRを基準とする座標系の設定と当該座標系における自己位置の定位
(5−2)当該座標系と注目点の位置データを用いた回転角度の算出
(5−3)算出した回転角度を用いたカメラ16の駆動制御
が含まれる。
3.3 端末の構成
端末20は、TPR10の遠隔操作者が操作するパーソナルコンピュータ(PC)やタブレット、スマートフォン等の端末である。端末20は、汎用端末でもよく、TPR10を遠隔操作する専用端末であってもよい。端末20は、ユーザ注目点座標検出部201、画像表示部202、進行方向指示部203、同調対象移動体指定部204、及び通信部205を備える。
ユーザ注目点座標検出部201は、画像表示部202に表示された画像における、端末20の操作者の注目点18の位置を検出する。ユーザ注目点座標検出部201は、任意の方法で注目点の位置を検出し得るが、例えば操作者の目の視線方向を検出することで注目点の画像内座標を検出する。ユーザ注目点座標検出部201は、RMS30からの要求に応じ、注目点の位置データとしての注目点座標データを通信部205を介してRMS30に送信する。
画像表示部202は、TPR10のカメラ16で撮影して得られた画像(ライブ画像)を通信部205で受信し表示する。画像表示部202は、具体的には液晶パネルや有機ELパネルで構成され、操作者は画像表示部202の画像を視認することで、TPR10の前方を含む周囲の状況を確認し得る。
進行方向指示部203は、TPR10を遠隔操作するためのユーザインタフェースであり、TPR10を前進/後進/右旋回/左旋回させるための操作部としての操作スイッチを備える。進行方向指示部203は、通信部205を介してこれらのスイッチ操作によりTPR10に移動指令を送信する。操作者は、画像表示部202に表示された画像(ライブ画像)を視認しながら進行方向指示部203を操作してTPR10を所望の目的地まで手動操作(マニュアル操作)する。
同調対象移動体指定部204は、同調対象のTPRを指定するために操作者が操作するユーザインタフェースである。同調対象移動体指定部204は、RMS30に対して周辺に存在するTPRのリストを要求し、RMS30から受信したリストを表示する。操作者は、表示されたリストの中から同調対象のTPRを指定する。操作者により指定された同調対象は、通信部205を介してTPR10に送信される。
通信部205は、RMS30に対して周辺に存在するTPRのリストをRMS30に対して要求し、RMS30からのリストを受信する、また、TPR10に対して操作指示を送信し、TPR10のカメラ16で撮影された画像を受信する。
ユーザ注目点座標検出部201、進行方向指示部203、及び同調対象移動体指定部204は、端末20に内蔵された1又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ROM等のプログラムメモリに記憶された処理プログラムを実行することで各機能を実現する。
1又は複数のプロセッサにおいて実行される処理を例示列挙すると、以下の通りである。
(1)カメラ16の撮影画像を表示する
(2)TPR10に対して操作指示を送信する
(3)TPR10に対して同調対象のTPRへの同調を指示する
(4)操作者の注目点の位置データを検出する
(5)検出した位置データを送信する
3.4 RMSの構成
RMS30は、複数台のTPR10A,10B,10C,・・・及び端末20A,20B,20C,・・・を管理する。RMS30は、管理部301、ユーザ認証部302、ユーザデータベース(DB)303、及び通信部304を備える。
管理部301は、TPR10A,10B,10C,・・・の情報、具体的にはTPR10A,10B,10C,・・・それぞれのIDや操作者氏名、位置を関連付けて記憶する。例えば、TPR10A,10Bについて、
TPR10A:ID=1234、操作者氏名(ユーザ名)=Yamamoto、位置=会議室A
TPR10B:ID=5678、操作者氏名(ユーザ名)=Tanaka、位置=会議室A
等である。位置は、どの空間に位置しているかが分かる程度の精度でよい。TPR10A,10Bの位置情報は、TPR10A,10Bから通信部304を介して受信する。管理部301は、端末20からのリスト要求に応じ、これらの情報をリスト形式で通信部304を介して返信する。また、管理部301は、端末20に対して注目点座標データを要求し、端末20から返信された注目点座標データを受信する。管理部301は、受信した注目点座標データを適宜TPR10に送信する。具体的には、同調対象のTPR10を遠隔操作する端末20から注目点座標データを受信し、同調対象のTPR10に同調すべき他のTPRに対して注目点座標データを送信する。
ユーザ認証部302は、TPR10を端末20で遠隔操作する操作者を認証する。操作者は、端末20を用いてTPR10を遠隔操作する場合に、RMS30にアクセスして認証を行う。認証は、例えば端末20から操作者のID及びパスワードを入力してRMS30に送信することで行う。
ユーザDB303は、操作者の情報、すなわち操作者氏名やID、パスワード等を記憶する。
通信部304は、端末20との間でデータを送受するとともに、TPR10から位置情報を受信する。
管理部301及びユーザ認証部302は、具体的にはRMS30に内蔵された1又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ROM等のプログラムメモリに記憶された処理プログラムを実行することで管理機能を実現する。ユーザDB303は、HDDやSSD等の記憶媒体で実現し得る。
3.5 端末の画面
図5は、端末20の画面例を示す。端末20の画面には、画像210、同調対象のTPRのリスト211、及び操作スイッチ212が表示される。
画像210は、画像表示部202で表示される画像であり、TPR10のカメラ16で撮影された画像(ライブ画像)である。
同調対象のTPRのリスト211は、同調対象移動体指定部204で表示されるリストであり、RMS30から受信したリストである。周辺に存在するTPRのID、操作者氏名(ユーザ名)、その位置がTPR毎に表示される。操作者は、このリスト211を視認することで同調すべきTPRを指定する。リスト211についてはさらに後述する。
操作スイッチ212は、進行方向指示部203として機能し、前進/後進/右旋回/左旋回/停止のスイッチから構成される。操作スイッチ212は、タッチスイッチではなくジョグコントローラでもよい。操作者は、画像210を視認しながら操作スイッチ212を操作してTPR10を遠隔操作する。
また、端末20の所定位置、図では画像210の直上にユーザ注目点座標検出部201として機能するカメラ213が設けられ、操作者の視線方向を検出することで画像210の中の操作者の注目点座標を検出する。カメラ213に加え、LED等を設けてもよい。
操作者の視線方向を検出する技術は公知であり、大別して2つの方法がある。
第1は、基準点を目頭、動点を虹彩にして位置関係を用いる方法であり、目頭に対する虹彩の位置に基づき視線を検出する。左目の虹彩が目頭から離れていれば、操作者は左側を見ており、左目の目頭と虹彩が近ければ、右側を見ていることが検出される。上下方向についても同様である。
第2は、基準点を角膜反射、動点を瞳孔にして位置関係を用いる方法であり、赤外線LEDで操作者の顔を照らし、赤外線カメラで操作者の目を撮影する。赤外線LEDを照らしてできる反射光の角膜上の位置(角膜反射)を基準点とし、角膜反射の位置に対する瞳孔の位置に基づき操作者の視線を検出する。左目の角膜反射よりも瞳孔が目じり側にあれば、操作者は左側を見ており、角膜反射よりも瞳孔が目頭側にあれば、右側を見ていることが検出される。上下方向についても同様である。
4.システムの全体シーケンス
次に、実施形態におけるシステムの全体処理フローについて説明する。
図6Aは、システムの一例を示す。TPR10としてTPR10A及びTPR10Bが存在し、それぞれを遠隔操作する端末20として端末20A及び端末20Bが存在するものとし、TPR10AをTPR−A、TPR10BをTPR−B、端末20Aを端末A、端末20Bを端末Bと略記する。TPR−Aを端末Aで遠隔操作し、TPR−Bを端末Bで遠隔操作し、端末Aの操作者(これを操作者Aとする)の注目点を端末Bの操作者(これを操作者Bとする)が共有すべく、同調対象のTPRをTPR−Aとして、TPR―BをTPR−Aに同調制御する例である。
図6Bは、シーケンス図を示す。
操作者A及び操作者Bの認証は完了しているものとする。端末Bの同調対象移動体指定部204は、操作者Bによる操作に応じ、通信部205を介してRMS30に対してTPRの情報の取得要求を送信する。操作者Bは、例えば、注目点を共有する必要が生じた場合に端末Bのスイッチを操作し、同調対象移動体指定部204は、操作者Bの当該操作に応じて情報の取得要求を送信する。
RMS30の管理部301は、通信部304を介して端末Bからの取得要求を受信すると、稼働中、すなわち認証が完了して操作者が操作中のTPRの情報を読み出してリスト形式で通信部304を介して端末Bに返信する。稼働中のTPRの情報には、TPRを一意に特定するためのID、当該TPRを操作している操作者を一意に特定するためのID(ユーザ名)、及び当該TPRの位置情報が含まれる。
端末Bの同調対象移動体指定部204は、RMS30から送信されたリストを受信するとリスト211として表示部に表示する。操作者Bは、端末Bのリスト211を視認して同調対象のTPR−Aを指定する。同調対象移動体指定部204は、操作者Bにより指定されると、TPR−Bに対して同調対象のTPR−Aの検知指示を通信部205を介して送信する。
TPR−Bの周辺移動体位置検知部103は、端末Bからの検知指示に応じて自己の周辺に位置するTPR−Aを検知する。すなわち、周辺移動体位置検知部103は、TPR−AのLEDの色やTPR−A自身の形状や色、模様等を用いて複数のTPR−Aを識別し、既述した2つの方法のいずれかを用いてTPR−Aの位置を検知する。TPR−Aの位置を検知すると、TPR−Bの回転角度計算部104は、注目点を共有するための基礎となる座標系を構築する。この座標系は、TPR−Aを基準とする座標系である。
次に、TPR−Bの回転角度計算部104は、通信部101を介してRMS30に対して同調対象であるTPR−Aを遠隔操作している操作者Aの注目点座標の取得要求を送信する。
RMS30の管理部301は、取得要求を受信すると、端末Aに対して操作者Aの注目点座標の取得要求を転送する。
端末Aのユーザ注目点座標検出部201は、RMS30からの取得要求に応じて操作者Aの視線方向から注目点座標を検出し、注目点座標データをRMS30に返信する。
RMS30の管理部301は、操作者Aの注目点座標データを受信すると、TPR−Bに対して注目点座標データを転送する。
TPR−Bの回転角度計算部104は、RMS30からの注目点座標データを受信すると、注目点を視野に含めるためのTPR−Bの回転角度を算出し、アクチュエータ制御部105に制御指令を出力して回転駆動する。
4.1 同調対象TPRの指定
図7は、端末Bの同調対象移動体指定部204で表示されるリスト211の詳細を示す。リスト211には、稼働中のTPRのTPRID、操作者名(ユーザ名)、位置が示される。リスト211にはターゲットの欄及びチェックボックスが表示され、操作者Bは、いずれかのチェックボックスにチェックを入力することで同調対象のTPRを指定する。ターゲットの欄における「Me」は、操作者Bが操作しているTPR−Bを示す。図において、同調対象であるTPR−Aは、TPRID=91011oka、ユーザ名=Hiraokaであり、TPR−AとTPR−Bは同一工場内に存在していることが分かる。
なお、TPR−Bと同一工場内に存在していない他のTPR、すなわち図において一点鎖線で囲まれたTPRについては、RMS30の管理部301から受信するものの、本来的に同調対象となり得ないため、同調対象移動体指定部204は、リスト211においてグレイ表示として選択不可とする。同調対象移動体指定部204は、TPR−Bと同一位置に存在するTPRのみを選択対象とし、それ以外を選択対象から除外する。勿論、RMS30の管理部301は、TPR−Bと同一位置に存在するTPRのみを対象としてリストを端末Bに返信してもよい。
4.2 同調処理のトリガ
図6Bのシーケンスでは、端末Bに表示されたリスト211を用いて操作者Bが同調対象のTPR−Aを指定することをトリガとしてTPR−Aへの同調処理が開始されるが、他の方法でも同調を開始し得る。
具体的には、端末Bが、端末Aからの操作者Aの同調指示をRMS30を介して受信した場合にリスト211を表示し、リスト211を用いて操作者Bが同調対象のTPR−Aを指定することをトリガとして同調処理を開始してもよい。あるいは、端末Bが、端末Aからの操作者Aの同調指示をRMS30を介して受信した場合に、リスト211を表示することなくTPR−Aへの同調処理を開始してもよい。さらに、端末Bの画面に操作者Aの同調指示があった旨を表示し、操作者Bがこの同調指示に応じる操作を行った事をトリガとして同調処理を開始してもよい。同調指示には、少なくともTPR−Aを特定するための情報、例えばTPRIDが含まれる。
図8は、操作者Aから同調指示があった場合の端末Bの画面例を示す。端末Bにはカメラ16Bで撮影して得られた画像210、及び操作スイッチ212が表示されるが、さらに、リスト211に代えて操作者Aによる同調指示があった旨のメッセージ214がポップアップ表示される。メッセージ214の一例は、
「TPR−Aへの同調指示がありました。」
である。また、メッセージ214とともに、同調指示に従うか否かの「同調」スイッチも表示される。操作者Bは、同調指示に従う場合に「同調」スイッチを操作する。「同調」スイッチが操作されたことをトリガとしてTPR−Bの同調処理が開始される。同調スイッチが操作された場合にリスト211を表示してもよく、リスト211においてTPR−Aを強調表示してもよい。
要約すると、以下の通りである。
(a)操作者Aが端末Aを操作してTPR−Aへの同調を指示する
(b)TPR−Aへの同調指示が端末Bで受信される
(c)端末BにTPR−Aへの同調指示が表示される
(d)操作者Bが端末Bを操作してTPR−Aへの同調を指示する
(e)TPR−Aへの同調指示がTPR−Bで受信される
(f)TPR−BはTPR−Aを検知する
(g)TPR−Bは注目点座標の取得要求を送信する
(h)TPR―Bは注目点座標を取得すると注目点を視野に含めるための回転角度を計算する
(i)TPR−Bを回転させてTPR−Bに同調させる
他方、図9は、操作者Aから同調指示を行う場合の端末Aの画面例を示す。端末20としての端末Aにはカメラ16Aで撮影して得られた画像210、操作スイッチ212、及び同調指示スイッチ216が表示される。操作者Aが同調指示スイッチ216を操作すると、同調指示がRMS30を介して端末Bに送信される。同調指示には、既述したようにTPR−Aを特定するTPRIDが含まれる。
あるいは、操作者Aは画像210内において注目点をタッチ操作あるいはタッチペン等で操作して特定してもよい。図では、特定した箇所をマーク215で示す。操作者Aは、注目点を特定した上で同調指示スイッチ216を操作すると、注目点の座標データとともに同調指示がRMS30を介して端末Bに送信される。
なお、この場合、注目点の座標データも端末Bに送信されるため、端末Bはその後、TPR−Bへの同調指示を送信する際に注目点の座標データも併せて送信する。TPR−Bは、これにより注目点の座標データを取得するため、別途、注目点の座標データの取得要求を送信する必要はない。
4.3 座標系構築及び回転角度計算
図10は、端末Bの回転角度計算部104で実行される座標系構築及び回転角度計算を模式的に示す。
回転角度計算部104は、周辺移動体位置検知部103で検知されたTPR−Aの位置情報を用いてTPR−Aを原点とする座標系を構築し、この座標系において自己の位置を定位する。図において、X−Y座標系は、TPR−Aの位置を原点とし、TPR−Aの向きをY方向とするX−Y座標系を示す。TPR−Bの位置は、この座標系における(Xb,Yb)として定位される。TPR−Bの向きがY方向であるとし、操作者Aの注目点座標がこの座標系において(0,Ya)の位置であるとする。
TPR−Bから注目点までの距離をL、座標系におけるTPR−Bの回転角度をθbとすると、
=(Ya−Yb)+Xb
Cos(θb−π/2)=(Ya−Yb)/L
であり、回転角度θbは、
θb=arcCos{(Ya−Yb)/L}+π/2
により算出される。
回転角度の算出は、TPR−Aでも実行し得るが、複数台のTPRが存在する状況下においては負荷分散の観点からTPR−Bが実行するのが好適である。
以上、実施形態について説明したが、本発明はこれに限定されず、種々の変形が可能である。以下、変形例について説明する。
<変形例1>
実施形態では、操作者Aの注目点座標を検出する方法として、
・操作者Aの視線方向を検出することによる自動検出
・操作者Aの操作による手動検出
を例示したが、これらを組み合わせてもよい。具体的には、操作者Aの同調指示スイッチ216の操作をトリガとしてカメラ213により操作者Aの視線方向を検出して操作者Aの注目点を自動検出し、検出した注目点をマーク215として表示し、操作者Aが確定スイッチを操作した場合に当該注目点座標を確定してもよい。同調指示スイッチ216に代えて、操作者Aの音声認識により同調指示のトリガとしてもよい。操作者Aが「同調」と発話すると、これを音声認識し、カメラ213により操作者Aの視線方向を検出して操作者Aの注目点を自動検出し、検出した注目点をマーク215として表示する等である。
<変形例2>
実施形態では、TPR―Bを回転駆動することでカメラ16Bの撮影範囲を回転させ、注目点が撮影範囲に含まれるように制御しているが、TPR−B自体は固定し、カメラ16Bのみを回転駆動してもよい。さらに、実施形態ではカメラ装置としてカメラ付き移動体を例示したが、車輪部12を備えず、カメラ16を固定器具に搭載してカメラ装置を構成し、カメラ16のみが任意に上下あるいは左右方向に回転駆動する場合にも適用し得る。
具体的には、例えば会議室に複数のカメラ16A,16B,16Cが配置されており、各カメラをそれぞれ操作者A,B,C,・・・が遠隔操作する場合において、操作者Aの注目点を他の操作者も共有するようにカメラ16B,16C,・・・をカメラ16Aに同調させるように制御する場合である。
このとき、アクチュエータ106は、車輪部12を駆動するのではなくカメラ16を駆動し、操作スイッチ212は車輪部12を操作するのではなくカメラ16の向きを操作するスイッチとして機能する。
<変形例3>
実施形態では、RMS30を用いて複数台のTPRを管理しているが、RMS30を用いることなく複数台のTPRを同調制御してもよい。
図11は、この場合のシステム構成を示す。図4と異なり、RMS30は設けられていない。複数台のTPR10A,10B,10C,・・・は、相互に位置を検知し、相互に操作者の注目点座標を送受信して同調する。
図12は、図11に示すシステムにおけるシーケンス図である。
操作者Aが端末Aを操作してTPR−Bに対してTPR−Aへの同調指示を出力したものとする。
端末Bの同調対象移動体指定部204は、操作者Bの操作に応じ、TPR−Bに対して同調対象のTPR−Aの検知指示を通信部205を介して送信する。
TPR−Bの周辺移動体位置検知部103は、端末Bからの検知指示に応じて自己の周辺に位置するTPR−Aを検知する。TPR−Aを識別し、その位置を検知すると、TPR−Bの回転角度計算部104は、注目点を共有するための基礎となる座標系を構築する。この座標系は、TPR−Aを基準とする座標系である。
次に、TPR−Bの回転角度計算部104は、通信部101を介してTPR−Aの端末Aに対して同調対象であるTPR−Aを遠隔操作している操作者Aの注目点座標の取得要求を送信する。この場合、TPR−Aを介して端末Aに送信してもよく、あるいはTPR−Aを介することなく直接端末Aに送信してもよい。後者の場合、例えばTPR−AとTPR−B間の通信によりTPR−Aを遠隔操作している端末Aを特定する。
端末Aのユーザ注目点座標検出部201は、取得要求に応じて操作者Aの注目点座標を検出し、TPR−Bに対して注目点座標データを返信する。注目点座標の検出は、視線方向に基づく自動検出でもよく、あるいは操作者Aの操作による手動検出でもよい。この場合も、検出した注目点座標データをTPR−Aを介してTPR−Bに返信してもよく、あるいはTPR−Aを介することなく端末Aから直接TPR−Bに返信してもよい。
TPR−Bの回転角度計算部104は、TPR−Aからの注目点座標データを受信すると、注目点を視野に含めるためのTPR−Bの回転角度を算出し、アクチュエータ制御部105に制御指令を出力してカメラ16Bを回転駆動する。注目点座標が既にカメラ16Bの視野に含まれている場合には、算出される回転角度は0であり回転駆動しない。
注目点座標データの取得要求は、TPR−Bから端末Aに送信する他、TPR−BからTPR−Aに送信し、その後、TPR−Aから端末Aに転送してもよい。注目点座標データについても、端末AからTPR−Bに返信する他、端末AからTPR−Aに返信し、その後、TPR−AからTPR−Bに返信してもよい。
<変形例4>
実施形態において、TPR−BをTPR−Aに同調させる際に、TPR−Bのカメラ16Bの視野の中心に操作者Aの注目点が位置するように回転角度を算出してもよい。また、同調制御の際には端末Bの画面に同調制御中である旨を表示するとともに、同調制御が完了した場合に端末Bの画面上で注目点を強調表示してもよい。
図13は、TPR−BをTPE−Aに同調させる際の、端末Bの画面表示例を示す。カメラ16Bで撮影して得られた画像210が表示されるとともに、TPR−Aへの同調中であることを示すメッセージ217がポップアップ表示される。カメラ16Bが回転駆動するので、画像210は移動画像となるが、操作者Bはこのメッセージ217を視認することで、同調制御中のため画像210が移動していることを認識する。メッセージ217には「中止」スイッチも併せて表示され、操作者Bの中止操作により同調制御は中断される。
図14は、TPR−BをTPR−Aに同調させた後の、端末Bの画面表示例を示す。カメラ16Bで撮影して得られた画像210が表示されるとともに、この画像210中における操作者Aの注目点を示すマーク218が重畳表示される。操作者Bは、このマーク218を視認することで、操作はAが画像内においてどこに注目しているのか認識し、操作者A,B間のコミュニケーションが円滑化される。
<変形例5>
実施形態では、TPR10の向きを調整することで注目点がカメラ16の撮影範囲に含まれるようにカメラの向きを制御しているが、カメラの画角を調整することで注目点が撮影範囲に含まれるように制御してもよい。車輪部12を備えないカメラ装置の場合も同様である。カメラの向きと画角をともに調整してもよい。さらに、注目点が画像の中央に位置するようにカメラの向きと画角をともに調整してもよい。
10 カメラ付き移動体、12 車輪部、14 表示部、16 カメラ、18 注目点、20 端末(遠隔操作用端末)、30 RMS(遠隔管理装置)、210 画像(ライブ画像)、211 リスト、212 操作スイッチ、213 カメラ(視線検出カメラ)、214,217 メッセージ、215,218 マーク、216 同調指示スイッチ。

Claims (19)

  1. 遠隔操作者に対して撮影画像を提供するカメラと、
    他カメラの遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記カメラを制御する制御部と、
    を備えるカメラ装置。
  2. 前記制御部は、前記カメラの遠隔操作者からの指示に応じて、前記他カメラの遠隔操作者の注目点の位置データを取得する
    請求項1に記載のカメラ装置。
  3. 前記カメラの遠隔操作者からの指示に応じて、前記他カメラを検知する検知部と、
    前記他カメラの遠隔操作者の注目点の位置データの送信を要求する送信部と、
    送信された前記他カメラの遠隔操作者の注目点の位置データを受信する受信部と、
    を備える請求項2に記載のカメラ装置。
  4. 前記制御部は、前記他カメラの遠隔操作者からの指示に応じて、前記他カメラの遠隔操作者の注目点の位置データを取得する
    請求項1に記載のカメラ装置。
  5. 前記他カメラの遠隔操作者からの指示に応じて、前記他カメラを検知する検知部と、
    前記他カメラの遠隔操作者の注目点の位置データの送信を要求する送信部と、
    送信された前記他カメラの遠隔操作者の注目点の位置データを受信する受信部と、
    を備える請求項4に記載のカメラ装置。
  6. 前記送信部は、管理装置を介して要求し、
    前記受信部は、前記管理装置を介して受信する
    請求項3,5のいずれかに記載のカメラ装置。
  7. 前記送信部は、前記他カメラに対して要求し、
    前記受信部は、前記他カメラから受信する
    請求項3,5のいずれかに記載のカメラ装置。
  8. 前記他カメラの遠隔操作者の注目点の位置データは、前記他カメラの遠隔操作者の視線方向を検出して得られる
    請求項1〜7のいずれかに記載のカメラ装置。
  9. 前記他カメラの遠隔操作者の注目点の位置データは、前記遠隔操作者の操作により得られる
    請求項1〜7のいずれかに記載のカメラ装置。
  10. 自己の位置を検出する位置検出部と、
    前記他カメラの位置データを取得する取得部と、
    を備え、
    前記制御部は、前記自己の位置と、前記他カメラの位置データと、前記注目点の位置データを用いて前記カメラを制御する
    請求項1〜9のいずれかに記載のカメラ装置。
  11. 前記カメラを移動する車輪部をさらに備える、
    請求項1〜10のいずれかに記載のカメラ装置。
  12. 前記制御部は、前記カメラの向き、前記カメラの画角、前記車輪部の少なくともいずれかを制御する
    請求項11に記載のカメラ装置。
  13. 第1カメラ装置及び第2カメラ装置と、
    前記第1カメラ装置を遠隔操作する第1遠隔操作用端末及び前記第2カメラ装置を遠隔操作する第2遠隔操作用端末と、
    を備え、
    前記第1カメラ装置は、
    前記第1遠隔操作用端末に対して撮影画像を提供する第1カメラと、
    前記第2カメラ装置の遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記第1カメラを制御する第1制御部と、
    を備え、
    前記第2カメラ装置は、
    前記第2遠隔操作用端末に対して撮影画像を提供する第2カメラと、
    前記第1カメラ装置の遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記第2カメラを制御する第2制御部と、
    を備えるカメラ装置制御システム。
  14. 前記第1遠隔操作用端末は、
    前記第1カメラの前記撮影画像を表示する第1表示部と、
    前記第1表示部における遠隔操作者の注目点の位置データを検出する検出部と、
    検出した前記遠隔操作者の注目点の位置データを前記第2カメラ装置に送信する送信部と、
    を備え、
    前記第2遠隔操作用端末は、
    前記第2カメラの前記撮影画像を表示する第2表示部と、
    を備える請求項13に記載のカメラ装置制御システム。
  15. 前記第1遠隔操作用端末は、前記第2カメラ装置に対して前記第1カメラ装置への同調を指示するための操作部
    を備える請求項14に記載のカメラ装置制御システム。
  16. 前記第2遠隔操作用端末は、前記第2カメラ装置に対して前記第1カメラ装置への同調を指示するための操作部
    を備える請求項14に記載のカメラ装置制御システム。
  17. 前記第2遠隔操作用端末は、前記第2制御部が前記第2カメラを制御する場合に、前記第1カメラ装置へ同調していることを表示する第3表示部と、
    を備える請求項14に記載のカメラ装置制御システム。
  18. 前記第2遠隔操作用端末の前記第2表示部は、前記撮影画像に前記注目点の位置を示すマークを重畳表示する
    請求項16,17のいずれかに記載のカメラ装置制御システム。
  19. カメラ装置を制御するためのプログラムであり、前記カメラ装置を制御するプロセッサに、
    前記カメラ装置の遠隔操作者に対して撮影画像を提供するステップと、
    他のカメラ装置の遠隔操作者の注目点の位置データを取得するステップと、
    前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記カメラ装置を制御するステップと、
    を実行させるプログラム。
JP2017183821A 2017-09-25 2017-09-25 カメラ装置、カメラ装置制御システム、及びプログラム Active JP7187768B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017183821A JP7187768B2 (ja) 2017-09-25 2017-09-25 カメラ装置、カメラ装置制御システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017183821A JP7187768B2 (ja) 2017-09-25 2017-09-25 カメラ装置、カメラ装置制御システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019062293A true JP2019062293A (ja) 2019-04-18
JP7187768B2 JP7187768B2 (ja) 2022-12-13

Family

ID=66177690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017183821A Active JP7187768B2 (ja) 2017-09-25 2017-09-25 カメラ装置、カメラ装置制御システム、及びプログラム

Country Status (1)

Country Link
JP (1) JP7187768B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933378A (zh) * 2019-12-12 2020-03-27 西安冉科信息技术有限公司 一种基于局域网的网络摄像机接入和控制方法
WO2022085588A1 (ja) * 2020-10-20 2022-04-28 avatarin株式会社 システム、端末及びプログラム
EP4002836A1 (en) 2020-11-13 2022-05-25 Honda Motor Co., Ltd. Remote display system, robot, and display terminal
EP4002046A1 (en) 2020-11-13 2022-05-25 Honda Motor Co., Ltd. Remote operation system comprising a robot and an operation terminal

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181902A (ja) * 1994-12-22 1996-07-12 Canon Inc カメラ制御システム
JPH1195313A (ja) * 1997-09-17 1999-04-09 Fuji Photo Optical Co Ltd リモコン雲台システム
JP2000209576A (ja) * 1999-01-14 2000-07-28 Minolta Co Ltd アクセス制御装置およびアクセス制御プログラムを記録した記録媒体
JP2003158664A (ja) * 2001-11-21 2003-05-30 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2003348428A (ja) * 2002-05-24 2003-12-05 Sharp Corp 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
JP2012114593A (ja) * 2010-11-22 2012-06-14 Nippon Hoso Kyokai <Nhk> 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム
JP2013051552A (ja) * 2011-08-31 2013-03-14 Nippon Hoso Kyokai <Nhk> 視聴管理装置、視聴装置、視聴管理プログラム、及び視聴プログラム
WO2016002445A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017144182A (ja) * 2016-02-19 2017-08-24 株式会社ソニー・インタラクティブエンタテインメント 制御装置、提供方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181902A (ja) * 1994-12-22 1996-07-12 Canon Inc カメラ制御システム
JPH1195313A (ja) * 1997-09-17 1999-04-09 Fuji Photo Optical Co Ltd リモコン雲台システム
JP2000209576A (ja) * 1999-01-14 2000-07-28 Minolta Co Ltd アクセス制御装置およびアクセス制御プログラムを記録した記録媒体
JP2003158664A (ja) * 2001-11-21 2003-05-30 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2003348428A (ja) * 2002-05-24 2003-12-05 Sharp Corp 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
JP2012114593A (ja) * 2010-11-22 2012-06-14 Nippon Hoso Kyokai <Nhk> 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム
JP2013051552A (ja) * 2011-08-31 2013-03-14 Nippon Hoso Kyokai <Nhk> 視聴管理装置、視聴装置、視聴管理プログラム、及び視聴プログラム
WO2016002445A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017144182A (ja) * 2016-02-19 2017-08-24 株式会社ソニー・インタラクティブエンタテインメント 制御装置、提供方法及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933378A (zh) * 2019-12-12 2020-03-27 西安冉科信息技术有限公司 一种基于局域网的网络摄像机接入和控制方法
WO2022085588A1 (ja) * 2020-10-20 2022-04-28 avatarin株式会社 システム、端末及びプログラム
JP2022067459A (ja) * 2020-10-20 2022-05-06 avatarin株式会社 システム、端末及びプログラム
EP4002836A1 (en) 2020-11-13 2022-05-25 Honda Motor Co., Ltd. Remote display system, robot, and display terminal
EP4002046A1 (en) 2020-11-13 2022-05-25 Honda Motor Co., Ltd. Remote operation system comprising a robot and an operation terminal
US11637952B2 (en) 2020-11-13 2023-04-25 Honda Motor Co., Ltd. Remote display system, robot, and display terminal

Also Published As

Publication number Publication date
JP7187768B2 (ja) 2022-12-13

Similar Documents

Publication Publication Date Title
US10322804B2 (en) Device that controls flight altitude of unmanned aerial vehicle
JP2019062293A (ja) カメラ装置、カメラ装置制御システム、及びプログラム
CN105302131B (zh) 借助可自主运行的设备清洁或处理空间的方法
US10917560B2 (en) Control apparatus, movable apparatus, and remote-control system
US20150116502A1 (en) Apparatus and method for dynamically selecting multiple cameras to track target object
JPWO2019012817A1 (ja) 画像処理装置、画像処理装置の画像処理方法、プログラム
JP7180063B2 (ja) カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム
US20180332213A1 (en) Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone
US10924691B2 (en) Control device of movable type imaging device and control method of movable type imaging device
JP2015192697A5 (ja) 手術用制御装置および手術用制御方法、並びに手術システム
WO2018076895A1 (zh) 基于主无人机的从无人机飞行控制方法、装置及系统
JP6788845B2 (ja) 遠隔通信方法、遠隔通信システム及び自律移動装置
US20190286286A1 (en) Information processing device and method, and program
US20180077356A1 (en) System and method for remotely assisted camera orientation
JP2017138947A (ja) 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム
JP2022141639A (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JP2019004399A (ja) 作業機械の周囲監視システム
US20180082119A1 (en) System and method for remotely assisted user-orientation
JP2006139525A (ja) 自律移動型ロボット
US11212485B2 (en) Transparency system for commonplace camera
TWI471825B (zh) 天台安全監控系統及方法
JP2023068121A (ja) 映像伝送システム、映像伝送装置、および、映像伝送プログラム
JP2004291186A (ja) ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置
JP7078231B2 (ja) 3dツアーの比較表示システム及び方法
KR20190091870A (ko) 모션센서와 vr을 활용한 로봇 제어 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7187768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150