JP2022098658A - 撮影システム、その撮影方法及びプログラム - Google Patents

撮影システム、その撮影方法及びプログラム Download PDF

Info

Publication number
JP2022098658A
JP2022098658A JP2020212177A JP2020212177A JP2022098658A JP 2022098658 A JP2022098658 A JP 2022098658A JP 2020212177 A JP2020212177 A JP 2020212177A JP 2020212177 A JP2020212177 A JP 2020212177A JP 2022098658 A JP2022098658 A JP 2022098658A
Authority
JP
Japan
Prior art keywords
image
display unit
remote
controlled robot
imaging means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020212177A
Other languages
English (en)
Inventor
健光 森
Takemitsu Mori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020212177A priority Critical patent/JP2022098658A/ja
Priority to US17/554,225 priority patent/US11766789B2/en
Publication of JP2022098658A publication Critical patent/JP2022098658A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)

Abstract

Figure 2022098658000001
【課題】遠隔操作型ロボットの表示部に表示された対象物を良好に撮影できること。
【解決手段】撮影システムは、対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、遠隔操作型ロボットの撮影を行う第1撮像手段と、第1撮像手段の撮影範囲に遠隔操作型ロボットの表示部が含まれる場合、表示部の対象物の画像がより鮮明となるように、第1撮像手段のより撮影された表示部の対象物の画像を別の画像に置き換える、表示部の画像を調整する、表示部の位置を変更する、及び、表示部の姿勢を変更する、のうちの少なくとも1つを実行する画像制御手段と、を備えている。
【選択図】図1

Description

本発明は、遠隔操作型ロボットの撮影を行う撮影システム、その撮影方法及びプログラムに関する。
対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、 遠隔操作型ロボットの撮影を行う撮像手段と、を備える撮影システムが知られている(例えば、特許文献1参照)。
特許第06352217号公報
上記撮影システムにおいては、遠隔操作型ロボットの表示部の画像が、例えば、暗過ぎるあるいは明る過ぎるなどの画質が悪い場合に、表示部に表示された対象物を撮像手段により撮影するのが困難となる虞がある。
本発明は、かかる課題を解決するためになされたものであり、遠隔操作型ロボットの表示部に表示された対象物を良好に撮影できる撮影システム、その撮影方法及びプログラムを提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、
対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第1撮像手段と、
前記第1撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行する画像制御手段と、
を備える、撮影システム
である。
この一態様において、前記第1撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定する判定手段を更に備え、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行してもよい。
この一態様において、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第1撮像手段により撮影された前記表示部の対象物の画像を、予め記憶手段に記憶されている対象物の画像に置き換えてもよい。
この一態様において、前記対象物を撮影する第2撮像手段を更に備え、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第1撮像手段により撮影された前記表示部の対象物の画像を、前記第2撮像手段により撮影された対象物の画像、に置き換えてもよい。
この一態様において、前記判定手段は、前記第1撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定すると共に、該画像の状態を判定し、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定され、該対象物の画像の輝度が第1所定値以下で暗いと判定された場合に、該対象物の画像の輝度が第1所定値よりも大きくなるように前記表示部の輝度を制御し、該対象物の画像の輝度が第2所定値以上で明るいと判定された場合に、該対象物の画像の輝度が第2所定値よりも小さくなるように前記表示部の輝度を制御してもよい。
上記目的を達成するための本発明の一態様は、
対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第1撮像手段と、を備える撮影システムの撮影方法であって、
前記第1撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行する、
撮影システムの撮影方法
であってもよい。
上記目的を達成するための本発明の一態様は、
対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第1撮像手段と、を備える撮影システムのプログラムであって、
前記第1撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行する処理をコンピュータに実行させる、
プログラム
であってもよい。
本発明によれば、遠隔操作型ロボットの表示部に表示された対象物を良好に撮影できる撮影システム、その撮影方法及びプログラムを提供することができる。
本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。 テレプレゼンスロボットとユーザとの撮影を示す図である。 本実施形態に係るサーバの概略的なシステム構成を示すブロック図である。 本実施形態に係る撮影方法のフローを示すフローチャートである。 本実施形態に係る撮影システムの別のシステム構成を示すブロック図である。 本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。 本実施形態に係る撮影方法のフローを示すフローチャートである。 本実施形態に係る撮影システムの別のシステム構成を示すブロック図である。
実施形態1
以下、図面を参照して本発明の実施形態について説明する。図1は、本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。本実施形態に係る撮影システム1は、遠隔操作型ロボット2と、遠隔操作装置3と、第1カメラ4と、サーバ5と、を備えている。
遠隔操作型ロボット2、遠隔操作装置3、第1カメラ4、及び、サーバ5は、LAN(Local Area Network)、WAN(Wide Area Network)などの通信ネットワーク6を介して、相互に通信接続されていてもよい。
遠隔操作型ロボット2は、対象物を表示する表示部21を有すると共に、遠隔的に操作される。表示部21は、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイなどで構成されている。表示部21は、遠隔操作型ロボット2の頭部や胴体部などに設けられている。表示部21は、遠隔操作型ロボット2の操作を行う遠隔操作者の画像、キャラクタ、文字、記号などの対象物を表示する。
遠隔操作型ロボット2は、遠隔操作装置3から送信される操作信号に応じて、移動、動作、対話などを行うことができる。遠隔操作型ロボット2は、ヒューマノイドロボット、多関節ロボット、テレプレゼンスロボットなどとして構成されてもよい。
遠隔操作装置3は、サーバ5を介して遠隔操作型ロボット2に操作信号を送信することで、遠隔操作型ロボット2を遠隔的に操作する。遠隔操作装置3は、表示部、スイッチ、タッチパネル、通信部などを有するタブレット端末、スマートフォン、パーソナルコンピュータなどの端末装置として構成されている。
遠隔操作者は、遠隔操作型ロボット2に動作などを指示するための指示情報を遠隔操作装置3に入力する。遠隔操作装置3は、その指示情報に応じた操作信号を生成し、生成した操作信号を、サーバ5を介して、遠隔操作型ロボット2に送信する。なお、サーバ5は、遠隔操作装置3から送信される指示情報に基づいて操作信号を生成し、生成した操作信号を遠隔操作型ロボット2に送信してもよい。
遠隔操作装置3は、例えば、Bluetooth(登録商標)、Wifi(登録商標)、無線LAN(Local Area Network)などの無線通信を用いて、操作信号をサーバ5に送信する。サーバ5は、遠隔操作装置3からの操作信号を、無線通信を用いて遠隔操作型ロボット2に送信する。
第1カメラ4は、第1撮像手段の一具体例である。第1カメラ4は、遠隔操作型ロボット2の撮影を行う。第1カメラ4は、遠隔操作型ロボット2の動画像や静止画像を撮影することができる。第1カメラ4の撮影範囲は、遠隔操作型ロボット2の表示部21を含む。例えば、図2に示す如く、第1カメラ4は、表示部21に遠隔操作者の画像が表示されたテレプレゼンスロボットと、ユーザとの記念撮影などを行うことができる。
第1カメラ4は、例えば、遠隔操作型ロボット2が移動する環境内に設けられたカメラ、別のロボットに設けられたカメラ、遠隔操作型ロボット2の移動環境内にいるユーザが所持するカメラなどである。第1カメラ4は、無線通信を用いて、撮影した画像情報をサーバ5に送信する。
サーバ5は、遠隔操作型ロボット2、遠隔操作装置3、及び第1カメラ4と通信を行う機能、第1カメラ4から送信された画像に対して画像処理を行う機能、遠隔操作装置3から送信される操作信号に基づいて、遠隔操作型ロボット2を遠隔的に制御する機能などを有している。
サーバ5は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサ5aと、RAM(Random Access Memory)やROM(Read Only Memory)などの内部メモリ5bと、HDD(Hard Disk Drive)やSDD(Solid State Drive)などのストレージデバイス5cと、ディスプレイなどの周辺機器を接続するための入出力I/F5dと、装置外部の機器と通信を行う通信I/F5eと、を備えた通常のコンピュータのハードウェア構成を有する。
サーバ5は、例えば、プロセッサ5aが内部メモリ5bを利用しながら、ストレージデバイス5cや内部メモリ5bなどに格納されたプログラムを実行することで、各機能を実現することができる。
ところで、遠隔操作型ロボットの表示部の画像が、例えば、明る過ぎるあるいは暗過ぎる場合や、逆光あるいは光の反射などにより、明確に映らない場合に、表示部に表示された対象物を第1カメラにより撮影するのが困難となる虞がある。
これに対し、本実施形態に係る撮影システム1は、第1カメラ4の撮影範囲に遠隔操作型ロボット2の表示部21が含まれる場合、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように、その画像を別の画像に置き換える。撮影システム1は、第1カメラ4のより撮影された表示部21の対象物の画像を別の鮮明な画像に置き換えることで、その表示部21に表示された対象物を良好に撮影できる。
図3は、本実施形態に係るサーバの概略的なシステム構成を示すブロック図である。本実施形態に係るサーバ5は、画像を記憶する記憶部51と、第1カメラ4のより撮影された表示部21の対象物の画像を記憶部51に記憶された画像に置き換える画像制御部52と、を有している。
記憶部51は、記憶手段の一具体例である。記憶部51は、例えば、上記ストレージデバイス5cとして構成されている。記憶部51は、予め対象物に対応付けられた鮮明な画像を記憶している。例えば、対象物が遠隔操作者である場合、記憶部51は、遠隔操作者の上半身や顔の画像を記憶している。
画像制御部52は、第1カメラ4の撮影範囲に遠隔操作型ロボット2の表示部21が含まれる場合、第1カメラ4のより撮影された表示部21の対象物の画像を、記憶部51に記憶された別の鮮明な画像に置き換える。画像制御部52は、画像制御手段の一具体例である。
第1カメラ4は、撮影した画像を、サーバ5を介して、遠隔操作装置3に送信している。遠隔操作者は、遠隔操作装置3に表示され遠隔操作型ロボット2の表示部21の対象物の画像を確認することで、その表示部21の対象物の画像が鮮明であるか否かを判断することができる。
遠隔操作者は、例えば、遠隔操作型ロボット2の表示部21の対象物の画像が、明る過ぎる、暗過ぎる、光を反射している、などの理由で、鮮明でないと判断した場合、その鮮明でない画像を置き換えるための操作を遠隔操作装置3に対して行う。
遠隔操作者が、上述のような操作を行うと、遠隔操作装置3は、その操作に応じて、画像を置き換えるための置換信号をサーバ5に送信する。サーバ5の画像制御部52は、遠隔操作装置3から送信される置換信号に応じて、第1カメラ4のより撮影された表示部21の対象物の画像を、記憶部51に記憶された別の鮮明な画像に置き換える。
画像制御部52は、第1カメラ4から送信された画像のうち、不鮮明な遠隔操作型ロボット2の表示部21の対象物の画像のみを、記憶部51に記憶された別の鮮明な画像に、部分的に置き換え、画像全体の合成処理を行う。画像制御部52は、合成処理した鮮明な画像を、遠隔操作装置3、他の画像出力装置や記憶装置などに送信してもよい。
続いて、本実施形態に係る撮影方法について、詳細に説明する。図4は、本実施形態に係る撮影方法のフローを示すフローチャートである。
第1カメラ4は、遠隔操作型ロボット2の撮影を行い(ステップS101)、撮影した画像を、サーバ5を介して遠隔操作装置3に送信する。
遠隔操作者は、遠隔操作装置3の表示部などで、第1カメラ4から送信された遠隔操作型ロボット2の表示部21の対象物の画像が不鮮明であるか否かを確認する(ステップS102)。
遠隔操作者は、遠隔操作型ロボット2の表示部21の対象物の画像が鮮明でないと判断した場合(ステップS103)、その鮮明でない画像を置き換えるための操作を遠隔操作装置3に対して行う(ステップS104)。遠隔操作装置3は、その操作に応じて、画像を置き換えるための置換信号をサーバ5に送信する。一方で、遠隔操作者は、遠隔操作型ロボット2の表示部21の対象物の画像が鮮明であると判断した場合(ステップS105)、本処理を終了する。
サーバ5の画像制御部52は、遠隔操作装置3から送信される置換信号に応じて、第1カメラ4のより撮影された表示部21の対象物の画像を、記憶部51に記憶された別の鮮明な画像に置き換える(ステップS106)。
本実施形態に係る撮影システム1は、図5に示す如く、遠隔操作者を撮影する第2カメラ7を更に備えていてもよい。第2カメラ7は第2撮像手段の一具体例である。第2カメラは、例えば、遠隔操作装置3に設けられている。
サーバ5の画像制御部52は、遠隔操作装置3から送信される置換信号に応じて、第1カメラ4のより撮影された表示部21の対象物の画像を、第2カメラ7により撮影された遠隔操作者の画像、に置き換える。このように、第1カメラ4のより撮影された表示部21の対象物の画像を、第2カメラ7により撮影された鮮明な画像に置き換えることで、その表示部21に表示された対象物を良好に撮影できる。
以上、本実施形態に係る撮影システム1は、第1カメラ4の撮影範囲に遠隔操作型ロボット2の表示部21が含まれる場合、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるようにその画像を別の画像に置き換える。撮影システム1は、第1カメラ4のより撮影された表示部21の対象物の画像を別の鮮明な画像に置き換えることで、その表示部21に表示された対象物を良好に撮影できる。
実施形態2
図6は、本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。本実施形態に係るサーバ50は、第1カメラ4により撮影された遠隔操作型ロボット2の表示部21の対象物の画像に基づいて、該対象物の画像の画質の良否を判定する画質判定部53を更に備えている。
画像制御部52は、画質判定部53により、対象物の画像の画質が良くないと判定された場合に、第1カメラ4のより撮影された遠隔操作型ロボット2の表示部21の対象物の画像を別の画像に置き換える。
画質判定部53は、判定手段の一具体例である。第1カメラ4は、撮影した画像を、サーバ50に送信する。サーバ50の画質判定部53は、第1カメラ4から送信される画像の明るさ、暗さ、コントラストなどに基づいて、遠隔操作型ロボット2の表示部21の対象物の画像が鮮明であるか否かを判断してもよい。
例えば、画質判定部53は、学習器を用いて、遠隔操作型ロボット2の表示部21の対象物の画像が鮮明であるか否かを判断してもよい。学習器は、顔などの対象物の画像を予め学習する。学習器は、入力画像に対して、その入力画像が対象物であるか否かを示す出力信号を出力する。
画質判定部53は、第1カメラ4から送信される対象物の画像を上記学習済みの学習器に入力し、その入力画像が対象物であることを示す出力信号を出力することで、対象物の画像を正しく認識できた場合に、遠隔操作型ロボット2の表示部21の対象物の画像が鮮明であると判断してもよい。
学習器は、例えば、RNN(Recurrent neural Network)などのニューラルネットワークで構成されている。このRNNは、中間層にLSTM(Long Short Term Memory)を有していてもよい。学習器は、ニューラルネットワークの代わりに、SVM(Support Vector Machine)などの他の学習器で構成されてもよい。
また、画質判定部53は、例えば、遠隔操作型ロボット2の表示部21の対象物の画像の画素値の標準偏差に基づいて、逆光や光の反射などによりその表示部21の対象物の画像が鮮明でないとの判定を行っても良い。
画質判定部53は、遠隔操作型ロボット2の表示部21の対象物の画像が鮮明でないと判定した場合、その不鮮明さを示す不鮮明信号を画像制御部52に送信する。画像制御部52は、画質判定部53から送信される不鮮明信号に応じて、第1カメラ4のより撮影された遠隔操作型ロボット2の表示部21の対象物の画像を、記憶部51に記憶された別の鮮明な画像に置き換える。
なお、本実施形態において、画質判定部53はサーバ50に設けられる構成であるが、これに限定されない。画質判定部53は、遠隔操作型ロボット2、遠隔操作装置3、第1カメラ4、あるいは、別のサーバに設けられる構成であってもよい。本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。
実施形態3
本実施形態において、画像制御部52は、第1カメラ4の撮影範囲に遠隔操作型ロボットの表示部21が含まれる場合、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように、その画像を調整する。このように、画像制御部52は、第1カメラ4のより撮影された表示部21の対象物の画像を鮮明となるように調整することで、その表示部21に表示された対象物を良好に撮影できる。
例えば、遠隔操作者は、遠隔操作型ロボット2の表示部21の対象物の画像が、明る過ぎる、暗過ぎる、光を反射している、などの理由で、鮮明でないと判断した場合、その鮮明でない画像を調整するための調整操作を遠隔操作装置3に対して行う。
遠隔操作者が、上述のような調整操作を行うと、遠隔操作装置3は、その調整操作に応じて、画像を調整するための調整信号をサーバ5に送信する。サーバ5の画像制御部52は、遠隔操作装置3から送信される調整信号に応じて、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように、その画像を調整する。
画像制御部52は、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように、その画像を自動的に調整してもよい。
画質判定部53は、第1カメラ4により撮影された表示部21の対象物の画像に基づいて、対象物の画像の画質の良否を判定すると共に、その画像が明過ぎる、暗過ぎる、光を反射している、などの画像の状態を判定してもよい。
例えば、画質判定部53は、遠隔操作型ロボット2の表示部21に表示された対象物の画像の輝度が第1所定値以下で暗過ぎると判定する。この場合、画像制御部52は、画質判定部53によるその判定結果に応じて、遠隔操作型ロボット2の表示部21に表示された対象物の画像の輝度を第1所定値よりも大きく設定し直し、その画像がより鮮明となるように表示部21の輝度を制御する。
画質判定部53は、遠隔操作型ロボット2の表示部21に表示された対象物の画像の輝度が第2所定値以上で明過ぎると判定する。この場合、画像制御部52は、画質判定部53によるその判定結果に応じて、遠隔操作型ロボット2の表示部21に表示された対象物の画像の輝度を第2所定値よりも小さく設定し直し、その画像がより鮮明となるように表示部21の輝度を制御する。
画質判定部53は、第1カメラ4により撮影された遠隔操作型ロボット2の表示部21の対象物の画像に基づいて、対象物の画像が光を反射している、あるいは、逆光の状態にあると判定する。この場合、画像制御部52は、画質判定部53によるその判定結果に応じて、遠隔操作型ロボット2の表示部21に表示された対象物の画像がより鮮明となるように、その表示部21の画像の黒色あるいは白色の強弱を調整する。
画質判定部53は、第1カメラ4により撮影された遠隔操作型ロボット2の表示部21の対象物の画像に基づいて、第1カメラ4の露光のタイミングによりその画像が不鮮明になっているか否かを判定する。この場合、画像制御部52は、画質判定部53によるその判定結果に応じて、遠隔操作型ロボット2の表示部21に表示された対象物の画像がより鮮明となるように、その表示部21の画像の走査タイミングを調整する。
続いて、本実施形態に係る撮影方法について、詳細に説明する。図7は、本実施形態に係る撮影方法のフローを示すフローチャートである。
第1カメラ4は、遠隔操作型ロボット2の撮影を行い(ステップS301)、撮影した画像を、サーバ5に送信する。
サーバ50の画質判定部53は、第1カメラ4により撮影された表示部21の対象物の画像に基づいて、対象物の画像の画質の良否を判定すると共に、その画像が明過ぎる、暗過ぎる、光を反射している、などの画像の状態を判定する(ステップS302)。
画質判定部53は遠隔操作型ロボット2の表示部21の対象物の画像が鮮明でないと判定する(ステップS303)。この場合、画像制御部52は、画質判定部53によるその判定結果に応じて、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように、その画像を調整する(ステップS304)。一方で、画質判定部53は遠隔操作型ロボット2の表示部21の対象物の画像が鮮明であると判定した場合(ステップS305)、本処理を終了する。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。
実施形態4
本実施形態において、画像制御部52は、第1カメラ4の撮影範囲に遠隔操作型ロボット2の表示部21が含まれる場合、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように、表示部21の位置や姿勢を変更する。このように、画像制御部52は、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように表示部21の位置や姿勢を調整することで、その表示部21に表示された対象物を良好に撮影できる。
例えば、画質判定部53は、第1カメラ4により撮影された遠隔操作型ロボット2の表示部21の対象物の画像に基づいて、対象物の画像が光を反射していると判定する。この場合、画像制御部52は、画質判定部53によるその判定結果に応じて、第1カメラ4のより撮影された表示部21の対象物の画像がより鮮明となるように、表示部21の位置や姿勢を変更する。
画像制御部52は、遠隔操作型ロボット2の移動を制御することで、表示部21の位置を変更することができる。また、画像制御部52は、遠隔操作型ロボット2の各関節を制御し、その姿勢を制御することで、表示部21の姿勢を変更することができる。
なお、表示部21には、その姿勢を変更するためのサーボモータなどのアクチュエータが設けられていてもよい。画像制御部52は、このアクチュエータを制御することで、表示部21の姿勢を直接的に変更することができる。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
上記実施形態において、撮影システムは、図8に示す如く、サーバ5を備えない構成であってもよい。この場合、画像制御部52及び記憶部51は、例えば、遠隔操作型ロボット20に設けられる構成であってもよい。遠隔操作型ロボット20と、遠隔操作装置3、及び、第1カメラ4は、直接的に無線通信を行ってもよく、ネットワークを介して無線通信を行ってもよい。
本発明は、例えば、図4及び図7に示す処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上述した各実施形態に係る撮影システムを構成する各部は、プログラムにより実現するだけでなく、その一部または全部を、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの専用のハードウェアにより実現することもできる。
1 撮影システム、2 遠隔操作型ロボット、3 遠隔操作装置、4 第1カメラ、5 サーバ、6 通信ネットワーク、7 第2カメラ、20 遠隔操作型ロボット、21 表示部、50 サーバ、51 記憶部、52 画像制御部、53 画質判定部、5a プロセッサ、5b 内部メモリ、5c ストレージデバイス、5d 入出力I/F、5e 通信I/F

Claims (7)

  1. 対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
    前記遠隔操作型ロボットの撮影を行う第1撮像手段と、
    前記第1撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行する画像制御手段と、
    を備える、撮影システム。
  2. 請求項1記載の撮影システムであって、
    前記第1撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定する判定手段を更に備え、
    前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行する、
    撮影システム。
  3. 請求項2記載の撮影システムであって、
    前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第1撮像手段により撮影された前記表示部の対象物の画像を、予め記憶手段に記憶されている対象物の画像に置き換える、
    撮影システム。
  4. 請求項2記載の撮影システムであって、
    前記対象物を撮影する第2撮像手段を更に備え、
    前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第1撮像手段により撮影された前記表示部の対象物の画像を、前記第2撮像手段により撮影された対象物の画像、に置き換える、
    撮影システム。
  5. 請求項2乃至4のうちのいずれか1項記載の撮影システムであって、
    前記判定手段は、前記第1撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定すると共に、該画像の状態を判定し、
    前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定され、該対象物の画像の輝度が第1所定値以下で暗いと判定された場合に、該対象物の画像の輝度が第1所定値よりも大きくなるように前記表示部の輝度を制御し、該対象物の画像の輝度が第2所定値以上で明るいと判定された場合に、該対象物の画像の輝度が第2所定値よりも小さくなるように前記表示部の輝度を制御する、
    撮影システム。
  6. 対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
    前記遠隔操作型ロボットの撮影を行う第1撮像手段と、を備える撮影システムの撮影方法であって、
    前記第1撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行する、
    撮影システムの撮影方法。
  7. 対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
    前記遠隔操作型ロボットの撮影を行う第1撮像手段と、を備える撮影システムのプログラムであって、
    前記第1撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第1撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも1つを実行する処理をコンピュータに実行させる、
    プログラム。
JP2020212177A 2020-12-22 2020-12-22 撮影システム、その撮影方法及びプログラム Pending JP2022098658A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020212177A JP2022098658A (ja) 2020-12-22 2020-12-22 撮影システム、その撮影方法及びプログラム
US17/554,225 US11766789B2 (en) 2020-12-22 2021-12-17 Shooting system, shooting method therefor, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020212177A JP2022098658A (ja) 2020-12-22 2020-12-22 撮影システム、その撮影方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022098658A true JP2022098658A (ja) 2022-07-04

Family

ID=82023945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020212177A Pending JP2022098658A (ja) 2020-12-22 2020-12-22 撮影システム、その撮影方法及びプログラム

Country Status (2)

Country Link
US (1) US11766789B2 (ja)
JP (1) JP2022098658A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013046306A (ja) * 2011-08-25 2013-03-04 Sony Corp 情報処理装置、情報処理システムおよび情報処理方法
JP6352217B2 (ja) 2015-04-27 2018-07-04 日本電信電話株式会社 コミュニケーションシステムおよびその制御方法
JP6886620B2 (ja) * 2017-08-09 2021-06-16 オムロン株式会社 キャリブレーション方法、キャリブレーションシステム及びプログラム
JP7052652B2 (ja) * 2018-09-06 2022-04-12 トヨタ自動車株式会社 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム
JP7342676B2 (ja) * 2019-12-13 2023-09-12 トヨタ自動車株式会社 遠隔操作システム及び遠隔操作方法

Also Published As

Publication number Publication date
US11766789B2 (en) 2023-09-26
US20220193935A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
JP4884417B2 (ja) 携帯型電子装置及びその制御方法
RU2649773C2 (ru) Управление камерой посредством функции распознавания лица
TWI688814B (zh) 閃光燈模組、具有閃光燈模組的電子裝置及控制方法
US20160125221A1 (en) Method for recognizing iris and electronic device thereof
EP3136377A1 (en) Information processing device, information processing method, program, adjustment device, and image display system
JP5674701B2 (ja) 情報処理端末装置
JP6991733B2 (ja) 制御装置、制御方法、及びプログラム
JP2018117186A5 (ja)
JP2014119695A (ja) 撮像装置及び撮像方法並びにプログラム
JP2021039167A (ja) 画像処理装置及び画像処理装置の制御方法
US11095824B2 (en) Imaging apparatus, and control method and control program therefor
JP2022098658A (ja) 撮影システム、その撮影方法及びプログラム
JP5803129B2 (ja) カメラ
JP2009060393A (ja) 書画カメラ装置、画像処理装置、画像処理方法及びプログラム
JP2015029219A (ja) 電子機器
JP7412940B2 (ja) 撮像装置、コンピュータプログラムおよび記憶媒体
JP2018164220A (ja) 撮影制御装置及びプログラム
JP6115603B2 (ja) カメラ
JP2018155904A (ja) 表示制御装置及びその制御方法
KR20220099827A (ko) 전자 장치 및 그 제어 방법
JP2012039204A (ja) 電子カメラ
JP2017216599A (ja) 撮像装置及びその制御方法
JP6724395B2 (ja) 画像表示制御装置、画像表示制御方法及び画像表示制御プログラム
KR20230076660A (ko) 멀티 포커스 카메라를 이용한 차량 비전 검사 시스템 및 방법
KR20230108644A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230718