JP2018201218A - Information terminal device, imaging method, imaging program, and mobile imaging device - Google Patents

Information terminal device, imaging method, imaging program, and mobile imaging device Download PDF

Info

Publication number
JP2018201218A
JP2018201218A JP2018144967A JP2018144967A JP2018201218A JP 2018201218 A JP2018201218 A JP 2018201218A JP 2018144967 A JP2018144967 A JP 2018144967A JP 2018144967 A JP2018144967 A JP 2018144967A JP 2018201218 A JP2018201218 A JP 2018201218A
Authority
JP
Japan
Prior art keywords
imaging
mobile
unit
imaging target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018144967A
Other languages
Japanese (ja)
Other versions
JP6429303B1 (en
Inventor
佐藤 明伸
Akinobu Sato
明伸 佐藤
浩一 新谷
Koichi Shintani
浩一 新谷
健二 本間
Kenji Honma
健二 本間
義久 尾形
Yoshihisa Ogata
義久 尾形
学 田島
Manabu Tajima
学 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018144967A priority Critical patent/JP6429303B1/en
Application granted granted Critical
Publication of JP6429303B1 publication Critical patent/JP6429303B1/en
Publication of JP2018201218A publication Critical patent/JP2018201218A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To capture, with a simple configuration, an image at a position and with a layout desired by a user.SOLUTION: An information terminal device comprises: a memory which stores imaging object specifying information for specifying an imaging object; a communication part which performs communication, with a freely movable mobile imaging device having a mobile body imaging part, for controlling movement of the mobile imaging device and imaging by the mobile body imaging part; and a control part which controls the communication part so as to transmit, to the mobile imaging device, a stand-by command for moving the mobile imaging device to a predetermined stand-by position thereby bringing the mobile body imaging part into an imaging stand-by state for the imaging object specified by the imaging object specifying information.SELECTED DRAWING: Figure 1

Description

本発明は、ロボット掃除機等の自律式の移動体に好適な情報端末機器、撮影方法、撮影プログラム及び移動撮影装置に関する。   The present invention relates to an information terminal device, a photographing method, a photographing program, and a moving photographing apparatus suitable for an autonomous moving body such as a robot cleaner.

近年、ロボット掃除機やドローン等のように自律式で移動可能な移動体が商品化されている。このような移動体は、危険な場所での活動のため、人では進入困難な場所での活動のため、或いは、人の煩雑な作業や退屈な作業等を開放する目的のため等の様々な目的のために利用されている。
例えば、特許文献1においては、ユーザの指示に従って動くロボットが開示されている。
In recent years, mobile bodies that can move autonomously, such as robot cleaners and drones, have been commercialized. Such mobile objects can be used for various activities, such as for activities in dangerous places, for activities in places where it is difficult for humans to enter, or for the purpose of releasing troublesome or tedious work for humans. It is used for the purpose.
For example, Patent Document 1 discloses a robot that moves in accordance with a user instruction.

特開2006−263844号公報JP 2006-263844 A

特許文献1の技術においては目標位置をロボットに提供する必要があるが、これからの時代は、機器が連携してユーザの求める事を実行する事が求められる時代になりつつあり、細かなプログラムや細かな操縦なしに、意を汲んだロボット制御をいかに行うかが課題となる。
本発明は、簡単な構成でユーザが希望する位置及び構図で撮影を行うことができる情報端末機器、撮影方法、撮影プログラム及び移動撮影装置を提供することを目的とする。
In the technology of Patent Document 1, it is necessary to provide the target position to the robot. However, in the future, it is becoming an era in which devices are required to execute what the user wants in cooperation. The challenge is how to carry out robot control without careful handling.
An object of the present invention is to provide an information terminal device, a photographing method, a photographing program, and a mobile photographing device that can perform photographing at a position and composition desired by a user with a simple configuration.

本発明の一態様による情報端末機器は、撮像対象を特定するための撮像対象特定情報を記録するメモリと、移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信を行う通信部と、上記通信部を制御して、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信させる制御部とを具備する。   An information terminal device according to an aspect of the present invention provides a memory that records imaging target specifying information for specifying an imaging target and a mobile imaging device that includes a moving body imaging unit. A communication unit that performs communication for controlling movement and imaging of the mobile body imaging unit, and the communication unit is controlled to move the mobile imaging device to a predetermined waiting position to capture the mobile body imaging unit. And a control unit that transmits an ambush instruction for setting the imaging standby state for the imaging target specified by the target specifying information to the mobile imaging device.

本発明の一態様による撮影方法は、撮像対象を特定するための撮像対象特定情報を記録するステップと、移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動体撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信ステップであって、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信するステップとを具備する。   An imaging method according to an aspect of the present invention includes a step of recording imaging target specifying information for specifying an imaging target, and a mobile imaging device that includes a mobile imaging unit and is movable. A communication step for controlling movement and imaging of the moving body imaging unit, wherein the moving imaging device is moved to a predetermined ambush position and the moving body imaging unit is specified by the imaging target specifying information And a step of transmitting an ambush instruction for setting an imaging target to an imaging target to the mobile imaging device.

本発明の一態様による撮影プログラムは、コンピュータに、撮像対象を特定するための撮像対象特定情報を記録するステップと、移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動体撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信ステップであって、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信するステップとを実行させる。   According to another aspect of the present invention, there is provided a shooting program including: a step of recording imaging target specifying information for specifying an imaging target in a computer; A communication step for controlling the movement of the imaging device and the imaging of the moving body imaging unit, wherein the moving imaging device is moved to a predetermined ambush position and the moving body imaging unit is identified by the imaging target specifying information And a step of transmitting an ambush instruction for setting the imaging target to the imaging target to the mobile imaging device.

本発明の一態様による移動撮影装置は、情報端末機器との間で通信を行う通信部を有する移動撮影装置において、撮像対象を特定するための撮像対象特定情報を記録するメモリと、上記通信部により、上記撮像対象に対する撮影待機状態を指示するための待ち伏せ指示信号が受信されると、上記移動撮影装置の撮影範囲内に上記撮像対象特定情報により特定される上記撮像対象が存在するか否かに拘わらず、上記撮像対象特定情報に基づく待ち伏せ位置に当該移動撮影装置を移動させて当該移動撮影装置を上記撮像対象に対する撮影待機状態とする制御部と、を具備する。   A mobile imaging device according to an aspect of the present invention includes a memory for recording imaging target specifying information for specifying an imaging target in the mobile imaging device having a communication unit that communicates with an information terminal device, and the communication unit. When the ambush instruction signal for instructing the shooting standby state for the imaging target is received, whether or not the imaging target specified by the imaging target specifying information exists within the shooting range of the mobile shooting device Regardless of this, there is provided a control unit that moves the mobile imaging device to an ambush position based on the imaging target specifying information and places the mobile imaging device in a shooting standby state for the imaging target.

また、本発明の他の態様による撮影方法は、移動自在で撮影可能な移動撮影装置における撮影方法であって、撮像対象を特定するための撮像対象特定情報を記録する記録ステップと、情報端末機器との間で通信を行う通信ステップと、上記通信ステップにおいて、上記撮像対象に対する撮影待機状態を指示するための待ち伏せ指示信号が受信されると、上記移動撮影装置の撮影範囲内に上記撮像対象特定情報により特定される上記撮像対象が存在するか否かに拘わらず、上記撮像対象特定情報に基づく待ち伏せ位置に当該移動撮影装置を移動させて当該移動撮影装置を上記撮像対象に対する撮影待機状態とする制御ステップと、を具備する。   An imaging method according to another aspect of the present invention is an imaging method in a mobile imaging device that is movable and capable of imaging, a recording step for recording imaging object specifying information for specifying an imaging object, and an information terminal device In the communication step for communicating with the imaging object, and in the communication step, when an ambush instruction signal for instructing the imaging standby state for the imaging object is received, the imaging object identification is performed within the imaging range of the mobile imaging device Regardless of whether or not the imaging target specified by the information exists, the mobile imaging device is moved to the ambush position based on the imaging target specifying information and the mobile imaging device is set in a shooting standby state for the imaging target. A control step.

本発明の一態様による撮影プログラムは、移動自在で撮影可能な移動撮影装置において実行される撮影プログラムであって、コンピュータに、撮像対象を特定するための撮像対象特定情報を記録する記録ステップと、情報端末機器との間で通信を行う通信ステップと、上記通信ステップにおいて、上記撮像対象に対する撮影待機状態を指示するための待ち伏せ指示信号が受信されると、上記移動撮影装置の撮影範囲内に上記撮像対象特定情報により特定される上記撮像対象が存在するか否かに拘わらず、上記撮像対象特定情報に基づく待ち伏せ位置に当該移動撮影装置を移動させて当該移動撮影装置を上記撮像対象に対する撮影待機状態とする制御ステップと、を実行させる。   An imaging program according to an aspect of the present invention is an imaging program that is executed in a mobile imaging device that is movable and capable of imaging, and a recording step of recording imaging target specifying information for specifying an imaging target on a computer; In the communication step of performing communication with the information terminal device, and in the communication step, when an ambush instruction signal for instructing a shooting standby state for the imaging target is received, the mobile shooting device has the shooting range within the shooting range. Regardless of whether or not the imaging target specified by the imaging target specifying information exists, the mobile imaging device is moved to the ambush position based on the imaging target specifying information, and the mobile imaging device is set to the imaging standby for the imaging target. And a control step for setting the state.

本発明によれば、簡単な構成でユーザが希望する位置及び構図で撮影を行うことができる。   According to the present invention, it is possible to perform photographing at a position and composition desired by a user with a simple configuration.

本発明の一実施の形態に係る移動撮影装置及び移動撮影制御装置を示すブロック図。1 is a block diagram showing a mobile imaging device and a mobile imaging control device according to an embodiment of the present invention. 図1中の対象物情報メモリ25に記憶されている情報を説明するための説明図。Explanatory drawing for demonstrating the information memorize | stored in the target object information memory 25 in FIG. 実施の形態における利用の様子を説明するための説明図。Explanatory drawing for demonstrating the mode of utilization in embodiment. 移動撮影制御装置20の動作を説明するためのフローチャート。6 is a flowchart for explaining the operation of the mobile photographing control device 20; 移動撮影装置10の動作を説明するためのフローチャート。4 is a flowchart for explaining the operation of the mobile photographing apparatus 10; 移動撮影制御装置20と移動撮影装置10が連携して撮影を行う様子を説明するための説明図。Explanatory drawing for demonstrating a mode that the mobile imaging | photography control apparatus 20 and the mobile imaging | photography apparatus 10 perform imaging | photography in cooperation. 移動撮影制御装置20と移動撮影装置10が連携して撮影を行う様子を説明するための説明図。Explanatory drawing for demonstrating a mode that the mobile imaging | photography control apparatus 20 and the mobile imaging | photography apparatus 10 perform imaging | photography in cooperation.

以下、図面を参照して本発明の実施の形態について詳細に説明する。
図1は本発明の一実施の形態に係る移動撮影装置及び移動撮影制御装置を示すブロック図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a mobile photographing apparatus and a mobile photographing control apparatus according to an embodiment of the present invention.

本実施の形態における移動撮影装置10は、自律式で移動自在である。移動撮影装置10としては自律式で移動可能な公知の各種機器を利用してもよい。例えば、移動撮影装置10としては、室内を移動可能なロボット掃除機を採用してもよく、地上を移動する自動走行車両を採用してもよく、ドローン等の無人航空機を採用してもよく、水上を移動する自律式の船舶等を採用してもよい。   The mobile imaging device 10 in the present embodiment is autonomous and movable. As the mobile imaging device 10, various known devices that can move autonomously may be used. For example, as the mobile photographing device 10, a robot cleaner that can move in the room may be employed, an automatic traveling vehicle that moves on the ground may be employed, or an unmanned aircraft such as a drone may be employed. You may employ | adopt the autonomous ship etc. which move on the water.

図1において、移動撮影装置10は制御部11を有している。制御部11は、図示しないCPU等を用いたプロセッサにより構成されていてもよく、図示しないメモリに記憶されたプログラムに従って各機能を実現するものであってもよい。移動撮影装置10には移動部12が設けられている。移動部12は移動撮影装置10を移動させるための各種移動機構を有する。例えば、移動撮影装置10がロボット掃除機等を利用するものである場合には、移動機構としては、車輪が採用される。また、移動撮影装置10がドローンを利用するものである場合には、移動機構としてプロペラが採用される。また、移動撮影装置10としては、脚移動を行うロボットを採用してもよく、キャタピラによって移動するロボットを採用してもよい。なお、移動部12は、移動機構を駆動するモータやエンジン等の駆動機構を含むものとする。移動部12は、制御部11に制御されて、所望の方向に移動撮影装置10を移動させることができるようになっている。   In FIG. 1, the mobile photographing apparatus 10 has a control unit 11. The control unit 11 may be configured by a processor using a CPU or the like (not shown), or may realize each function according to a program stored in a memory (not shown). The moving photographing apparatus 10 is provided with a moving unit 12. The moving unit 12 has various moving mechanisms for moving the mobile photographing device 10. For example, when the mobile photographing device 10 uses a robot cleaner or the like, wheels are employed as the moving mechanism. Further, when the mobile photographing device 10 uses a drone, a propeller is employed as the moving mechanism. Further, as the mobile photographing device 10, a robot that moves a leg may be adopted, or a robot that moves by a caterpillar may be adopted. The moving unit 12 includes a driving mechanism such as a motor or an engine that drives the moving mechanism. The moving unit 12 is controlled by the control unit 11 and can move the moving photographing apparatus 10 in a desired direction.

移動撮影装置10には情報取得部13が設けられている。情報取得部13は、撮像部13aを備えている。撮像部13aには、CCDやCMOSセンサ等によって構成された図示しない撮像素子が設けられており、図示しない光学系によって被写体光学像が撮像素子の撮像面に導かれるようになっている。光学系内には、図示しないフォーカスレンズ、ズームレンズ及び絞り等を駆動する機構部及びこれらの機構部を駆動する駆動部が構成されている。   The mobile photographing device 10 is provided with an information acquisition unit 13. The information acquisition unit 13 includes an imaging unit 13a. The imaging unit 13a is provided with an imaging element (not shown) configured by a CCD, a CMOS sensor, or the like, and a subject optical image is guided to the imaging surface of the imaging element by an optical system (not shown). In the optical system, there are configured a mechanism unit that drives a focus lens, a zoom lens, a diaphragm, and the like (not shown) and a drive unit that drives these mechanism units.

制御部11には撮像制御部11aが設けられており、撮像制御部11aは光学系内の駆動部を駆動制御して、光学系内に構成されたフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。撮像素子は被写体光学像を光電変換して動画又は静止画の撮像画像を得る。この撮像画像は制御部11に与えられる。   The control unit 11 is provided with an imaging control unit 11a. The imaging control unit 11a drives and controls a driving unit in the optical system, and controls driving of a focus lens, a zoom lens, and a diaphragm configured in the optical system. It is like that. The imaging element photoelectrically converts the subject optical image to obtain a captured image of a moving image or a still image. This captured image is given to the control unit 11.

また、移動撮影装置10には追尾制御部17が設けられている。追尾制御部17は制御部11に制御されて、撮像部13aが取得した撮像画像中の所定の被写体を追尾することができるようになっている。例えば、追尾制御部17は、追尾中の被写体が移動する場合でも、撮像部13aの視野範囲内に追尾中の被写体が含まれるように、画角を制御することができるようになっている。   In addition, the tracking control unit 17 is provided in the mobile imaging device 10. The tracking control unit 17 can be controlled by the control unit 11 to track a predetermined subject in the captured image acquired by the imaging unit 13a. For example, the tracking control unit 17 can control the angle of view so that the subject being tracked is included within the field of view of the imaging unit 13a even when the subject being tracked moves.

移動撮影装置10には通信部16が設けられており、通信部16は制御部11に制御されて、移動撮影制御装置20等の外部機器との間で有線又は無線により情報の送受信を行うことができるようになっている。制御部11は、撮像部13aによって撮像された撮像画像を通信部16を介して外部機器に送信することもできるようになっている。また、移動撮影装置10にメモリを設けて、撮像部13aによって取得された撮像画像をこのメモリに記憶させるようになっていてもよい。   The mobile photographing device 10 is provided with a communication unit 16, and the communication unit 16 is controlled by the control unit 11 to transmit / receive information to / from an external device such as the mobile photographing control device 20 by wire or wirelessly. Can be done. The control unit 11 can also transmit a captured image captured by the imaging unit 13 a to an external device via the communication unit 16. Further, a memory may be provided in the mobile photographing device 10 so that a captured image acquired by the imaging unit 13a is stored in this memory.

なお、通信部16及び後述する通信部22は、無線通信を行う場合には、例えば、NFC(Near Field Communication)やBLE(Bluetooth(登録商標) Low Energy)等によって構成することで、消費電力を十分に小さくすることができる。   Note that the communication unit 16 and the communication unit 22 to be described later are configured by, for example, NFC (Near Field Communication) or BLE (Bluetooth (registered trademark) Low Energy) when performing wireless communication, thereby reducing power consumption. It can be made sufficiently small.

また、情報取得部13は、撮像部13aだけでなく収音部(図示せず)を備えていてもよい。収音部は、移動撮影装置10の周囲音を収音して、音声情報を制御部11に出力することができるようになっている。この音声情報についても、制御部11は、通信部16を介して外部機器に送信することもでき、また、図示しない記録用のメモリに記憶させることもできる。   Moreover, the information acquisition part 13 may be provided with not only the imaging part 13a but the sound collection part (not shown). The sound collection unit can collect ambient sounds of the mobile imaging device 10 and output sound information to the control unit 11. Also about this audio | voice information, the control part 11 can also be transmitted to an external apparatus via the communication part 16, and can also be memorize | stored in the memory for recording which is not shown in figure.

なお、撮像部13aは、移動撮影装置10の周囲の所定方向を撮像して撮像画像を得ることができるようになっている。撮像部13aは、移動撮影装置10の移動方向に対して任意の方向の撮像が可能であることが好ましい。例えば、移動撮影装置10を円柱形状や多角柱形状のロボット掃除機によって構成した場合には、撮像部13aの光学系を移動撮影装置10の側面に取り付けて視野方向を所定方向に向けることができるように、移動撮影装置10を床面に対して回転自在に構成して、側面の向きを任意の方向に向かせることができるようになっていた方がよい。   Note that the imaging unit 13a can capture a predetermined direction around the mobile imaging device 10 to obtain a captured image. The imaging unit 13a is preferably capable of imaging in an arbitrary direction with respect to the moving direction of the mobile imaging device 10. For example, when the mobile imaging device 10 is configured by a cylindrical or polygonal columnar robot cleaner, the optical system of the imaging unit 13a can be attached to the side surface of the mobile imaging device 10 so that the viewing direction is directed to a predetermined direction. As described above, it is preferable that the mobile photographing device 10 is configured to be rotatable with respect to the floor surface so that the side surface can be directed in an arbitrary direction.

制御部11は所定のプログラムに従って、移動撮影装置10を移動させることができる。例えば、移動撮影装置10をロボット掃除機によって構成した場合には、ロボット掃除機が配置された部屋全体を掃除するように、移動撮影装置10の移動が制御される。例えば、ロボット掃除機により構成した移動撮影装置10は、ランダムな移動パターンに基づいて部屋の全体を掃除するように移動する手法を採用する場合もあり、また、移動時に撮像した画像を元に部屋の地図を作成し、この地図を利用して部屋の全体を掃除するように移動する手法を採用する場合もある。移動撮影装置10においては、これらのいずれの手法によって移動が制御されてもよい。
このように、移動撮影装置を構成するロボット等は、障害物を回避しながら自律移動できる方向に進化しており、衝突防止や目的となる機能を実施するために、近年でも様々なセンサによる自分の位置の確認、地図情報を駆使しての合理的で安全な移動経路の決定などが、人工知能による学習も含むプログラムによって達成されている。センサとしては、GPSやレーザーレーダや高度計、加速度センサ、地磁気センサなどがあり、基準位置からの走行距離や走行方向によって、現在位置を推定してもよい。撮像部なども利用可能である。
The control unit 11 can move the mobile photographing device 10 according to a predetermined program. For example, when the mobile imaging device 10 is configured by a robot cleaner, the movement of the mobile imaging device 10 is controlled so as to clean the entire room where the robot cleaner is disposed. For example, the mobile imaging device 10 configured by a robot cleaner may employ a method of moving so as to clean the entire room based on a random movement pattern, and the room may be based on an image captured during movement. There is a case where a method of moving to clean the entire room using this map is sometimes used. In the mobile photographing device 10, the movement may be controlled by any of these methods.
In this way, robots and the like constituting mobile imaging devices have evolved in a direction that allows them to move autonomously while avoiding obstacles. Confirmation of the location of the user, determination of a reasonable and safe movement route using map information, etc. have been achieved by a program including learning by artificial intelligence. Examples of the sensor include a GPS, a laser radar, an altimeter, an acceleration sensor, a geomagnetic sensor, and the like, and the current position may be estimated from the travel distance and travel direction from the reference position. An imaging unit or the like can also be used.

本実施の形態においても、移動撮影装置10は、撮像部13aだけでなく地図情報部14を備えており、地図情報部14は、予め地図情報を記録部に記録してあったものを利用するのもよいが、移動時に撮像部13aによって撮像して得た画像を元に部屋の地図を作成し、地図情報を地図情報記憶部14aに記憶させるようになっていてもよい。このように、地図情報があって、自分の位置がわかれば、地図情報に含まれる障害物位置から、どのようにして目的の位置に行けるかを判断することは容易である。この障害物位置も、予め記録してもよく、移動して見て学習するような方式でもよい。なお、後述するように、地図情報を有していない場合でも、本実施の形態における一部の機能を達成することができ、地図情報の作成及び保持は、必ずしも実施形態において必須の構成ではない。   Also in the present embodiment, the mobile imaging device 10 includes not only the imaging unit 13a but also the map information unit 14, and the map information unit 14 uses the map information previously recorded in the recording unit. However, a map of the room may be created based on the image obtained by the imaging unit 13a during movement, and the map information may be stored in the map information storage unit 14a. Thus, if there is map information and the user's position is known, it is easy to determine how to reach the target position from the obstacle position included in the map information. This obstacle position may also be recorded in advance, or may be moved and learned. As will be described later, even if the map information is not provided, some functions in the present embodiment can be achieved, and the creation and holding of the map information is not necessarily an essential configuration in the embodiment. .

更に、本実施の形態においては、制御部11は、撮影用移動制御部11bを有しており、撮影用移動制御部11bは、撮像のために移動撮影装置10の移動を制御することができるようになっている。本実施の形態においては、撮影用移動制御部11bは、対象物情報メモリ15に記憶された情報に基づいて、移動撮影装置10の移動を制御する。対象物情報メモリ15には、ユーザの希望する被写体等の対象物を特定するための情報(以下、対象物特定情報という)が記憶されている。本実施の形態においては、制御部11は、対象物特定情報を移動撮影制御装置20から受信するようになっている。   Furthermore, in the present embodiment, the control unit 11 includes a photographing movement control unit 11b, and the photographing movement control unit 11b can control the movement of the mobile photographing apparatus 10 for imaging. It is like that. In the present embodiment, the imaging movement control unit 11 b controls the movement of the mobile imaging device 10 based on the information stored in the object information memory 15. The object information memory 15 stores information (hereinafter, referred to as object specifying information) for specifying an object such as a subject desired by the user. In the present embodiment, the control unit 11 receives the object specifying information from the mobile imaging control device 20.

移動撮影指示装置としての移動撮影制御装置20は、例えば、デジタルカメラ等の撮影機器や撮影機能を有するスマートフォン等によって構成することが可能である。移動撮影制御装置20は、制御部21を有している。制御部21は、図示しないCPU等を用いたプロセッサにより構成されていてもよく、図示しないメモリに記憶されたプログラムに従って各機能を実現するものであってもよい。移動撮影制御装置20には通信部22が設けられており、通信部22は制御部21に制御されて、移動撮影装置10の通信部16との間で情報の送受信が可能である。   The mobile photographing control device 20 as the mobile photographing instruction device can be configured by, for example, a photographing device such as a digital camera or a smartphone having a photographing function. The mobile photographing control device 20 has a control unit 21. The control unit 21 may be configured by a processor using a CPU (not shown) or the like, and may realize each function according to a program stored in a memory (not shown). The mobile photographing control device 20 is provided with a communication unit 22, and the communication unit 22 is controlled by the control unit 21 so that information can be transmitted to and received from the communication unit 16 of the mobile photographing device 10.

移動撮影制御装置20は撮像部23を有している。撮像部23には、CCDやCMOSセンサ等によって構成された図示しない撮像素子が設けられており、図示しない光学系によって被写体光学像が撮像素子の撮像面に導かれるようになっている。光学系内には、図示しないフォーカスレンズ、ズームレンズ及び絞り等を駆動する機構部及びこれらの機構部を駆動する駆動部が構成されている。   The mobile imaging control device 20 has an imaging unit 23. The image pickup unit 23 is provided with an image pickup device (not shown) configured by a CCD, a CMOS sensor, or the like, and a subject optical image is guided to the image pickup surface of the image pickup device by an optical system (not shown). In the optical system, there are configured a mechanism unit that drives a focus lens, a zoom lens, a diaphragm, and the like (not shown) and a drive unit that drives these mechanism units.

制御部21は光学系内の駆動部を駆動制御して、光学系内に構成されたフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。撮像素子は被写体光学像を光電変換して動画又は静止画の撮像画像を得る。この撮像画像は制御部21に与えられる。制御部21は、撮像画像を記録部27に与える。記録部27は、与えられた撮像画像を所定の記録媒体に記録する。また、制御部21は、撮像画像を表示部26に与える。表示部26は、LCD等によって構成された表示画面を有しており、与えられた撮像画像を表示画面上に表示することができる。   The control unit 21 drives and controls a drive unit in the optical system to drive and control a focus lens, a zoom lens, and an aperture configured in the optical system. The imaging element photoelectrically converts the subject optical image to obtain a captured image of a moving image or a still image. This captured image is given to the control unit 21. The control unit 21 provides the captured image to the recording unit 27. The recording unit 27 records the given captured image on a predetermined recording medium. Further, the control unit 21 provides the captured image to the display unit 26. The display unit 26 has a display screen configured by an LCD or the like, and can display a given captured image on the display screen.

移動撮影制御装置20には、操作入力部24が設けられている。操作入力部24は、図示しないシャッタボタンやダイヤルやファンクションボタンや各種スイッチ等を含み、ユーザの操作を受け付けて操作信号を制御部21に与える。なお、操作入力部24として、表示部26の表示画面上に設けられた図示しないタッチパネルを採用してもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。操作入力部24からの操作信号は、制御部21に供給される。制御部21は、操作入力部24からの操作信号に応じた処理を実行するようになっている。   The mobile photographing control device 20 is provided with an operation input unit 24. The operation input unit 24 includes a shutter button, a dial, a function button, various switches, and the like (not shown), accepts a user operation, and gives an operation signal to the control unit 21. Note that a touch panel (not shown) provided on the display screen of the display unit 26 may be employed as the operation input unit 24. The touch panel can generate an operation signal corresponding to the position on the display screen pointed by the user with a finger. An operation signal from the operation input unit 24 is supplied to the control unit 21. The control unit 21 executes processing according to an operation signal from the operation input unit 24.

本実施の形態においては、移動撮影制御装置20には、対象物情報メモリ25が設けられている。対象物情報メモリ25は、制御部21から与えられた対象物特定情報を記憶することができるようになっている。制御部21は、記録部27に記録された情報及び操作入力部24のユーザ操作に基づいて対象物特定情報を生成して、対象物情報メモリ25に与えて記憶させるようになっている。   In the present embodiment, the mobile photographing control device 20 is provided with an object information memory 25. The object information memory 25 can store the object specifying information given from the control unit 21. The control unit 21 generates the object specifying information based on the information recorded in the recording unit 27 and the user operation of the operation input unit 24, gives the object specifying information to the object information memory 25, and stores it.

対象物特定情報は、移動撮影装置10が捉える対象物を特定するための情報である。なお、「捉える」の語句は、移動撮影装置10が対象物に対して何らかのアクションを起こすことが可能な状態を意味しており、アクションとしては、例えば、移動撮影装置10が対象物を追尾したり、移動撮影装置10が対象物を撮像したりすることを含む。   The object specifying information is information for specifying an object captured by the mobile imaging device 10. Note that the phrase “capture” means a state in which the mobile imaging device 10 can take some action on the object. As the action, for example, the mobile imaging device 10 tracks the object. Or the mobile imaging device 10 images the object.

例えば、対象物特定情報は、移動撮影装置10における撮像対象である被写体を特定するためのものである。更に、対象物特定情報は、対象物の所定の態様を条件として、当該条件(態様条件)における対象物を移動撮影装置10が捉えるための情報を含んでもよい。例えば、対象物特定情報は、被写体として人物を指定する場合には、当該人物を特定するための情報であって、当該人物の所定のポーズの態様条件の情報を含むものであってもよい。移動撮影装置10は、このような対象物特定情報が与えられると、所定のポーズをとった状態の当該人物を捉えて撮像することができるようになっている。なお、態様条件としては、撮像時における対象物のポーズだけでなく、撮像時の構図を決定するものであってもよい。例えば、態様条件によって、撮影位置や背景を設定するようになっていてもよい。   For example, the object specifying information is for specifying a subject that is an imaging target in the mobile imaging device 10. Further, the object specifying information may include information for the mobile imaging device 10 to capture the object under the condition (aspect condition) on the condition of a predetermined aspect of the object. For example, when specifying a person as a subject, the object specifying information may be information for specifying the person, and may include information on a condition condition of a predetermined pose of the person. When such object specifying information is given, the mobile imaging device 10 can capture and capture the person in a predetermined pose. Note that the aspect condition may determine not only the pose of the object at the time of imaging but also the composition at the time of imaging. For example, the shooting position and the background may be set depending on the aspect condition.

例えば、制御部21は、記録部27に記録されている撮像画像中の人物やペットや物体等の認識結果を対象物として当該対象物を特定するための情報を対象物特定情報として取得してもよい。制御部21は、公知の顔認識技術等を用いることで、撮像画像から人物、ペット、各種物体を認識可能である。また、制御部21は、撮像画像中の文字に対する文字認識によって対象物を特定し、対象物特定情報を取得してもよい。また、例えば、制御部21は、記録部27に記録されている撮像画像に付加されたメタ情報に基づいて対象物を特定して対象物特定情報を取得してもよい。また、例えば、制御部21は、操作入力部24に対するユーザ操作に基づいて対象物を特定して対象物特定情報を取得してもよい。   For example, the control unit 21 acquires information for specifying the target object as target object identification information using the recognition result of a person, a pet, an object, or the like in the captured image recorded in the recording unit 27 as the target object. Also good. The control unit 21 can recognize a person, a pet, and various objects from the captured image by using a known face recognition technique or the like. Moreover, the control part 21 may specify a target object by the character recognition with respect to the character in a captured image, and may acquire target object specific information. Further, for example, the control unit 21 may acquire the target specifying information by specifying the target based on the meta information added to the captured image recorded in the recording unit 27. Further, for example, the control unit 21 may acquire the object specifying information by specifying the object based on a user operation on the operation input unit 24.

更に、制御部21は、対象物の特定に際して、記録部27に記録されている撮像画像に現れる頻度の情報を利用してもよい。例えば、制御部21は、記録部27に記録されている撮像画像中に現れる頻度が最も高い人物を、対象物に設定し、当該人物を特定するための情報を対象物特定情報として取得してもよい。   Further, the control unit 21 may use frequency information appearing in the captured image recorded in the recording unit 27 when specifying the object. For example, the control unit 21 sets a person who appears most frequently in the captured image recorded in the recording unit 27 as a target, and acquires information for specifying the person as the target specifying information. Also good.

また、例えば、制御部21は、顔認識等の結果により得た人物等について、所定のポーズ等の態様条件を含む対象物特定情報を設定してもよい。例えば、制御部21は、記録部27に記録されている撮像画像中に現れる頻度が最も高い人物が赤ちゃんである場合において、当該赤ちゃんがつかまり立ちをしている状態を態様条件として、この態様条件を満足した場合の当該赤ちゃんを対象物として設定した対象物特定情報を生成してもよい。   In addition, for example, the control unit 21 may set object specifying information including a mode condition such as a predetermined pose for a person obtained from a result of face recognition or the like. For example, when the person who is most frequently appearing in the captured image recorded in the recording unit 27 is a baby, the control unit 21 uses the state where the baby is standing and stands as a mode condition. The object specifying information in which the baby when the condition is satisfied is set as the object may be generated.

制御部21は、設定する態様条件は、操作入力部24によるユーザ操作に基づいて取得してもよく、撮像画像に対する画像解析によって取得してもよい。例えば、制御部21は、記録部27に記録されている撮像画像について顔認識処理を行い、撮像画像中に現れる頻度が最も高い対象物を選択するものとする。この場合において、当該対象物が赤ちゃんである場合には、制御部21は、当該赤ちゃんの画像の画像解析を行って、当該赤ちゃんの撮像画像が例えば半年以上蓄積されていたり、おしりで座っている画像が存在すると共に、つかまり立ちをしている当該赤ちゃんの画像が存在しないことを判定すると、態様条件として、当該赤ちゃんがつかまり立ちをしていることを設定してもよい。
このように、どのような撮影画像が好まれるかは、ネット上の画像の傾向の分析などによって判定が可能で、これをこれらのデータベースにおける投稿の結果や見た人の書き込みなどの結果から学習してもよいし、予めプログラムしておいてもよい。この好まれる撮影画像から、撮影スポットが決められる。背景にソファーの写った画像が好まれていれば、ソファーの場所が撮影スポットとなる。なお、必ずしも、そこまで厳密に移動する必要はなく、対象物が撮影されるべき対象物撮影スポットと、カメラがそこにいる対象物を撮影しやすいカメラ撮影スポットは、類似ではあるが同じではないことに留意しなければならない。ただし、ここでは、近くに行けば撮影が出来るので、略同一場所として説明を容易にしている。撮影位置近傍という表現も行っている。
The control unit 21 may acquire the aspect condition to be set based on a user operation by the operation input unit 24 or may be acquired by image analysis on the captured image. For example, it is assumed that the control unit 21 performs face recognition processing on the captured image recorded in the recording unit 27 and selects an object that appears most frequently in the captured image. In this case, when the target object is a baby, the control unit 21 performs image analysis of the baby image, and the captured image of the baby is accumulated, for example, for more than six months, or sits on a butt. When it is determined that there is no image of the baby that is holding and standing, the aspect condition may be that the baby is holding and standing.
In this way, it is possible to determine what kind of captured image is preferred by analyzing the tendency of the image on the Internet, and learning this from the results of posting in these databases and the results of writing of the viewers, etc. Alternatively, it may be programmed in advance. A photographing spot is determined from the preferred photographed image. If an image with a sofa in the background is preferred, the location of the sofa becomes the shooting spot. Note that it is not always necessary to move so precisely, and the object photographing spot where the object is to be photographed and the camera photographing spot where the camera is easy to photograph the object located there are similar but not the same. It must be noted. However, here, since it is possible to take a picture if it is close, the explanation is made as being substantially the same place. It also expresses the vicinity of the shooting position.

図2は図1中の対象物情報メモリ25に記憶されている情報を説明するための説明図である。図2の例は対象物特定情報として、3つの記録R1〜R3がある例を示している。各記録R1〜R3は、項目i1〜i4の情報を含む。項目i1は顔認識の結果の画像情報であり、項目i2は顔認識結果に対応する名前の情報であり、項目i3は態様条件の情報であり、項目i4は優先度の情報である。図2の各記録R1〜R3は、それぞれ父親、母親、赤ちゃんについての情報を示しており、図2の例では最も高い優先度1に設定された対象物はユーザ家族2で示す赤ちゃんであり、要望画像として指定された「つかまり立ち」が態様条件として設定されていることを示している。   FIG. 2 is an explanatory diagram for explaining information stored in the object information memory 25 in FIG. The example of FIG. 2 shows an example in which there are three records R1 to R3 as the object specifying information. Each record R1 to R3 includes information of items i1 to i4. The item i1 is image information as a result of face recognition, the item i2 is information of a name corresponding to the face recognition result, the item i3 is information of mode conditions, and the item i4 is information of priority. Each record R1 to R3 in FIG. 2 shows information about the father, mother, and baby, respectively. In the example of FIG. 2, the object set with the highest priority 1 is the baby shown by the user family 2, It shows that “holding standing” designated as a desired image is set as a mode condition.

なお、対象物が赤ちゃんの場合には、つかまり立ちに限らず、赤ちゃんが最初に立ったとき、最初に歩き出したとき等のシーンやぬいぐるみ等で遊ぶシーン等を態様条件に設定することができる。例えば、移動撮影装置10としてロボット掃除機を採用した場合には、ロボット掃除機は大人がいない室内において移動しながら比較的長い時間の撮像が可能であり、貴重なシャッタチャンスを逃すことなく、これらのシーンを撮像する可能性が高い。また、ロボット掃除機は、床に近い位置からの撮像が可能であり、大人による通常の撮影とは異なる趣のある写真の撮影が行われることもある。
ロボット掃除機は、つかまり立ちがしやすい場所や、ぬいぐるみがある場所などを、予め記録しておいてもよいし、掃除中など移動中の常日頃の画像判定で予め把握しておいてもよい。ネット上の人気画像にソファーなどがあれば、それと同様のものがないかを、画像や距離分布などから判定するようにしてもよい。
When the object is a baby, it is possible to set a mode condition not only for standing but also for a scene such as when the baby first stands, when walking first, or when playing with a stuffed animal, etc. . For example, when a robot cleaner is adopted as the mobile photographing device 10, the robot cleaner can take images for a relatively long time while moving in a room where there are no adults. There is a high possibility of capturing the scene. Moreover, the robot cleaner can take an image from a position close to the floor, and sometimes a quaint photo that is different from a normal photo taken by an adult may be taken.
The robot cleaner may record in advance the place where it is easy to get caught or where the stuffed toy is, or it may be grasped in advance by image judgment on a daily basis during movement such as during cleaning. . If there is a sofa or the like in the popular image on the net, it may be determined from the image or the distance distribution whether there is a similar one.

制御部21は、通信部22を制御して、自律式の移動体であって、通信機能を有すると共に撮像機能等の対象物に対する何らかのアクションが可能な移動体を検索する。制御部21は、このような移動体の検索に成功すると当該移動体との間で通信を行う。制御部21は、この通信が確立すると、対象物情報メモリ25に記憶されている対象物特定情報を当該移動体に送信する。例えば、制御部21は、移動撮影装置10との間で通信が確立すると、対象物情報メモリ25に記憶されている対象物特定情報を移動撮影装置10に送信する。   The control unit 21 controls the communication unit 22 to search for an autonomous mobile body that has a communication function and can perform some action on an object such as an imaging function. When the control unit 21 succeeds in searching for such a moving object, the control unit 21 performs communication with the moving object. When this communication is established, the control unit 21 transmits the object specifying information stored in the object information memory 25 to the mobile body. For example, when communication is established with the mobile imaging device 10, the control unit 21 transmits the object specifying information stored in the object information memory 25 to the mobile imaging device 10.

なお、制御部21は、ユーザによる操作入力部24を用いた送信操作があった場合に、対象物特定情報を移動撮影装置10等の移動体に送信するようになっていてもよい。   Note that the control unit 21 may transmit the object specifying information to a moving body such as the mobile imaging device 10 when the user performs a transmission operation using the operation input unit 24.

本実施の形態においては、対象物特定情報は、ユーザの撮影操作によって取得された撮像画像やユーザの入力操作に基づいて生成されており、ユーザの嗜好を反映したものとなっていると考えられる。即ち、移動撮影制御装置20は、ユーザが希望する被写体を撮像するという通常のカメラの利用を行うことで、ユーザの嗜好を反映した対象物特定情報を生成するものである。そして、移動撮影制御装置20は、生成した対象物特定情報を自律式で移動しながら撮像が可能な移動撮影装置10に送信することで、自分では撮影できない位置、画角、タイミングにおいて、或いは自分で撮影操作を行うことなく、自分の好みの撮像画像を得るようになっている。   In the present embodiment, the object specifying information is generated based on the captured image acquired by the user's shooting operation or the user's input operation, and is considered to reflect the user's preference. . In other words, the mobile shooting control device 20 generates target specifying information that reflects the user's preference by using a normal camera that captures a subject desired by the user. Then, the mobile imaging control device 20 transmits the generated object identification information to the mobile imaging device 10 that can perform imaging while moving autonomously, so that the mobile imaging control device 20 can detect the position, angle of view, timing, The user can obtain his / her favorite captured image without performing a shooting operation.

例えば、動物のペットを愛好する人の集会において、事前に各ペットの写真を撮って記録部27に記録しておくことで、当該ペットの写真を元に対象物特定情報が生成され、この対象物特定情報に基づいて集会に来ている各ペットを自動的に撮像することもできる。   For example, in a meeting of people who love animal pets, by taking a picture of each pet in advance and recording it in the recording unit 27, the object specifying information is generated based on the picture of the pet, and this object It is also possible to automatically image each pet coming to the meeting based on the object identification information.

移動撮影装置10の制御部11は、通信部16を介して対象物特定情報を受信すると、受信した対象物特定情報を対象物情報メモリ15に与えて記憶させる。撮影用移動制御部11bは、対象物情報メモリ15に記憶されている対象物特定情報を読み出して、移動撮影装置10の移動を制御するようになっている。例えば、撮影用移動制御部11bは、対象物特定情報によって指定された態様条件の指定された対象物を捉えるように、移動撮影装置10を移動させるようになっている。例えば、移動撮影装置10の撮影用移動制御部11bは、撮像部13aによって取得された撮像画像を画像解析し、当該画像中に対象物特定情報によって指定された対象物の画像が存在するか否かを判定し、存在する場合には、例えば追尾制御部17及び移動部12を制御して、当該対象物を捉え続けることも可能である。   When receiving the object specifying information via the communication unit 16, the control unit 11 of the mobile imaging device 10 gives the received object specifying information to the object information memory 15 to be stored. The imaging movement control unit 11b reads the object identification information stored in the object information memory 15 and controls the movement of the mobile imaging apparatus 10. For example, the imaging movement control unit 11b moves the mobile imaging device 10 so as to capture the specified object with the aspect condition specified by the object specifying information. For example, the imaging movement control unit 11b of the mobile imaging device 10 performs image analysis on the captured image acquired by the imaging unit 13a, and whether or not an image of the object specified by the object specifying information exists in the image. If it exists, it is possible to control the tracking control unit 17 and the moving unit 12 and continue to capture the object, for example.

このように、移動撮影装置10の情報取得部13は、対象物を撮像する機能と対象物を捉えるための検出機能とを有する。この検出機能のためには、情報取得部13は、撮像部13aだけでなく、各種センサを採用してもよい。例えば、情報取得部13としては、レーダー装置、気圧センサ、加速度センサ、ジャイロスコープ等の適宜のセンサを採用してもよい。   As described above, the information acquisition unit 13 of the mobile imaging device 10 has a function of capturing an object and a detection function for capturing the object. For this detection function, the information acquisition unit 13 may employ various sensors in addition to the imaging unit 13a. For example, as the information acquisition unit 13, an appropriate sensor such as a radar device, an atmospheric pressure sensor, an acceleration sensor, or a gyroscope may be employed.

また、例えば、撮影用移動制御部11bは、対象物特定情報によって指定された対象物の指定された態様条件を被写体として撮像可能な位置に、移動撮影装置10を移動させることも可能である。   Further, for example, the shooting movement control unit 11b can move the moving shooting apparatus 10 to a position where the specified aspect condition of the target specified by the target specifying information can be imaged as a subject.

例えば、撮影用移動制御部11bは、対象物特定情報によって指定された対象物が撮像範囲内に存在した場合には、当該対象物が撮像範囲内に位置し続けるように追尾しながら移動撮影装置10を移動させる。更に、撮影用移動制御部11bは、態様条件によっては、対象物を撮像する位置が規定される場合には、対象物が撮像範囲内に含まれるか否かに拘わらず、当該位置まで移動撮影装置10を移動させるようになっていてもよい。   For example, when the target specified by the target specifying information exists in the imaging range, the shooting movement control unit 11b tracks the mobile target while keeping tracking the target in the imaging range. 10 is moved. Furthermore, when the position where the object is imaged is defined depending on the aspect condition, the imaging movement control unit 11b moves to the position regardless of whether the object is included in the imaging range. The apparatus 10 may be moved.

例えば、移動撮影制御装置20の制御部21は、つかまり立ちの赤ちゃんを撮像させる場合には、赤ちゃんがソファーや階段等の段差のある部分を利用してつかまり立ちをすることが多いことから、ソファーや階段等の段差部分で撮像を行うように、態様条件を設定してもよい。また、例えば、制御部21は、年齢毎の人気シーンの情報を有し、顔認識による公知の性別や年齢推定アルゴリズムを利用して、対象物の年齢や性別に応じた人気シーンでの撮像が行われるように態様条件を設定してもよい。このような撮像に適した態様条件については、年齢や性別等に応じてテンプレート化されている場合もあり、制御部21は、このようなテンプレートを図示しないメモリやクラウド上のコンピュータから読出すことで、態様条件を設定するようになっていてもよい。   For example, the control unit 21 of the mobile photographing control device 20 often picks up a baby standing on the couch, because the baby often uses the stepped portion such as the sofa or the stairs to stand up. The aspect condition may be set so that imaging is performed at a stepped portion such as a stairs. In addition, for example, the control unit 21 has information on popular scenes for each age, and can capture images of popular scenes according to the age and sex of the target using a known gender and age estimation algorithm based on face recognition. Aspect conditions may be set to be performed. Such aspect conditions suitable for imaging may be templated according to age, sex, etc., and the control unit 21 reads such a template from a memory (not shown) or a computer on the cloud. Thus, the aspect condition may be set.

なお、制御部21は、通信部22に介してクラウド上のコンピュータにアクセスすることにより、クラウド上の人工知能を利用して、対象物の特定や態様条件の設定を行ってもよい。   Note that the control unit 21 may access the computer on the cloud via the communication unit 22 and use the artificial intelligence on the cloud to specify the target and set the aspect condition.

また、制御部21は、撮像部23において撮像中に対象物特定情報によって設定されている対象物を撮像した場合には、対象物を撮像したことを示す情報を移動撮影装置10の制御部11に送信することで、移動撮影制御装置20と移動撮影装置10とで連携して撮像を行うようになっていてもよい。   In addition, when the imaging unit 23 captures an object set by the object identification information during imaging, the control unit 21 transmits information indicating that the object has been captured to the control unit 11 of the mobile imaging device 10. May be configured such that the mobile imaging control device 20 and the mobile imaging device 10 perform imaging in cooperation.

次に、このように構成された実施の形態の動作について図3乃至図7を参照して説明する。図3は実施の形態における利用の様子を説明するための説明図である。図4は移動撮影制御装置20の動作を説明するためのフローチャートであり、図5は移動撮影装置10の動作を説明するためのフローチャートである。図6及び図7は移動撮影制御装置20と移動撮影装置10が連携して撮像を行う様子を説明するための説明図である。   Next, the operation of the embodiment configured as described above will be described with reference to FIGS. FIG. 3 is an explanatory diagram for explaining a state of use in the embodiment. FIG. 4 is a flowchart for explaining the operation of the mobile photographing control device 20, and FIG. 5 is a flowchart for explaining the operation of the mobile photographing device 10. 6 and 7 are explanatory diagrams for explaining how the mobile imaging control device 20 and the mobile imaging device 10 perform imaging in cooperation with each other.

図3は、移動撮影制御装置20として撮影機器32を採用し、移動撮影装置10としてロボット掃除機31を採用して、被写体である赤ちゃん33を撮像する例を示している。撮影機器32は、図1の移動撮影制御装置20の各回路を備えている。撮影機器32は、図1の撮像部23を構成するレンズ鏡筒32a及びレンズ32bを有しており、赤ちゃん33を含む様々な被写体の撮像画像を取得する。撮影機器32に設けられた制御部21は、取得された撮像画像に基づいて、対象物特定情報を生成する。   FIG. 3 shows an example in which an imaging device 32 is employed as the mobile imaging control device 20 and a robot cleaner 31 is employed as the mobile imaging device 10 to image a baby 33 as a subject. The photographing device 32 includes each circuit of the mobile photographing control device 20 of FIG. The imaging device 32 includes a lens barrel 32 a and a lens 32 b that constitute the imaging unit 23 in FIG. 1, and acquires captured images of various subjects including the baby 33. The control unit 21 provided in the photographing device 32 generates the object specifying information based on the acquired captured image.

ロボット掃除機31は、図1の移動撮影装置10の各回路を備えている。ロボット掃除機31は、移動部12を構成する車輪31aを備え、車輪31aを回転させることで所望の方向に移動自在である。ロボット掃除機31は円柱形状の筐体を有し、この筐体の側面から所定の径方向に撮像範囲を有する撮像部13aが側面に設けられている。   The robot cleaner 31 includes each circuit of the mobile photographing device 10 of FIG. The robot cleaner 31 includes wheels 31a constituting the moving unit 12, and is movable in a desired direction by rotating the wheels 31a. The robot cleaner 31 has a cylindrical housing, and an imaging unit 13a having an imaging range in a predetermined radial direction from the side surface of the housing is provided on the side surface.

図4のステップS1において、撮影機器32による移動撮影制御装置20の制御部21は、撮影モードが指定されているか否かを判定する。撮影モードが指定されている場合には、制御部21は、ステップS2においてスルー画の表示を行う。即ち、制御部21は、撮像部23に被写体を撮像させ、撮像画像をスルー画として表示部26に与えて表示させる。次に、制御部21は、ユーザによる撮影操作の有無を判定し(ステップS3)、撮影操作が行われない場合には処理をステップS1に戻す。   In step S <b> 1 of FIG. 4, the control unit 21 of the mobile shooting control apparatus 20 using the shooting device 32 determines whether or not a shooting mode is designated. If the shooting mode is designated, the control unit 21 displays a through image in step S2. That is, the control unit 21 causes the image pickup unit 23 to pick up an image of the subject and gives the picked-up image to the display unit 26 as a through image for display. Next, the control part 21 determines the presence or absence of the imaging operation by the user (step S3), and when the imaging operation is not performed, the process returns to step S1.

ユーザによる撮影操作が行われると、制御部21は、ステップS4に移行して、画像認識によって、撮像画像中の各被写体等を判定する。例えば、制御部21は、撮像画像中の特定人物やペット等の判定を行う。制御部21は、撮像画像から認識可能な判定結果が得られた場合には、当該判定結果の情報、例えば、人物情報と共に撮像画像を記録部27に与えて記録させる(ステップS5)。なお、制御部21は、認識可能な判定結果が得られなかった場合には、撮像画像のみを記録部27に与えて記録させる(ステップS6)。なお、制御部21は、被写体認識に際して、予め設定されているデータベース、例えば内蔵されているデータベースや、クラウド上のコンピュータによって得られるデータベース等を利用してもよい。   When the photographing operation by the user is performed, the control unit 21 proceeds to step S4 and determines each subject or the like in the captured image by image recognition. For example, the control unit 21 determines a specific person or a pet in the captured image. When a recognizable determination result is obtained from the captured image, the control unit 21 gives the recorded image to the recording unit 27 together with information on the determination result, for example, person information (step S5). If the recognizable determination result is not obtained, the control unit 21 gives only the captured image to the recording unit 27 for recording (step S6). The control unit 21 may use a preset database, for example, a built-in database, a database obtained by a computer on the cloud, or the like for subject recognition.

次のステップS7において、制御部21は、対象物特定情報を生成する。例えば、制御部21は、記録部27に記録されている画像の画像解析を行って、類比画像の傾向分析を行い、ユーザが好んで撮像した被写体を要望画像として判定する。制御部21は、この要望画像の対象である被写体(対象物)を特定するための対象物特定情報を生成して対象物情報メモリ25に記憶させる。   In the next step S7, the control unit 21 generates object specifying information. For example, the control unit 21 performs image analysis of the image recorded in the recording unit 27, performs trend analysis of the analog image, and determines a subject that the user likes to capture as a desired image. The control unit 21 generates target object specifying information for specifying the subject (target object) that is the target of the desired image and stores it in the target object information memory 25.

また、例えば、制御部21は、ユーザの操作入力部24の操作によって、特定の対象物に対する態様条件が設定された場合には、当該態様条件についても対象物情報メモリ25に記憶させる。こうして、例えば図2に示す対象物特定情報が得られる。なお、図2の対象物特定情報の各記録R1〜R3は、ユーザの撮影操作によって得られるものであるが、項目i1〜i4の各情報の全て又は一部は、制御部21の画像解析によって得ることができるものである。なお、項目i1〜i4の各情報の全てを、ユーザ操作に基づいて取得してもよい。   For example, when the aspect condition for a specific object is set by the operation of the operation input unit 24 by the user, the control unit 21 also stores the aspect condition in the object information memory 25. Thus, for example, the object specifying information shown in FIG. 2 is obtained. Note that each of the records R1 to R3 of the object specifying information in FIG. 2 is obtained by a user's shooting operation, but all or a part of each information of the items i1 to i4 is obtained by image analysis of the control unit 21. It can be obtained. In addition, you may acquire all of each information of items i1-i4 based on user operation.

制御部21は、ステップS1において撮影モードが指定されていないと判定した場合には、ステップS11に移行して再生モードが指定されているか否かを判定する。再生モードが指定されると、制御部21は、ステップS12において、記録部27に記録されている画像のうちユーザの選択操作に基づく画像を選択して再生して、表示部26の表示画面上に表示させる。この再生モードにおいても、制御部21は、対象物特定情報を生成するようになっている。例えば、制御部21は、再生中の画像の画像解析を行って、類比画像の傾向分析を行い、ユーザが好んで再生した被写体を要望画像として判定する。制御部21は、この要望画像の対象である被写体(対象物)を特定するための対象物特定情報を生成して対象物情報メモリ25に記憶させる。   If it is determined in step S1 that the shooting mode is not specified, the control unit 21 proceeds to step S11 and determines whether or not the reproduction mode is specified. When the reproduction mode is designated, the control unit 21 selects and reproduces an image based on the user's selection operation from the images recorded in the recording unit 27 in step S12, and displays the image on the display screen of the display unit 26. To display. Even in this reproduction mode, the control unit 21 generates the object specifying information. For example, the control unit 21 performs image analysis of the image being reproduced, performs trend analysis of the analog image, and determines the subject that the user likes and reproduced as the desired image. The control unit 21 generates target object specifying information for specifying the subject (target object) that is the target of the desired image and stores it in the target object information memory 25.

制御部21は、ステップS11において再生モードが指定されていないと判定した場合には、ステップS21に移行して、対象物特定情報が対象物情報メモリ25に記憶されているか否かを判定する。対象物特定情報が対象物情報メモリ25に記憶されていない場合には、処理をステップS1に戻す。対象物特定情報が記憶されている場合には、制御部21は、ステップS22において、通信機能を有し対象物に対して何らかのアクションを実行可能な移動体を検索して通信を試みる。例えば、制御部21は、移動撮影制御装置20からの対象物特定情報に応じた撮像(以下、連携撮影という)が可能な移動撮影装置10との間で通信(連携要求通信)を試みる。なお、制御部21は、対象物特定情報が記憶される毎に連携要求通信を試みてもよく、また、所定の時間間隔で連携要求通信を試みてもよい。また、制御部21は、通信相手である移動撮影装置10からのアクセスに応答して連携要求通信を行うようになっていてもよい。また、制御部21は、ユーザ操作に基づいて連携要求通信を行うようになっていてもよい。   When the control unit 21 determines in step S11 that the reproduction mode is not designated, the control unit 21 proceeds to step S21 and determines whether or not the object specifying information is stored in the object information memory 25. If the object specifying information is not stored in the object information memory 25, the process returns to step S1. When the object specifying information is stored, in step S22, the control unit 21 tries to communicate by searching for a mobile body that has a communication function and can perform some action on the object. For example, the control unit 21 attempts communication (cooperative request communication) with the mobile imaging device 10 capable of imaging (hereinafter referred to as cooperative imaging) according to the object specifying information from the mobile imaging control device 20. The control unit 21 may try the cooperation request communication every time the object specifying information is stored, or may try the cooperation request communication at a predetermined time interval. In addition, the control unit 21 may perform cooperation request communication in response to access from the mobile imaging device 10 that is the communication partner. Further, the control unit 21 may perform cooperation request communication based on a user operation.

制御部21は、移動撮影装置10との通信が確立したか否かをステップS23において判定する。移動撮影装置10との間で連携要求通信が確立すると、制御部21は、ステップS24に移行して対象物特定情報を移動撮影装置10に送信する。なお、制御部21は、ステップS23において連携撮影相手との間で連携要求通信を確立させることができなかった場合には、処理をステップS1に戻す。   In step S23, the control unit 21 determines whether communication with the mobile imaging device 10 has been established. When the cooperation request communication is established with the mobile imaging device 10, the control unit 21 proceeds to step S <b> 24 and transmits the object specifying information to the mobile imaging device 10. In addition, the control part 21 returns a process to step S1, when cooperation request | requirement communication cannot be established between cooperation imaging | photography partners in step S23.

対象物特定情報を受信した移動体は、対象物特定情報によって特定される対象物を検知することによって所定のアクションを実行する。例えば、移動撮影装置10は、撮像部13aによって所定の撮像範囲を撮像しており、対象物が撮像範囲内に存在することで、対象物特定情報によって示された態様条件に従って撮像を行う。更に、本実施の形態においては、移動撮影制御装置20は、移動撮影装置10が対象物を撮像していない場合でも、対象物を待ち伏せて撮像を行うように指示することが可能である。   The mobile body that has received the object specifying information executes a predetermined action by detecting the object specified by the object specifying information. For example, the mobile imaging device 10 images a predetermined imaging range by the imaging unit 13a, and performs imaging according to the aspect condition indicated by the object specifying information when the object exists in the imaging range. Further, in the present embodiment, the mobile imaging control device 20 can instruct the subject to wait for the imaging even when the mobile imaging device 10 is not imaging the object.

制御部21は、ステップS25において、このような待ち伏せモードか指定されているか否かを判定する。待ち伏せモードが指定されていない場合には、処理をステップS28に移行して、移動撮影装置10から対象物の撮像画像が連携撮影結果として与えられると、この撮像画像を記録部27に記録する。一方、待ち伏せモードが指定されている場合には、制御部21は、対象物特定情報によって指定された対象物の検出を行う。例えば、制御部21は、撮像部23によって対象物が撮像されることによって対象物を検出する。制御部21は、対象物を検出すると、処理をステップS27に移行して、待ち伏せ指示の送信を行う。移動撮影装置10は、待ち伏せ指示を受信すると、対象物が撮像部13aの撮像範囲内に存在するか否かに拘わらず、当該対象物に設定されている待ち伏せ位置に移動して、対象物の撮影待機状態となる。なお、移動撮影装置10は、対象物特定情報に複数の対象物が含まれる場合には、最も高い優先度が付与された対象物についての待ち伏せ位置に移動するようになっていてもよい。   In step S25, the control unit 21 determines whether or not such an ambush mode is designated. If the ambush mode is not designated, the process proceeds to step S28, and when the captured image of the object is given as a linked shooting result from the mobile imaging device 10, the captured image is recorded in the recording unit 27. On the other hand, when the ambush mode is designated, the control unit 21 detects the object designated by the object specifying information. For example, the control unit 21 detects the object by imaging the object by the imaging unit 23. When the control unit 21 detects the object, the process proceeds to step S27 and transmits an ambush instruction. When the mobile imaging device 10 receives the ambush instruction, the mobile imaging device 10 moves to the ambush position set for the target object regardless of whether the target object is within the imaging range of the imaging unit 13a. The camera enters a shooting standby state. In addition, the mobile imaging device 10 may be configured to move to an ambush position for an object given the highest priority when the object specifying information includes a plurality of objects.

なお、図4の例では、制御部21が待ち伏せモードにおいて待ち伏せ指示を送信する例を示したが、予め、対象物特定情報中に、待ち伏せ指示の内容が含まれていてもよい。この場合には、移動撮影装置10は、待ち伏せ指示を含む対象物特定情報を受信すると、対象物が撮像部13aの撮像範囲内に存在するか否かに拘わらず、当該対象物に設定されている待ち伏せ位置に移動して、対象物の撮影待機状態となってもよい。
この場合、移動撮影装置10の持つ地図情報に撮影スポットが記録されており、どのようにそこまで障害物なしに移動できるかを判定できることが好ましい。そのために、移動撮影装置は、移動ルートの移動距離と移動できるスピードの情報などを有して、その位置に到着するまでの時間なども考慮した制御が可能であることが好ましい。待ち伏せという以上、移動する対象物より速く移動して、その場所に行っている必要があるので、必要に応じて移動前に省エネを考慮して諦める場合もありうる。また、このような状況があるので、赤ちゃんやペットが室内に入って来た事を、声や足音など音声などをマイクなどのセンサで判定してすぐに待ち伏せするような撮影の方が合理的である場合もある。
In the example of FIG. 4, an example is shown in which the control unit 21 transmits an ambush instruction in the ambush mode. However, the contents of the ambush instruction may be included in the object specifying information in advance. In this case, when the mobile imaging device 10 receives the object specifying information including the ambush instruction, the mobile imaging device 10 is set to the object regardless of whether or not the object exists within the imaging range of the imaging unit 13a. It is also possible to move to a waiting position where the subject is in a shooting standby state.
In this case, it is preferable that a shooting spot is recorded in the map information of the mobile imaging device 10 and that it can be determined how far the vehicle can move without an obstacle. Therefore, it is preferable that the mobile photographing device has information on the moving distance of the moving route and the speed at which the moving image can be moved, and can perform control in consideration of the time until it reaches the position. As long as it is an ambush, it is necessary to move faster than the object to be moved and go to that place, so it may be given up in consideration of energy saving before moving. In addition, because of this situation, it is more reasonable to shoot when the baby or pet has entered the room and judge the voice or footsteps with a sensor such as a microphone and immediately ambush Can be.

移動撮影装置10は、図5のステップS31において、通常作業モードであるか否かを判定する。通常作業モードの場合には、移動撮影装置10は移動を伴う作業を行う。例えば、移動撮影装置10がロボット掃除機31である場合には、移動撮影装置10は室内等の床を移動しながら掃除する(ステップS32)。この場合において、移動撮影装置10の地図情報部14は、室内等の地図を作成し、地図情報を地図情報記憶部14aに記憶させる。   The mobile imaging device 10 determines whether or not it is the normal work mode in step S31 of FIG. In the normal work mode, the mobile photographing device 10 performs work involving movement. For example, when the mobile photographing device 10 is the robot cleaner 31, the mobile photographing device 10 cleans while moving on a floor such as a room (step S32). In this case, the map information unit 14 of the mobile imaging device 10 creates a map such as a room and stores the map information in the map information storage unit 14a.

図6は室内41の様子を示している。室内41には、壁に沿ってサイドボード42及びテレビジョン受信機(TV)43が配置されている。また、室内41の中央にはテーブル44が配置され、テーブル44の前にはソファー45が配置されている。なお、サイドボード42上には撮影機器32が載置されており、撮影機器32は、室内41の一部の撮像範囲を撮像可能である。また、室内41の床面には移動撮影装置10であるロボット掃除機31が存在する。   FIG. 6 shows the inside of the room 41. In the room 41, a side board 42 and a television receiver (TV) 43 are arranged along the wall. A table 44 is arranged in the center of the room 41, and a sofa 45 is arranged in front of the table 44. Note that an imaging device 32 is placed on the side board 42, and the imaging device 32 can image a part of the imaging range of the room 41. In addition, a robot cleaner 31 that is the mobile photographing device 10 exists on the floor surface of the room 41.

上述したように、赤ちゃんのつかまり立ちの撮像には、段差を有する位置を撮像できる撮像位置が適している。ロボット掃除機31は、地図情報の作成時に、このような撮影スポットについてもその位置情報を地図情報記憶部14aに登録する(ステップS33)。   As described above, an imaging position where a position having a step can be imaged is suitable for imaging the baby standing. When creating the map information, the robot cleaner 31 registers the position information of such shooting spots in the map information storage unit 14a (step S33).

ロボット掃除機31の制御部11は、ステップS31において通常作業モードが指定されていないと判定した場合には、ステップS41において連携要求通信の待機状態となる。次に、制御部11は、連携要求通信が発生したか否かを判定する(ステップS42)。制御部11は、連携要求通信が発生していない場合には、処理をステップS31に戻す。   If the control unit 11 of the robot cleaner 31 determines in step S31 that the normal work mode is not designated, it enters a standby state for the cooperation request communication in step S41. Next, the control part 11 determines whether cooperation request | requirement communication generate | occur | produced (step S42). The control part 11 returns a process to step S31, when cooperation request | requirement communication has not generate | occur | produced.

制御部11は、ステップS42において連携要求通信が発生したと判定した場合には、ステップS43において連携要求通信に対する応答を行い、移動撮影制御装置20から対象物特定情報を受信して対象物情報メモリ15に記憶させた後(ステップS44)、処理をステップS45に移行する。   If it is determined in step S42 that the cooperation request communication has occurred, the control unit 11 responds to the cooperation request communication in step S43, receives the object specifying information from the mobile imaging control device 20, and receives the object information memory. 15 (step S44), the process proceeds to step S45.

なお、本実施の形態においては、ロボット掃除機31の制御部11は、作業中であっても、移動撮影制御装置20からの連携要求通信が発生したか否かを判定する(ステップS34)。制御部11は、ステップS34において連携要求通信が発生したと判定した場合には、作業を中断し、処理をステップS43に移行して連携要求通信に対する応答を行う。連携要求通信が発生していない場合には、制御部11は、ステップS34からステップS35に処理を移行して、作業が終了したか否かを判定する。制御部11は、作業が終了していない場合には処理をステップS31に戻し、終了した場合にはステップS36において対象物特定情報が対象物情報メモリ15に記憶されているか否かを判定する。制御部11は、対象物特定情報が対象物情報メモリ15に記憶されていない場合には処理をステップS31に戻し、記憶されている場合にはステップS45に処理を移行する。   In the present embodiment, the control unit 11 of the robot cleaner 31 determines whether or not the cooperation request communication from the mobile shooting control device 20 has occurred even during the work (step S34). When it is determined in step S34 that the cooperation request communication has occurred, the control unit 11 interrupts the work, shifts the process to step S43, and makes a response to the cooperation request communication. When the cooperation request communication has not occurred, the control unit 11 shifts the process from step S34 to step S35, and determines whether the work is finished. If the work has not been completed, the control unit 11 returns the process to step S31. If the work has been completed, the control unit 11 determines whether or not the object specifying information is stored in the object information memory 15 in step S36. When the object specifying information is not stored in the object information memory 15, the control unit 11 returns the process to step S31, and when it is stored, the process proceeds to step S45.

制御部11は、ステップS44において対象物特定情報を受信した場合、又は作業終了時のステップS36において対象物特定情報が記憶されていると判定した場合には、対象物特定情報により示される対象物の検出を行う(ステップS45)。   When the control unit 11 receives the object specifying information in step S44 or determines that the object specifying information is stored in step S36 at the end of the operation, the control unit 11 indicates the object indicated by the object specifying information. Is detected (step S45).

このステップS45においては、制御部11中の撮影用移動制御部11bは、撮像部13aによって例えば対象物を撮像することで、対象物の検出を行う。なお、撮影用移動制御部11bは、対象物の検出に際して、当該対象物特定情報によって指定された対象物が撮像範囲内に存在しない場合には、対象物を撮像範囲内に存在させるように、所定の規則に従って移動撮影装置10を移動させたり撮像方向を変化させたりする制御を行ってもよい。制御部11は、例えば所定時間経過しても対象物が検出できなかった場合や、所定のルートで移動しながら撮像を行っても対象物を検出できなかった場合等においては、処理をステップS31に戻す。   In this step S45, the imaging movement control unit 11b in the control unit 11 detects the object by, for example, imaging the object by the imaging unit 13a. Note that, when detecting the object, the imaging movement control unit 11b causes the object to exist within the imaging range when the object specified by the object identification information does not exist within the imaging range. You may perform control which moves the mobile imaging device 10 according to a predetermined rule, or changes an imaging direction. For example, if the target object cannot be detected even after a predetermined time has elapsed, or if the target object cannot be detected even after performing imaging while moving along a predetermined route, the control unit 11 performs processing in step S31. Return to.

制御部11は、対象物を検出すると、対象物の移動状態、地図状態、態様条件、待ち伏せ指示に従って、撮影方法を判定する(ステップS47)。ここでは、単純化したステップになっているが、実際には、待ち伏せ撮影が良くても、様々な状況を判断して諦める場合などもある。つまり、撮影対象物が速い場合や、障害物があって経路検索できない場合などもあり得る。装置が移動するルートが対象物と同じルートしかない場合なども障害物があるとして判断しないと、衝突したりして好ましくない。つまり、本願の重要な発明のポイントの一つとして、例えば、ロボット掃除機が、移動撮影装置だとすると、ロボット掃除機が持っている位置情報を有効利用して、指定された対象物が撮影しやすいであろう場所を判定する点にあるとも言える。この為には、自機の位置と撮影スポットまでの位置関係からルートを判定、決定し、そこから距離を判定する必要がある。それは、移動していく対象物が選ぶようなルート以外を検索するといった工夫があり(単に、複数のルートを検索して、そこから対象物移動ルートを消去すればよい)、自機の速度から所用時間を算出したり、対象物の速度を複数回撮影した画像変化から判定し、そのルートを判定するような手順を含む。これによって、対象物がその位置に到着する時間を予想して、自機の所要時間と比較して、待ち伏せ可能かの判定まで、このステップで行うようにする。必要に応じて、危険回避や省エネの観点から諦めるようなフローもあるが、ここでは省略している。
図5では撮影方法の例として、並走、追跡、待ち伏せを例示してある。例えば、制御部11は、対象物が撮像部13aの撮像範囲を横切って移動していることを検出した場合には、処理をステップS54に移行して、当該対象物を撮像範囲に維持するように移動部12及び追尾制御部17を制御して対象物と並走し、対象物の撮像を開始する。制御部11は、対象物特定情報によって指定された撮像(要望撮影)を行うと、連携撮影の結果の撮像画像を通信部16を介して移動撮影制御装置20に送信する。移動撮影制御装置20の制御部21は、図4のステップS28において送信された撮像画像を記録部27に与えて記録させる。
When the control unit 11 detects the object, the control unit 11 determines the imaging method according to the moving state of the object, the map state, the aspect condition, and the ambush instruction (step S47). Here, the steps are simplified, but in reality, there are cases where ambush shooting is good, but various situations are judged and given up. That is, there may be a case where the object to be photographed is fast or a route cannot be searched due to an obstacle. Even when the route along which the device moves is only the same route as the object, it is not preferable because it may collide if it is not determined that there is an obstacle. In other words, as one of the important invention points of the present application, for example, if the robot cleaner is a mobile photographing device, it is easy to photograph the specified object by effectively using the position information possessed by the robot cleaner. It can be said that it is in the point of judging where it will be. For this purpose, it is necessary to determine and determine the route based on the positional relationship between the position of the device and the shooting spot, and determine the distance therefrom. There is a contrivance such as searching for routes other than the route that the moving object selects (simply search for multiple routes and delete the object moving route from there), and from the speed of your aircraft The procedure includes calculating the required time, determining the speed of the object from a plurality of image changes taken and determining the route. Thus, the time at which the target object arrives at the position is predicted, and compared with the time required for the subject machine, the determination is made until this determination is possible. If necessary, there is a flow to give up from the viewpoint of risk avoidance and energy saving, but it is omitted here.
In FIG. 5, parallel running, tracking, and ambush are illustrated as examples of the photographing method. For example, when the control unit 11 detects that the target object is moving across the imaging range of the imaging unit 13a, the control unit 11 shifts the processing to step S54 so as to maintain the target object in the imaging range. Then, the moving unit 12 and the tracking control unit 17 are controlled to run in parallel with the object, and imaging of the object is started. When performing the imaging (request imaging) specified by the object specifying information, the control unit 11 transmits a captured image as a result of the cooperative imaging to the mobile imaging control device 20 via the communication unit 16. The control unit 21 of the mobile imaging control device 20 gives the captured image transmitted in step S28 of FIG. 4 to the recording unit 27 for recording.

いま、例えば、移動撮影制御装置20において待ち伏せモードが指定されているものとする。また、待ち伏せの対象物が図2の対象物特定情報に示す赤ちゃん(ユーザ家族2)であって、図3の赤ちゃん33であるものとする。この場合には、態様条件としてつかまり立ちが指定されている。移動撮影制御装置20の制御部21は、図4のステップS26において、赤ちゃん33の検出を行う。図7に示すように、室内41の撮影機器32の撮像範囲に赤ちゃん33が進入するものとする。そうすると、制御部21は、撮像部23からの撮像画像の画像解析によって、対象物である赤ちゃん33が検出されたものと判定する。これにより、制御部21は、移動撮影装置10に対して待ち伏せ指示を送信する。ここで、繰り返し撮像した画像からスピードを判定したり、移動方向からルートを予測したりもしている。   Now, for example, it is assumed that the ambush mode is designated in the mobile photographing control device 20. Further, it is assumed that the ambush object is the baby (user family 2) shown in the object specifying information in FIG. 2 and the baby 33 in FIG. In this case, grabbing is specified as an aspect condition. The control unit 21 of the mobile imaging control device 20 detects the baby 33 in step S26 of FIG. As shown in FIG. 7, it is assumed that the baby 33 enters the imaging range of the imaging device 32 in the room 41. If it does so, the control part 21 will determine with the baby 33 which is a target object having been detected by the image analysis of the captured image from the imaging part 23. FIG. As a result, the control unit 21 transmits an ambush instruction to the mobile imaging device 10. Here, the speed is determined from the repeatedly captured images, and the route is predicted from the moving direction.

移動撮影装置10の制御部11は、待ち伏せ指示を受信すると、ステップS47から処理をステップS57に移行して、対象物特定情報に指定されたつかまり立ちの撮像に好適な特定位置、即ち、ステップS33において登録された段差を有する位置に移動する。図7ではこの特定位置は、撮像部13aによってソファー45の段差部分を撮像可能な位置である。制御部11は、対象物特定情報によって指定されたつかまり立ちの撮像(要望撮影)を行うと(ステップS58)、連携撮影の結果の撮像画像を通信部16を介して移動撮影制御装置20に送信する(ステップS59)。移動撮影制御装置20の制御部21は、図4のステップS28において送信された撮像画像を記録部27に与えて記録させる。次に、制御部11は、ステップS60において、移動撮影装置10を元の位置に戻し、ステップS31に処理を戻す。   When receiving the ambush instruction, the control unit 11 of the mobile imaging device 10 moves the process from step S47 to step S57, and specifies a specific position suitable for picking up the image specified by the object specifying information, that is, step S33. Moves to a position having a level difference registered in. In FIG. 7, this specific position is a position at which the step portion of the sofa 45 can be imaged by the imaging unit 13a. When the control unit 11 performs an image capturing operation (requested image capturing) specified by the object specifying information (step S58), the captured image as a result of the cooperative image capturing is transmitted to the mobile image capturing control device 20 via the communication unit 16. (Step S59). The control unit 21 of the mobile imaging control device 20 gives the captured image transmitted in step S28 of FIG. 4 to the recording unit 27 for recording. Next, in step S60, the control unit 11 returns the mobile imaging device 10 to the original position, and returns the process to step S31.

なお、図5では記載されていなが、特定位置への移動後所定時間経過しても赤ちゃん33のつかまり立ちの撮像を行うことができない場合には、処理をステップS58からステップS60に移行してもよく、また、赤ちゃん33についてつかまり立ち以外のポーズでの撮像を行って、撮像結果を移動撮影制御装置20に送信するようにしてもよい。   Although not shown in FIG. 5, if it is not possible to capture the baby 33 while standing for a predetermined time after moving to a specific position, the process proceeds from step S58 to step S60. Alternatively, the baby 33 may be imaged at a pose other than standing and the imaging result may be transmitted to the mobile imaging control device 20.

また、制御部11は、ステップS47において、撮影方法として並走又は待ち伏せを選択しない場合には、追跡を選択してステップS51の処理を行う。即ち、撮影用移動制御部11bは、撮像部13aの撮像範囲内に対象物を検出すると、当該対象物を追跡して撮像を開始する(ステップS51)。制御部11は、対象物特定情報によって指定された撮像(要望撮影)を行うと(ステップS52)、連携撮影の結果の撮像画像を通信部16を介して移動撮影制御装置20に送信する(ステップS53)。移動撮影制御装置20の制御部21は、図4のステップS28において送信された撮像画像を記録部27に与えて記録させる。   Further, in step S47, when the parallel running or the ambush is not selected as the photographing method, the control unit 11 selects tracking and performs the process of step S51. That is, when the imaging movement control unit 11b detects an object within the imaging range of the imaging unit 13a, the imaging movement control unit 11b tracks the object and starts imaging (step S51). When the control unit 11 performs imaging (request shooting) specified by the object specifying information (step S52), the control unit 11 transmits a captured image as a result of the cooperative shooting to the mobile shooting control device 20 via the communication unit 16 (step S52). S53). The control unit 21 of the mobile imaging control device 20 gives the captured image transmitted in step S28 of FIG. 4 to the recording unit 27 for recording.

このように本実施の形態においては、移動撮影制御装置は、ユーザの撮影操作によって取得した撮像画像に基づいて、ユーザが撮像を希望する被写体、ポーズ、構図等を設定する対象物特定情報を生成する。移動撮影制御装置は、連携要求通信によって連携撮影可能な移動撮影装置が存在する場合には、対象物特定情報をこの移動撮影装置に送信する。移動撮影装置は、移動しながら撮像を行うことができ、ユーザが希望する位置において、希望する被写体を希望するポーズや構図等で撮像することができる。これにより、ユーザ自信が撮影場所にいなくても、また、ユーザによる撮像が困難な場所等であっても、ユーザが希望する撮像を行うことができる。   As described above, in the present embodiment, the mobile shooting control device generates object specifying information for setting a subject, a pose, a composition, and the like that the user desires to capture based on a captured image acquired by a user's shooting operation. To do. When there is a mobile photographing device capable of cooperative photographing through cooperative request communication, the mobile photographing control device transmits object specifying information to the mobile photographing device. The mobile imaging device can take an image while moving, and can take an image of a desired subject in a desired pose or composition at a position desired by the user. Thereby, even if the user's confidence is not at the shooting location, or at a location where it is difficult for the user to take an image, it is possible to perform the imaging desired by the user.

なお、上記実施の形態においては、移動撮影制御装置において、移動撮影装置の撮影位置、対象物及びそのポーズや構図等を特定する対象物特定情報を生成する例について説明した。しかし、対象物特定情報は、ユーザ操作による撮像画像を元に生成すればよく、対象物特定情報をいずれの回路において生成してもよい。例えば、移動撮影制御装置の制御部と移動撮影装置の制御部のいずれか一方によって対象物特定情報を生成してもよく、また、これらの制御部が協働して対象物特定情報を生成してもよい。更に、これらの制御部のいずれか一方又は両方だけでなく、クラウド上のコンピュータを利用して、対象物特定情報を生成してもよい。   In the above-described embodiment, an example has been described in which the mobile image capturing control device generates object specifying information for specifying the image capturing position, the object, and its pose, composition, and the like. However, the object specifying information may be generated based on a captured image by a user operation, and the object specifying information may be generated in any circuit. For example, the object specifying information may be generated by one of the control unit of the mobile shooting control apparatus and the control unit of the moving shooting apparatus, and these control units cooperate to generate the object specifying information. May be. Furthermore, you may produce | generate object specific information using not only one or both of these control parts but the computer on a cloud.

例えば、移動撮影装置によって対象物特定情報を生成する場合には、移動撮影制御装置は、ユーザ操作によって取得した撮像画像を移動撮影装置に送信すればよい。この場合には、移動撮影装置は、受信した撮像画像に対する画像解析によって、対象物を認識すると共に、認識結果の出現頻度等に応じて対象物特定情報を生成すればよい。また、例えば、移動撮影制御装置において生成された対象物特定情報中の態様条件として、上述した赤ちゃんのつかまり立ちのみが設定されている場合において、赤ちゃんのつかまり立ちの撮像に適した特定位置については、移動撮影装置の撮影用移動制御部によって判定するようになっていてもよい。
このとき、赤ちゃんがつかまり立ちするであろう場所は、予め入力されたり、予測されたりしているような状態を想定していて、さらに考えるべきは、撮影装置がその場所まで先に行って待っている事が出来るかである。従って、赤ちゃんのスピードやルートをも予想する必要があるが、地図と現在位置からルートは判定可能であるし、スピードは各撮影フレームの中の赤ちゃんの移動量や、平均的な赤ちゃんの移動スピードから判定可能である。これによって、つかまり立ちする場所に到着する時刻がわかる。本願は、移動して撮像可能な撮像部と、指定された対象物の移動を検出するセンサと、地図情報と、上記移動検出と上記地図情報に従って上記対象物が特定の場所に移動する時刻を予測する予測部とからなることを特徴とする移動撮影装置又は移動式撮影機器と表現することが可能である。また、そのルートとは別ルートを当該装置は移動した方が良く、そのルートも地図情報にある障害物情報で判定可能で、当該装置の移動速度も設計数値等があるので既知であるとすると、当該移動撮影装置は、上記対象物の移動ルートを予測する対象物ルート予測部と、上記特定の場所での上記対象物が撮影可能な場所に、当該撮像部の移動ルートを決定する撮像部ルート決定部と、上記撮像部ルート決定結果と当該撮像部の移動スピードから撮像部が到着する到着時刻判定部とを具備したことを特徴としているとも言える。
For example, when the object specifying information is generated by the mobile imaging device, the mobile imaging control device may transmit the captured image acquired by the user operation to the mobile imaging device. In this case, the mobile imaging device may recognize the object by image analysis on the received captured image and generate the object specifying information according to the appearance frequency of the recognition result. In addition, for example, when only the above-mentioned baby holding position is set as the aspect condition in the object specifying information generated in the mobile shooting control device, the specific position suitable for imaging the baby holding position is described below. The determination may be made by the photographing movement control unit of the mobile photographing device.
At this time, the place where the baby will grab and stand is presumed to be entered in advance or predicted, and further consideration should be taken by the imaging device first to the place. Is it possible to be? Therefore, it is necessary to predict the baby's speed and route, but the route can be determined from the map and the current position, and the speed is the amount of baby movement in each shooting frame and the average baby movement speed. It can be determined from. As a result, the time of arrival at the place where the person catches up is known. The present application relates to an imaging unit that can move and image, a sensor that detects movement of a specified object, map information, and a time at which the object moves to a specific location according to the movement detection and the map information. It can be expressed as a mobile photographing device or a mobile photographing device characterized by comprising a predicting unit for predicting. In addition, it is better for the device to move along a route different from the route, the route can also be determined by the obstacle information in the map information, and the moving speed of the device is known because there are design numerical values etc. The mobile imaging device includes: an object route prediction unit that predicts a movement route of the object; and an imaging unit that determines a movement route of the imaging unit at a location where the object at the specific location can be imaged. It can be said that the apparatus includes a route determination unit, an arrival time determination unit at which the imaging unit arrives based on the imaging unit route determination result and the moving speed of the imaging unit.

更に、上記実施の形態においては、移動撮影制御装置として撮像機能を有する装置を例に説明した。しかし、本実施の形態はユーザ操作によって取得した撮像画像、即ち、ユーザの嗜好を反映した撮像画像を元にユーザが撮りたい対象物やシーン等を判定して、移動撮影装置の移動及び撮像を制御することに特徴がある。従って、このようなユーザ操作によって取得された撮像画像を記録媒体から読出すことが可能であれば、撮像機能を有していない装置であっても、移動撮影制御装置として機能し得る。例えば、移動撮影制御装置としては、パーソナルコンピュータを採用してもよい。また、移動撮影制御装置としては、デジタルカメラ等の撮影機器に限らず、スマートフォンやタブレットPC等を採用してもよい。スマートフォンは撮影機能だけでなく、wifi等の通信機能を有していることが多く、ユーザ操作によって取得した撮像画像に基づいて対象物特定情報を生成し、生成した対象物特定情報を移動撮影装置に送信することができる。   Furthermore, in the above-described embodiment, the mobile imaging control apparatus has been described as an example having an imaging function. However, the present embodiment determines the object or scene that the user wants to take based on the captured image acquired by the user operation, that is, the captured image reflecting the user's preference, and moves and captures the mobile imaging device. It is characterized by control. Therefore, as long as it is possible to read a captured image acquired by such a user operation from a recording medium, an apparatus that does not have an imaging function can function as a mobile imaging control apparatus. For example, a personal computer may be adopted as the mobile shooting control device. Further, the mobile shooting control device is not limited to a shooting device such as a digital camera, but may be a smartphone, a tablet PC, or the like. A smartphone often has not only a shooting function but also a communication function such as wifi, and generates object specifying information based on a captured image acquired by a user operation, and the generated object specifying information is transferred to a moving shooting apparatus. Can be sent to.

また、対象物特定情報は、被写体の撮像による画像取得時に得られるだけでなく、画像再生時にも得ることができる。即ち、ユーザが好んで撮像する画像だけでなく、ユーザが好んで再生する画像に基づいて対象物特定情報を生成してもよい。従って、移動撮影制御装置としては、撮像機能を有する装置だけでなく、再生機能を有する装置を採用してもよい。例えば、コンピュータによってウェブサイトにアクセスして取得した画像の傾向分析によって、ユーザが希望する画像を判定して、対象物特定情報を取得するようになっていてもよい。   Further, the object specifying information can be obtained not only when an image is acquired by capturing a subject but also when an image is reproduced. That is, the object specifying information may be generated based on not only an image that the user likes to capture but also an image that the user likes to reproduce. Therefore, as the mobile photographing control device, not only a device having an imaging function but also a device having a reproduction function may be adopted. For example, the object specifying information may be acquired by determining an image desired by the user by trend analysis of an image acquired by accessing a website by a computer.

なお、上記実施の形態においては、移動撮影装置として、ロボット掃除機を例に説明した。ロボット掃除機は、部屋の掃除のために部屋の地図情報を取得している。従って、ロボット掃除機に指示を与えた場合には、部屋の地図を利用した撮影が可能である。   In the above-described embodiment, a robot cleaner has been described as an example of the mobile photographing device. The robot cleaner acquires room map information for cleaning the room. Therefore, when an instruction is given to the robot cleaner, it is possible to take a picture using a map of the room.

なお、図1においては、移動撮影装置及び移動撮影制御装置が別体に構成された例を示しているが、両者が一体的に構成されていてもよい。例えば、移動体としては、スマートフォンで撮影を指示できるロボット掃除機のように、ユーザの遠隔操作によって撮像を行うことが可能である装置もある。この場合には、移動体は、撮影操作によって取得した画像をお切り入り被写体情報として移動体内の記録部に記録し、記録された撮像画像に基づいて対象物特定情報を生成し、この対象物特定情報に基づいて、移動及び撮像を制御するようになっていてもよい。   Although FIG. 1 shows an example in which the mobile imaging device and the mobile imaging control device are configured separately, they may be configured integrally. For example, as a moving body, there is an apparatus that can perform imaging by a user's remote operation, such as a robot cleaner that can instruct photographing with a smartphone. In this case, the moving body records the image acquired by the shooting operation as the cut-in subject information in the recording unit in the moving body, generates the object specifying information based on the recorded captured image, and the object. The movement and imaging may be controlled based on the specific information.

また、上記実施の形態においては、対象物特定情報によって指定する対象物に対するアクションとして、撮像を行う例を説明したが、撮像に限らず各種アクションを実行させるものであってもよい。例えば、対象物として特定の人物を設定し、ドローン等の移動体にこの人物の写真を元に生成した対象物特定情報を与えて、当該特定の人物を捜索させて追尾し、その位置情報を発信させるように制御してもよい。また、特定の樹木の写真を元に生成した対象物特定情報をドローンに与えて適宜の空間を飛行させ、当該樹木を検出すると、農薬を散布する等のアクションを実行させてもよい。   Moreover, in the said embodiment, although the example which image-captures was demonstrated as an action with respect to the target designated by target object specific information, not only imaging but various actions may be performed. For example, a specific person is set as an object, the object specifying information generated based on the photograph of this person is given to a moving body such as a drone, the specific person is searched, and the position information is tracked. You may control to make it transmit. Alternatively, the object specifying information generated based on the photograph of a specific tree may be given to the drone to fly in an appropriate space, and when the tree is detected, an action such as spraying agricultural chemicals may be executed.

上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。また、移動体としては、ロボット掃除機にかぎらず、移動可能なすべて機器に応用可能である。
移動という言葉では、単純には連想できないが、スキャナのように、機械自体は移動しないが、撮像部だけが移動するような機械も想定の範囲である。例えば、微生物を観察するような用途では、顕微鏡やステージが移動する場合があるが、本願によって、そうした科学系の観察の用途、カプセル内視鏡やCTスキャナといった、一部のみならず、もっと広い範囲、あるいは全体を撮像する撮像機器もあり、スキャン移動と、対象物の差異から、追跡可能かを判定する場合などには、本願の技術が有効活用可能である。
In the above embodiment, the digital camera is used as the imaging device. However, the camera may be a digital single lens reflex camera or a compact digital camera, and a video camera such as a video camera or movie camera. Of course, a camera built in a portable information terminal (PDA: Personal Digital Assist) such as a mobile phone or a smartphone may be used. In addition, the moving body is not limited to a robot cleaner, and can be applied to all movable devices.
The term “movement” cannot be simply associated, but a machine such as a scanner in which the machine itself does not move but only the imaging unit moves is within the assumed range. For example, in applications such as observing microorganisms, the microscope and stage may move. However, depending on the application, such applications as scientific observations, capsule endoscopes, CT scanners, etc. may be wider. There is also an imaging device that captures a range or the whole, and the technique of the present application can be effectively used when determining whether tracking is possible based on a difference between a scan movement and an object.

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。   It should be noted that even if the operation flow in the claims, the description, and the drawings is described using “first,” “next,” etc. for convenience, it is essential to carry out in this order. It doesn't mean. In addition, it goes without saying that the steps constituting these operation flows can be omitted as appropriate for portions that do not affect the essence of the invention.

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。   Of the techniques described here, the control mainly described in the flowchart is often settable by a program and may be stored in a recording medium or a recording unit. The recording method for the recording medium and the recording unit may be recorded at the time of product shipment, may be a distributed recording medium, or may be downloaded via the Internet.

10…移動撮影装置、11,21…制御部、11a…撮影制御部、11b…撮影用移動制御部、12…移動部、13…情報取得部、13a,23…撮像部、14…地図情報部、15,25…対象物情報メモリ、16,22…通信部、20…移動撮影制御装置、24…操作入力部、27…記録部。     DESCRIPTION OF SYMBOLS 10 ... Mobile imaging device, 11, 21 ... Control part, 11a ... Shooting control part, 11b ... Moving control part for imaging | photography, 12 ... Moving part, 13 ... Information acquisition part, 13a, 23 ... Imaging part, 14 ... Map information part , 15, 25 ... object information memory, 16, 22 ... communication unit, 20 ... mobile imaging control device, 24 ... operation input unit, 27 ... recording unit.

本発明の一態様による撮影方法は、撮像対象を特定するための撮像対象特定情報を記録するステップと、移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信ステップであって、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信するステップとを具備する。 Photographing method according to an aspect of the present invention, with respect to steps and, movable mobile photographing device includes a mobile imaging unit to record a captured target specifying information for specifying the imaging target, movement of the mobile imaging device and a communication step for controlling the imaging of the moving object image pickup unit, the imaging object is moved the mobile imaging device to a predetermined ambushes position specified by the imaging target specifying information the mobile imaging unit Transmitting an ambush instruction to enter the shooting standby state for the mobile imaging device.

本発明の一態様による撮影プログラムは、コンピュータに、撮像対象を特定するための撮像対象特定情報を記録するステップと、移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信ステップであって、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信するステップとを実行させる。 Photographing program according to an aspect of the present invention causes a computer, with respect to steps and, movable mobile photographing device includes a mobile imaging unit to record a captured target specifying information for specifying the imaging target, the moving shooting a communication step for controlling the imaging of the moving and the mobile imaging section of the apparatus, specified by the imaging target specifying information the mobile imaging unit to move the mobile imaging device to a predetermined ambush position A step of transmitting an ambush instruction to enter the imaging standby state for the imaging target to the mobile imaging device.

Claims (11)

撮像対象を特定するための撮像対象特定情報を記録するメモリと、
移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信を行う通信部と、
上記通信部を制御して、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信させる制御部と
を具備したことを特徴とする情報端末機器。
A memory for recording imaging target specifying information for specifying the imaging target;
A communication unit that performs communication for controlling movement of the mobile imaging device and imaging of the mobile imaging unit with respect to a movable mobile imaging device having a mobile imaging unit;
An ambush instruction for controlling the communication unit to move the mobile imaging device to a predetermined ambush position so that the moving body imaging unit is placed in a shooting standby state for the imaging target specified by the imaging target specifying information. An information terminal device comprising: a control unit that transmits to the mobile imaging device.
上記撮像対象特定情報は、上記撮像対象の特定の動作状態を指定する情報を含み、
上記制御部は、上記所定の待ち伏せ位置として、上記特定の動作状態の上記撮像対象を撮像可能な位置を指定する
ことを特徴とする請求項1に記載の情報端末機器。
The imaging target specifying information includes information specifying a specific operation state of the imaging target,
The information terminal device according to claim 1, wherein the control unit designates a position where the imaging target in the specific operation state can be imaged as the predetermined ambush position.
上記制御部は、上記撮像対象特定情報によって特定された上記撮像対象を検出した場合に、上記待ち伏せ指示を上記移動撮影装置に対して送信させる
ことを特徴とする請求項1に記載の情報端末機器。
2. The information terminal device according to claim 1, wherein when the imaging target specified by the imaging target specifying information is detected, the control unit transmits the ambush instruction to the mobile imaging device. .
撮像部を更に具備し、
制御部は、上記撮像部によって上記撮像対象特定情報によって特定された上記撮像対象を撮像することで上記撮像対象を検出する
ことを特徴とする請求項3に記載の情報端末機器。
Further comprising an imaging unit;
The information terminal device according to claim 3, wherein the control unit detects the imaging target by imaging the imaging target specified by the imaging target specifying information by the imaging unit.
上記撮像対象特定情報は、上記撮像対象の特定の動作状態を指定する情報を含み、
上記移動撮影装置は、上記所定の待ち伏せ位置として、上記特定の動作状態の上記撮像対象を撮像可能な位置に移動する
ことを特徴とする請求項1に記載の情報端末機器。
The imaging target specifying information includes information specifying a specific operation state of the imaging target,
The information terminal device according to claim 1, wherein the mobile imaging device moves as the predetermined ambush position to a position where the imaging target in the specific operation state can be imaged.
記録部を更に具備し、
上記通信部は、上記移動撮影装置により撮像された上記撮像対象の撮像画像を受信し、
上記制御部は、上記通信部が受信した上記撮像画像を上記記録部に記録させる
ことを特徴とする請求項1に記載の情報端末機器。
A recording unit;
The communication unit receives the captured image of the imaging target captured by the mobile imaging device,
The information terminal device according to claim 1, wherein the control unit causes the recording unit to record the captured image received by the communication unit.
撮像対象を特定するための撮像対象特定情報を記録するステップと、
移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動体撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信ステップであって、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信するステップと
を具備したことを特徴とする撮影方法。
Recording imaging target specifying information for specifying the imaging target;
A communication step for controlling movement of the mobile body imaging device and imaging of the mobile body imaging unit for a movable mobile imaging device having a mobile body imaging unit, wherein the mobile imaging device is Transmitting to the mobile imaging device an ambush instruction for moving to the ambush position and causing the mobile imaging unit to enter a shooting standby state for the imaging target specified by the imaging target specifying information. An imaging method characterized by the above.
コンピュータに、
撮像対象を特定するための撮像対象特定情報を記録するステップと、
移動体撮像部を有し移動自在な移動撮影装置に対して、上記移動体撮影装置の移動及び上記移動体撮像部の撮像を制御するための通信ステップであって、上記移動撮影装置を所定の待ち伏せ位置に移動させて上記移動体撮像部を上記上記撮像対象特定情報により特定される上記撮像対象に対する撮影待機状態にするための待ち伏せ指示を上記移動撮影装置に対して送信するステップと
を実行させるための撮影プログラム。
On the computer,
Recording imaging target specifying information for specifying the imaging target;
A communication step for controlling movement of the mobile body imaging device and imaging of the mobile body imaging unit for a movable mobile imaging device having a mobile body imaging unit, wherein the mobile imaging device is A step of transmitting to the mobile imaging device an ambush instruction for moving the mobile imaging unit to the imaging position for the imaging target specified by the imaging target specifying information by moving to the ambush position. Shooting program for.
情報端末機器との間で通信を行う通信部を有する移動撮影装置において、
撮像対象を特定するための撮像対象特定情報を記録するメモリと、
上記通信部により、上記撮像対象に対する撮影待機状態を指示するための待ち伏せ指示信号が受信されると、上記移動撮影装置の撮影範囲内に上記撮像対象特定情報により特定される上記撮像対象が存在するか否かに拘わらず、上記撮像対象特定情報に基づく待ち伏せ位置に当該移動撮影装置を移動させて当該移動撮影装置を上記撮像対象に対する撮影待機状態とする制御部と、
を具備したことを特徴とする移動撮影装置。
In a mobile imaging device having a communication unit that communicates with an information terminal device,
A memory for recording imaging target specifying information for specifying the imaging target;
When the communication unit receives an ambush instruction signal for instructing the imaging standby state for the imaging target, the imaging target specified by the imaging target specifying information exists within the imaging range of the mobile imaging device. Regardless of whether or not the control unit to move the mobile imaging device to the ambush position based on the imaging target identification information, the mobile imaging device to the imaging standby state for the imaging target,
A moving photographing apparatus comprising:
移動自在で撮影可能な移動撮影装置における撮影方法であって、
撮像対象を特定するための撮像対象特定情報を記録する記録ステップと、
情報端末機器との間で通信を行う通信ステップと、
上記通信ステップにおいて、上記撮像対象に対する撮影待機状態を指示するための待ち伏せ指示信号が受信されると、上記移動撮影装置の撮影範囲内に上記撮像対象特定情報により特定される上記撮像対象が存在するか否かに拘わらず、上記撮像対象特定情報に基づく待ち伏せ位置に当該移動撮影装置を移動させて当該移動撮影装置を上記撮像対象に対する撮影待機状態とする制御ステップと、
を具備したことを特徴とする撮影方法。
It is a photographing method in a movable photographing device capable of photographing freely,
A recording step of recording imaging target specifying information for specifying the imaging target;
A communication step for communicating with an information terminal device;
In the communication step, when an ambush instruction signal for instructing a shooting standby state for the imaging target is received, the imaging target specified by the imaging target specifying information exists within a shooting range of the mobile shooting device. Regardless of whether or not the control step of moving the mobile imaging device to the ambush position based on the imaging target identification information to place the mobile imaging device in the imaging standby state for the imaging target,
A photographing method characterized by comprising:
移動自在で撮影可能な移動撮影装置において実行される撮影プログラムであって、
コンピュータに、
撮像対象を特定するための撮像対象特定情報を記録する記録ステップと、
情報端末機器との間で通信を行う通信ステップと、
上記通信ステップにおいて、上記撮像対象に対する撮影待機状態を指示するための待ち伏せ指示信号が受信されると、上記移動撮影装置の撮影範囲内に上記撮像対象特定情報により特定される上記撮像対象が存在するか否かに拘わらず、上記撮像対象特定情報に基づく待ち伏せ位置に当該移動撮影装置を移動させて当該移動撮影装置を上記撮像対象に対する撮影待機状態とする制御ステップと、
を実行させるための撮影プログラム。
A shooting program that is executed in a mobile shooting device that is movable and capable of shooting,
On the computer,
A recording step of recording imaging target specifying information for specifying the imaging target;
A communication step for communicating with an information terminal device;
In the communication step, when an ambush instruction signal for instructing a shooting standby state for the imaging target is received, the imaging target specified by the imaging target specifying information exists within a shooting range of the mobile shooting device. Regardless of whether or not the control step of moving the mobile imaging device to the ambush position based on the imaging target identification information to place the mobile imaging device in the imaging standby state for the imaging target,
Shooting program to execute.
JP2018144967A 2018-08-01 2018-08-01 Information terminal device, photographing method, photographing program, and mobile photographing device Active JP6429303B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018144967A JP6429303B1 (en) 2018-08-01 2018-08-01 Information terminal device, photographing method, photographing program, and mobile photographing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018144967A JP6429303B1 (en) 2018-08-01 2018-08-01 Information terminal device, photographing method, photographing program, and mobile photographing device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018112809A Division JP6384891B1 (en) 2018-06-13 2018-06-13 Information terminal device, photographing device, photographing method and photographing program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018200585A Division JP6495526B2 (en) 2018-10-25 2018-10-25 Mobile photographing device, mobile photographing control device, mobile photographing system, photographing method and photographing program

Publications (2)

Publication Number Publication Date
JP6429303B1 JP6429303B1 (en) 2018-11-28
JP2018201218A true JP2018201218A (en) 2018-12-20

Family

ID=64480516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018144967A Active JP6429303B1 (en) 2018-08-01 2018-08-01 Information terminal device, photographing method, photographing program, and mobile photographing device

Country Status (1)

Country Link
JP (1) JP6429303B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010244A (en) * 2003-06-17 2005-01-13 Nikon Corp Photographing device
JP2005103680A (en) * 2003-09-29 2005-04-21 Toshiba Corp Monitoring system and monitoring robot
JP2015115000A (en) * 2013-12-13 2015-06-22 株式会社東芝 Traveling apparatus
JP2015207149A (en) * 2014-04-21 2015-11-19 薫 渡部 monitoring system and monitoring method
JP2016513981A (en) * 2013-01-18 2016-05-19 アイロボット コーポレイション Mobile robot providing environment mapping for home environment control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010244A (en) * 2003-06-17 2005-01-13 Nikon Corp Photographing device
JP2005103680A (en) * 2003-09-29 2005-04-21 Toshiba Corp Monitoring system and monitoring robot
JP2016513981A (en) * 2013-01-18 2016-05-19 アイロボット コーポレイション Mobile robot providing environment mapping for home environment control
JP2015115000A (en) * 2013-12-13 2015-06-22 株式会社東芝 Traveling apparatus
JP2015207149A (en) * 2014-04-21 2015-11-19 薫 渡部 monitoring system and monitoring method

Also Published As

Publication number Publication date
JP6429303B1 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
JP6348947B2 (en) Moving photographing apparatus, moving photographing instruction apparatus, photographing apparatus, moving photographing system, moving photographing method, and moving photographing instruction method
JP6766086B2 (en) Imaging device and its control method
US20200014848A1 (en) Autonomous media capturing
US11010609B2 (en) Mobile image pickup system, learning method, mobile image pickup apparatus, information acquisition control apparatus, information acquisition control method and recording medium storing information acquisition control program
JP6231804B2 (en) Electronic device and control method thereof
JP7233162B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
WO2011013563A1 (en) Control device, image-capturing system, control method, and program
JP2020092354A (en) Imaging apparatus, control method of the same, program, and storage medium
JPWO2014030407A1 (en) Control device and storage medium
JP6356368B2 (en) Mobile photographing device, photographing method and photographing program
WO2019065454A1 (en) Imaging device and control method therefor
JP6218480B2 (en) Electronic device and control method thereof
JP6384891B1 (en) Information terminal device, photographing device, photographing method and photographing program
JP6560839B1 (en) Mobile photographing device, mobile photographing control device, mobile photographing system, photographing method and photographing program
JP6495526B2 (en) Mobile photographing device, mobile photographing control device, mobile photographing system, photographing method and photographing program
JP6429303B1 (en) Information terminal device, photographing method, photographing program, and mobile photographing device
CN106412429B (en) image processing method and device based on greenhouse
JP5392141B2 (en) Electronics
JP2016220261A (en) Electronic apparatus
JP5754500B2 (en) Electronic devices and programs for electronic devices
JP7199808B2 (en) Imaging device and its control method
JP2003283976A (en) Medium information recording apparatus and its method
JP5440240B2 (en) Electronics
JP5448913B2 (en) Electronic devices and programs for electronic devices
JP2023052626A (en) Electronic apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181025

R151 Written notification of patent or utility model registration

Ref document number: 6429303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250