JP2014062931A - Photographing device, control method, control program, and recording medium - Google Patents

Photographing device, control method, control program, and recording medium Download PDF

Info

Publication number
JP2014062931A
JP2014062931A JP2012206350A JP2012206350A JP2014062931A JP 2014062931 A JP2014062931 A JP 2014062931A JP 2012206350 A JP2012206350 A JP 2012206350A JP 2012206350 A JP2012206350 A JP 2012206350A JP 2014062931 A JP2014062931 A JP 2014062931A
Authority
JP
Japan
Prior art keywords
unit
rotation
photographing
image
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012206350A
Other languages
Japanese (ja)
Inventor
Masaki Hashiura
正樹 橋浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012206350A priority Critical patent/JP2014062931A/en
Publication of JP2014062931A publication Critical patent/JP2014062931A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent the occurrence of the situation in which an object in the vicinity of a photographing device is not captured in a panoramic image, while suppressing the number of photographing times as much as possible.SOLUTION: A photographing device (1) photographs the surroundings thereof while rotating around a rotation shaft sequentially by a predetermined angle, and includes a distance measuring sensor (14). When the photographing device (1) detects an object that is likely to enter a dead angle area generated in the vicinity of the photographing device (1), rotates by an angle smaller than the predetermined angle to photograph the object.

Description

本発明は、パノラマ画像として連結するための複数の区間画像を撮像する撮影装置、制御方法、制御プログラム、記録媒体に関するものである。   The present invention relates to a photographing apparatus, a control method, a control program, and a recording medium that capture a plurality of section images to be connected as panoramic images.

広い視野の画像(パノラマ画像)は視覚的効果が高く、さまざまな目的に利用できる。パノラマ画像の生成は、例えば、カメラを回転させることにより、カメラの向きを変えて複数の画像を撮影し、複数の画像を繋ぎ合わせることで行われる。   Wide-field images (panoramic images) have high visual effects and can be used for various purposes. The panorama image is generated by, for example, rotating the camera to change the orientation of the camera, shooting a plurality of images, and connecting the plurality of images.

一方、現在自走式ロボットとして汎用されているものは、安定した自走性を実現するために体高の低い円盤様の形を有し、水平移動のほか、任意の角度での回転を自在に行うことができる。従って、この自走性ロボットに撮影装置を搭載し、自走性撮影装置としてパノラマ撮影に利用することが考えられる。   On the other hand, what is currently widely used as a self-propelled robot has a disk-like shape with a low body height in order to achieve stable self-propelledness, and can freely rotate at any angle in addition to horizontal movement It can be carried out. Therefore, it is conceivable to mount a photographing device on this self-propelled robot and use it for panoramic photographing as a self-propelled photographing device.

特許文献1には、例えばウェブカムの形の電子カメラを設けている自走式掃除機について開示されている。   Patent Document 1 discloses a self-propelled cleaner provided with an electronic camera in the form of a web cam, for example.

特許文献2には、複数回の撮影で得られる複数の画像データを切り出して、それぞれを合成してパノラマ画像を生成するパノラマ撮影方法について開示されている。このパノラマ撮影方法では、ユーザが撮影装置を持って回転しながら撮影したときに、最初の撮影をしてからの累積回転角を測定する。そして、仮に全周パノラマ画像データの生成に必要な回転角に達していない場合も、最終に撮影された画像の切り出し範囲を変更することによって、全周パノラマ画像を生成できるようにすることで、全周パノラマ撮影の失敗を防いでいる。   Patent Document 2 discloses a panoramic shooting method in which a plurality of image data obtained by a plurality of shootings are cut out and combined to generate a panoramic image. In this panoramic photographing method, when the user takes a picture while rotating with the photographing device, the cumulative rotation angle after the first photographing is measured. And even if the rotation angle necessary for generating the all-round panoramic image data has not been reached, it is possible to generate the all-round panoramic image by changing the cutout range of the finally shot image, This prevents failures in all-round panorama shooting.

特開2012− 45383号公報(2012年 3月 8日公開)JP 2012-45383 A (published March 8, 2012) 特開2011−234121号公報(2011年11月17日公開)JP 2011-234121 A (published November 17, 2011)

しかしながら、特許文献1の自走式掃除機は、清掃中の走行方向前方の障害物や標識に対応した清掃に関する命令を取得するために電子カメラを備えている。そのため、特許文献1には、自走式掃除機を回転させてパノラマ撮影を行う方法については記載されていない。   However, the self-propelled cleaner of Patent Document 1 includes an electronic camera in order to acquire a command regarding cleaning corresponding to an obstacle or a sign ahead in the traveling direction during cleaning. Therefore, Patent Document 1 does not describe a method for performing panoramic photographing by rotating a self-propelled cleaner.

また、特許文献2のパノラマ撮影方法では、ユーザがデジタルカメラを保持し、その場で体を回転させながらデジタルカメラを回転移動させることで、パノラマ撮影を行う方法である。そのため、特許文献2には、撮影ごとに回転する角度を自在に調整できるうえに、撮影開始からの回転の累積角度が制御可能な、自走式の撮影装置によるパノラマ撮影方法については記載されていない。   The panorama shooting method disclosed in Patent Document 2 is a method in which a user holds a digital camera and panorama shooting is performed by rotating the digital camera while rotating the body on the spot. Therefore, Patent Document 2 describes a panoramic photographing method using a self-propelled photographing apparatus that can freely adjust the rotation angle for each photographing and can control the cumulative angle of rotation from the beginning of photographing. Absent.

また、カメラが回転軸上に設置されていない、すなわち、カメラが回転軸から所定距離だけ離れて設置されており、上記所定距離を半径とする円周上を回転する撮影装置でパノラマ撮影を行うと、カメラの近傍に撮影できない領域(死角領域)が生じる。その結果、この死角領域に入った物体がパノラマ画像に映り込まないという問題がある。   Further, the camera is not installed on the rotation axis, that is, the camera is installed at a predetermined distance from the rotation axis, and panorama shooting is performed with an imaging device that rotates on the circumference with the predetermined distance as a radius. As a result, an area that cannot be photographed (a blind spot area) is generated near the camera. As a result, there is a problem that an object entering this blind spot area is not reflected in the panoramic image.

上記死角領域をできるだけ少なくするには、撮影装置が撮影のたびに回転する回転角度を十分に狭くする対策が考えられる。しかし、撮影回数が多くなることで撮影に要する時間が長くなり、また、パノラマ画像の生成に用いる画像データが増えて、データ処理の量が多くなってしまう。   In order to reduce the blind spot area as much as possible, a measure for sufficiently narrowing the rotation angle at which the photographing apparatus rotates each time photographing can be considered. However, as the number of times of shooting increases, the time required for shooting increases, and image data used for generating a panorama image increases, resulting in an increase in the amount of data processing.

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、パノラマ画像生成に用いる区間画像の取得のための撮影回数をできるだけ少なくして、なおかつ近傍の物体がパノラマ画像に映り込まない事態の発生を防止することができる撮影装置、制御方法、制御プログラム、記録媒体を実現することにある。   The present invention has been made in view of the above-described problems, and an object of the present invention is to reduce the number of shootings for obtaining a section image used for generating a panoramic image as much as possible and to display nearby objects in the panoramic image. An object of the present invention is to realize a photographing apparatus, a control method, a control program, and a recording medium that can prevent the occurrence of an unintentional situation.

上記の課題を解決するために、本発明に係る撮影装置は、一つの回転軸周りに回転しながら、パノラマ画像として連結するための複数の区間画像を撮像する撮影装置であって、上記区間画像を撮影する撮影部と、上記撮影部を、上記回転軸を中心とし、所定距離を半径とする円周上を、上記区間画像に対応する回転角度に回転させる回転部と、連続する2つの上記区間画像に撮影される2つの撮影領域の間に生じる、当該2つの区間画像には撮影されない死角領域にある物体を検出する物体検出部と、上記物体検出部が上記死角領域に物体を検出したとき、当該死角領域に隣接する2つの撮影領域を撮影する2つの上記区間画像に対応する回転角度の間の、少なくとも1つの回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させる回転角設定手段と、を備えることを特徴としている。   In order to solve the above-described problem, an imaging apparatus according to the present invention is an imaging apparatus that captures a plurality of section images to be connected as a panoramic image while rotating around one rotation axis. An image capturing unit that captures the image, a rotation unit that rotates the image capturing unit around a rotation axis about a predetermined distance and a rotation angle corresponding to the section image, and a continuous rotation unit. An object detection unit that detects an object in a blind spot area that is not captured in the two section images, which is generated between the two shooting areas captured in the section image, and the object detection unit detects an object in the blind spot area When the rotation unit is rotated at least one rotation angle between the rotation angles corresponding to the two section images capturing the two shooting areas adjacent to the blind spot area, the section image is displayed on the shooting unit. Shoot It is characterized in that it comprises a rotation angle setting means for.

また、本発明に係る撮影装置の制御方法は、一つの回転軸周りに回転しながら、パノラマ画像として連結するための複数の区間画像を撮像する制御方法であって、上記区間画像を撮影する撮影部と、上記撮影部を、上記回転軸を中心とし、所定距離を半径とする円周上を、上記区間画像に対応する回転角度に回転させる回転部と、連続する2つの上記区間画像に撮影される2つの撮影領域の間に生じる、当該2つの区間画像には撮影されない死角領域にある物体を検出する物体検出部と、を備え、上記物体検出部が上記死角領域に物体を検出したとき、当該死角領域に隣接する2つの撮影領域を撮影する2つの上記区間画像に対応する回転角度の間の、少なくとも1つの回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させる回転角設定ステップと、を含むことを特徴としている。   Also, the control method of the image capturing apparatus according to the present invention is a control method for capturing a plurality of section images for connecting as panoramic images while rotating around one rotation axis, and capturing the section images. A rotation unit that rotates a rotation angle corresponding to the section image on a circumference centered on the rotation axis and having a radius of a predetermined distance, and two continuous section images. An object detection unit that detects an object in a blind spot area that is not captured in the two section images generated between the two shooting areas, and the object detection unit detects an object in the blind spot area The rotation unit is rotated to at least one rotation angle between rotation angles corresponding to the two section images for capturing the two photographing areas adjacent to the blind spot area, and the section image is photographed by the photographing unit. The Is characterized by comprising a rotation angle setting step that, a.

上記の構成および方法によれば、撮影装置は、パノラマ画像として連結するための複数の区間画像を撮像する際、各区間画像を撮像する毎に、回転部によって、回転軸を中心に区間画像を取得するための方向(回転角度)に回転し、撮像する方向を向くまで回転したら撮影部によって区間画像を取得する。このとき、物体検出部により、回転軸から所定距離を半径とする円周上を撮影部が移動する場合に生じる、連続する2つの区間画像には撮影されない死角領域にある物体を検出する。そして、死角領域内に物体が検出されたとき、死角領域に隣接する2つの撮影領域の2つの区間画像に対応する回転角度の間の、少なくとも1つの回転角度に回転部を回転させて撮影する。   According to the above configuration and method, the imaging device captures a section image around the rotation axis by the rotating unit every time each section image is captured when capturing a plurality of section images to be connected as panoramic images. When the image is rotated in the direction for acquisition (rotation angle) and rotated in the direction in which the image is to be captured, the section image is acquired by the imaging unit. At this time, the object detection unit detects an object in a blind spot area that is not captured in two consecutive section images, which occurs when the imaging unit moves on a circle having a radius of a predetermined distance from the rotation axis. Then, when an object is detected in the blind spot area, shooting is performed by rotating the rotation unit to at least one rotation angle between the rotation angles corresponding to the two section images of the two shooting areas adjacent to the blind spot area. .

これにより、隣接する2つの撮影領域の間の少なくとも1つの回転角度の向きで撮影することができる。それゆえ、上記隣接する2つの撮影領域の間の死角領域にある物体を撮影して、パノラマ画像に映し込むことが可能となる。   As a result, it is possible to photograph at the direction of at least one rotation angle between two adjacent photographing regions. Therefore, it is possible to photograph an object in the blind spot area between the two adjacent photographing areas and display it in the panoramic image.

よって、死角領域に物体があるときのみ、回転角度を細かく設定して、中間の方向の撮影を行うことが可能となる。それゆえ、撮影回数をできるだけ少なくするとともに、死角領域の物体がパノラマ画像から抜け落ちることを防ぐことができる。   Therefore, only when there is an object in the blind spot area, it is possible to finely set the rotation angle and perform shooting in the middle direction. Therefore, it is possible to reduce the number of shootings as much as possible and to prevent an object in the blind spot area from falling out of the panoramic image.

さらに、本発明に係る撮影装置は、上記物体検出部は、上記撮影部が回転する円周から物体までの距離を測定する測距センサを含むことを特徴としている。   Furthermore, the imaging apparatus according to the present invention is characterized in that the object detection unit includes a distance measuring sensor that measures a distance from a circumference around which the imaging unit rotates to an object.

上記の構成により、さらに、撮影装置が回転することに伴って発生する死角領域に入る物体を、測距センサが撮影装置と該物体との距離を測定することによって検出する。   With the above-described configuration, an object that enters a blind spot region that is generated as the imaging apparatus rotates is detected by the distance measuring sensor measuring the distance between the imaging apparatus and the object.

よって、撮影装置の周囲に存在する、撮影装置によって撮影されるべき全ての物体を検出対象として検出することができる。   Therefore, all objects that are present around the photographing apparatus and are to be photographed by the photographing apparatus can be detected as detection targets.

さらに、本発明に係る撮影装置は、上記物体検出部は、上記測距センサが測定した物体までの距離Lが、次の数式、
Lmax=r{sin(a/2)/sin((a−P)/2)−1}
連続する2つの区間画像に対応する回転角度の差P(°)、区間画像の画角a(°)、回転軸からのカメラの回転円周までの距離r、
で規定される距離Lmax以下であるとき、当該物体を上記死角領域にある物体と判定することを特徴としている。
Furthermore, in the photographing apparatus according to the present invention, the object detection unit is configured such that the distance L to the object measured by the distance measuring sensor is expressed by the following formula:
Lmax = r {sin (a / 2) / sin ((a-P) / 2) -1}
Difference P (°) of rotation angle corresponding to two consecutive section images, angle of view a (°) of section image, distance r from rotation axis to rotation circumference of camera,
When the distance is equal to or less than the distance Lmax defined by (1), the object is determined to be an object in the blind spot area.

ここで、撮影装置を用いてパノラマ画像として連結するための複数の区間画像を撮像する場合において、物体と撮影装置との間の距離が上記数式で規定されるLmax以下である時に、当該物体は連続する2つの上記区間画像には撮影されない死角領域に入る可能性がある。   Here, in the case of capturing a plurality of section images to be connected as panoramic images using an imaging device, when the distance between the object and the imaging device is equal to or less than Lmax defined by the above equation, the object is There is a possibility of entering into a blind spot area that is not photographed in two consecutive section images.

そこで、上記の構成により、さらに、測距センサにより測定された距離を、上記距離Lmaxと比較することで、当該物体が死角領域に入るか否かを判定することができる。   Therefore, with the above configuration, it is possible to determine whether or not the object enters the blind spot region by comparing the distance measured by the distance measuring sensor with the distance Lmax.

よって、上記死角領域に入る可能性のある物体を検出したときだけ、上記撮影装置は回転角度を細かく設定することが可能となり、それゆえ、撮影回数をできるだけ少なくするとともに、死角領域の物体がパノラマ画像から抜け落ちることが無いように撮影を行うことができる。   Therefore, only when an object that can enter the blind spot area is detected, the imaging apparatus can set the rotation angle finely. Therefore, the number of shootings can be reduced as much as possible, and the object in the blind spot area can be panoramic. Shooting can be performed so as not to fall out of the image.

さらに、本発明に係る撮影装置は、上記測距センサは、測定範囲の中心方向が、上記撮影部の画角の中心方向と略一致して搭載されていてもよい。   Furthermore, in the photographing apparatus according to the present invention, the distance measuring sensor may be mounted such that the center direction of the measurement range substantially coincides with the center direction of the angle of view of the photographing unit.

さらに、本発明に係る撮影装置は、上記物体検出部は、上記回転部が上記撮影部を、ある区間画像に対応する回転角度から、隣接する区間画像に対応する回転角度へ回転させる間に、上記測距センサが上記撮影部と共に回転しながら測距して、上記死角領域にある物体の検出を行い、上記回転角設定手段は、上記物体検出部が上記死角領域に物体を検出したとき、上記2つの回転角度の中央の回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させることを特徴としている。   Furthermore, in the imaging device according to the present invention, the object detection unit is configured such that the rotation unit rotates the imaging unit from a rotation angle corresponding to a certain section image to a rotation angle corresponding to an adjacent section image. The distance measurement sensor measures the distance while rotating together with the imaging unit, detects an object in the blind spot area, and the rotation angle setting means detects the object in the blind spot area when the object detection unit detects an object in the blind spot area. The rotation unit is rotated to a central rotation angle between the two rotation angles, and the section image is captured by the imaging unit.

上記の構成により、さらに、上記測距センサが、測定範囲の中心方向が、上記撮影部の画角の中心方向と略一致して搭載されている場合において、撮影装置の上記撮影部が回転して、上記隣接する2つの撮影領域の間の死角領域を横切るときに、上記測距センサが上記死角領域に存在する物体までの距離を測定し、上記死角領域内の物体を検出することができる。   With the above configuration, when the distance measuring sensor is mounted so that the center direction of the measurement range is substantially coincident with the center direction of the angle of view of the imaging unit, the imaging unit of the imaging device rotates. Thus, the distance measuring sensor can measure the distance to an object existing in the blind spot area and detect an object in the blind spot area when crossing a blind spot area between the two adjacent imaging areas. .

したがって、上記隣接する2つの撮影領域の間の死角領域に入る可能性のある物体を、撮影装置は回転しながら漏らすことなく検出することができる。   Therefore, an object that may enter a blind spot area between the two adjacent imaging areas can be detected without leaking while the imaging apparatus rotates.

よって、上記死角領域に入る可能性のある物体を確実に撮影することができる。   Therefore, it is possible to reliably photograph an object that may enter the blind spot area.

さらに、本発明に係る撮影装置は、上記測距センサは、測定範囲の中心方向が、上記撮影部の画角の中心方向より、連続する2つの上記区間画像に対応する回転角度の差の半分だけ、回転の下流側となるように搭載されていてもよい。   Furthermore, in the photographing apparatus according to the present invention, the distance measuring sensor is configured such that the center direction of the measurement range is half the rotation angle difference corresponding to the two continuous section images from the center direction of the field angle of the photographing unit. However, it may be mounted on the downstream side of the rotation.

さらに、本発明に係る撮影装置は、上記物体検出部は、上記回転部が上記撮影部の、ある区間画像に対応する回転角度から、隣接する区間画像に対応する回転角度への回転を開始する前に、上記測距センサが測距して、上記死角領域にある物体の検出を行い、上記回転角設定手段は、上記物体検出部が上記死角領域に物体を検出したとき、上記2つの回転角度の中央の回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させることを特徴としている。   Further, in the photographing apparatus according to the present invention, the object detection unit starts rotation of the rotation unit from a rotation angle corresponding to a certain section image of the photographing unit to a rotation angle corresponding to an adjacent section image. Before, the distance measurement sensor measures a distance and detects an object in the blind spot area, and the rotation angle setting means detects the two rotations when the object detection unit detects an object in the blind spot area. The rotation unit is rotated to a rotation angle at the center of the angle, and the section image is captured by the imaging unit.

上記の構成により、さらに、上記測距センサが、測定範囲の中心方向が、上記撮影部の画角の中心方向より、連続する2つの上記区間画像に対応する回転角度の差の半分だけ、回転の下流側となるように搭載されている場合において、撮影装置の上記撮影部が、上記隣接する2つの撮影領域の1つ目の撮影領域の撮影の方向を向いているとき、上記測距センサが上記死角領域に存在する物体までの距離を測定し、上記死角領域内の物体を検出することができる。   With the above-described configuration, the distance measuring sensor further rotates the center direction of the measurement range by a half of the difference in rotation angle corresponding to two consecutive section images from the center direction of the angle of view of the photographing unit. The distance measuring sensor when the image capturing unit of the image capturing apparatus faces the image capturing direction of the first image capturing area of the two adjacent image capturing areas. Can measure the distance to an object present in the blind spot area and detect an object in the blind spot area.

したがって、上記隣接する2つの撮影領域の間の死角領域に入る可能性のある物体を、撮影装置は回転を開始する前に検出することができる。   Therefore, the imaging apparatus can detect an object that may enter a blind spot area between the two adjacent imaging areas before starting to rotate.

よって、上記死角領域に入る可能性のある物体を確実に撮影することができる。   Therefore, it is possible to reliably photograph an object that may enter the blind spot area.

なお、上記撮影装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記撮影装置をコンピュータにて実現させる撮影装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。   The photographing apparatus may be realized by a computer, and in this case, a control program for the photographing apparatus that causes the computer to realize the photographing apparatus by operating the computer as the above-described means, and recorded the same. Computer-readable recording media are also within the scope of the present invention.

以上のように、本発明に係る撮影装置は、区間画像を撮影する撮影部と、上記撮影部を、回転軸を中心とし、所定距離を半径とする円周上を、上記区間画像に対応する回転角度に回転させる回転部と、連続する2つの上記区間画像に撮影される2つの撮影領域の間に生じる、当該2つの区間画像には撮影されない死角領域にある物体を検出する物体検出部と、上記物体検出部が上記死角領域に物体を検出したとき、当該死角領域に隣接する2つの撮影領域を撮影する2つの上記区間画像に対応する回転角度の間の、少なくとも1つの回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させる回転角設定手段と、を備える構成である。   As described above, the photographing apparatus according to the present invention corresponds to the section image on the circumference having the photographing unit for photographing the section image and the photographing unit with the rotation axis as the center and the predetermined distance as the radius. A rotation unit that rotates to a rotation angle; and an object detection unit that detects an object in a blind spot area that is not captured in the two section images and that is generated between the two capturing areas captured in the two consecutive section images. When the object detection unit detects an object in the blind spot area, the object detection unit detects at least one rotation angle between the rotation angles corresponding to the two section images capturing the two shooting areas adjacent to the blind spot area. A rotation angle setting unit that rotates the rotation unit and causes the imaging unit to capture the section image.

また、本発明に係る撮影装置の制御方法は、区間画像を撮影する撮影部と、上記撮影部を、回転軸を中心とし、所定距離を半径とする円周上を、上記区間画像に対応する回転角度に回転させる回転部と、連続する2つの上記区間画像に撮影される2つの撮影領域の間に生じる、当該2つの区間画像には撮影されない死角領域にある物体を検出する物体検出部と、を備え、上記物体検出部が上記死角領域に物体を検出したとき、当該死角領域に隣接する2つの撮影領域を撮影する2つの上記区間画像に対応する回転角度の間の、少なくとも1つの回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させる回転角設定ステップと、を含む方法である。   Also, the control method of the photographing apparatus according to the present invention corresponds to the above-described section image on the circumference of the photographing unit that photographs the section image and the above-described photographing unit with the rotation axis as the center and a predetermined distance as the radius. A rotation unit that rotates to a rotation angle; and an object detection unit that detects an object in a blind spot area that is not captured in the two section images and that is generated between the two capturing areas captured in the two consecutive section images. And when the object detection unit detects an object in the blind spot area, at least one rotation between rotation angles corresponding to the two section images capturing the two shooting areas adjacent to the blind spot area A rotation angle setting step of rotating the rotation unit to an angle and causing the imaging unit to capture the section image.

よって、死角領域に物体があるときのみ、回転角度を細かく設定して、中間の方向の撮影を行うことが可能となる。それゆえ、撮影回数をできるだけ少なくするとともに、死角領域の物体がパノラマ画像から抜け落ちることを防ぐことができるという効果を奏する。   Therefore, only when there is an object in the blind spot area, it is possible to finely set the rotation angle and perform shooting in the middle direction. Therefore, it is possible to reduce the number of shootings as much as possible and to prevent an object in the blind spot area from falling out of the panoramic image.

本発明の実施形態を示すものであり、撮影装置の要部構成を示すブロック図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 illustrates an embodiment of the present invention and is a block diagram illustrating a configuration of a main part of a photographing apparatus. 図1に示した撮影装置の外形を示すものであり、(a)は撮影装置に搭載されたカメラおよび測距センサの位置の例を説明するための斜視図であり、(b)は撮影装置に搭載されたカメラと測距センサとの位置関係の例を説明するための模式図である。FIG. 2 is a perspective view for explaining an example of positions of a camera and a distance measuring sensor mounted on the photographing apparatus, and (b) is a perspective view illustrating an outer shape of the photographing apparatus illustrated in FIG. 1. It is a schematic diagram for demonstrating the example of the positional relationship of the camera mounted in 1 and the ranging sensor. 図1に示した撮影装置の一構成例に基づく動作原理について説明するための概念図である。It is a conceptual diagram for demonstrating the principle of operation based on one structural example of the imaging device shown in FIG. 図3に示した構成例の撮影装置が行う動作の流れを示すフローチャートである。FIG. 4 is a flowchart illustrating a flow of operations performed by the imaging apparatus having the configuration example illustrated in FIG. 3. FIG. 図1に示した撮影装置が行うパノラマ撮影の概略を例示する説明図である。It is explanatory drawing which illustrates the outline of the panoramic imaging which the imaging device shown in FIG. 1 performs. 図1に示した撮影装置が行うパノラマ撮影の概略を例示する説明図である。It is explanatory drawing which illustrates the outline of the panoramic imaging which the imaging device shown in FIG. 1 performs. 図1に示した撮影装置が行う、撮影した複数の区間画像を1つの帯状のパノラマ画像に合成する処理を説明するための概略図である。It is the schematic for demonstrating the process which the imaging | photography apparatus shown in FIG. 1 synthesize | combines several image | photographed area | region images to one strip | belt-shaped panoramic image. 図1に示した撮影装置の他の構成例に基づく動作原理について説明するための概念図である。It is a conceptual diagram for demonstrating the principle of operation based on the other structural example of the imaging device shown in FIG. 図8に示した構成例の撮影装置が行う動作の流れを示すフローチャートである。It is a flowchart which shows the flow of the operation | movement which the imaging device of the structural example shown in FIG. 8 performs. 図1に示した撮影装置が撮影した複数の区間画像を1つの帯状のパノラマ画像に合成する際に行う、区間画像をトリミングする処理を説明するための概略図である。It is the schematic for demonstrating the process which trims the area image performed when synthesize | combining the several area image image | photographed with the imaging device shown in FIG. 1 to one strip | belt-shaped panoramic image. 図1に示した撮影装置が撮影した複数の区間画像を1つの帯状のパノラマ画像に合成する際に行う、区間画像を繋ぎ合わせる処理を説明するための概略図である。It is the schematic for demonstrating the process which connects the area image performed when synthesize | combining the several area image image | photographed with the imaging device shown in FIG. 1 to one strip | belt-shaped panoramic image. 図1に示した撮影装置が撮影した複数の区間画像を1つの帯状のパノラマ画像に合成する際に行う、区間画像をトリミングする処理を説明するための概略図である。It is the schematic for demonstrating the process which trims the area image performed when synthesize | combining the several area image image | photographed with the imaging device shown in FIG. 1 to one strip | belt-shaped panoramic image.

(撮影装置の概略構成)
本発明の一実施形態に係る撮影装置1は、一つの回転軸周りに回転しながら、パノラマ画像として連結するための複数の区間画像の撮影を実行するものである。
(Schematic configuration of the imaging device)
The photographing apparatus 1 according to an embodiment of the present invention performs photographing of a plurality of section images for connection as a panoramic image while rotating around one rotational axis.

本実施の形態では、本発明の撮影装置を、撮影部(カメラ)12を備えた自走式家電ロボットである場合に適用した例について説明するが、これに限定されることを意味しない。   In the present embodiment, an example in which the photographing apparatus of the present invention is applied to a self-propelled home appliance robot provided with a photographing unit (camera) 12 will be described, but the present invention is not limited to this.

図1は、撮影装置1の要部構成の概略を説明するためのブロック図である。   FIG. 1 is a block diagram for explaining an outline of a main configuration of the photographing apparatus 1.

図1では、自走するためのモータ、操作入力部、及び各種センサなどは省略され、撮影装置1としての要部のみが図示されている。ただし、これは単に撮影装置1の構成を簡略に説明するためであり、図1に示された構成に限定するものではない。   In FIG. 1, a motor for self-running, an operation input unit, various sensors, and the like are omitted, and only a main part as the imaging device 1 is illustrated. However, this is merely for the purpose of simplifying the configuration of the photographing apparatus 1, and is not limited to the configuration shown in FIG.

撮影装置1は、少なくとも、画像記憶部11、撮影部12、撮影部制御部13、測距センサ14、距離判定部15、回転角設定部(回転角設定手段)16、累積角度演算部17、累積角度記憶部18、終了判定部19、回転モータ(回転部)20、および回転モータ制御部21を備えている。   The photographing apparatus 1 includes at least an image storage unit 11, a photographing unit 12, a photographing unit control unit 13, a distance measuring sensor 14, a distance determination unit 15, a rotation angle setting unit (rotation angle setting unit) 16, a cumulative angle calculation unit 17, A cumulative angle storage unit 18, an end determination unit 19, a rotation motor (rotation unit) 20, and a rotation motor control unit 21 are provided.

画像記憶部11は、撮影部12で撮影した区間画像を記憶する。ここで、区間画像とは、撮影によって取得される画像であり、パノラマ画像は回転しながら撮影された複数の区間画像を回転角度の順に繋ぎ合わせて生成される。   The image storage unit 11 stores the section image captured by the imaging unit 12. Here, the section image is an image acquired by photographing, and the panoramic image is generated by connecting a plurality of section images photographed while rotating in order of rotation angles.

撮影部12は、回転モータ20の回転によって、一つの回転軸周りに回転しながら、撮影部制御部13の撮影指示に従い、パノラマ画像として連結するための複数の区間画像の撮影を行う。撮影部12は、デジタルカメラ、あるいはデジタルビデオカメラなどのカメラであり、取得した画像を画像記憶部11に出力する。   The imaging unit 12 captures a plurality of section images to be connected as a panoramic image according to the imaging instruction of the imaging unit control unit 13 while rotating around one rotation axis by the rotation of the rotary motor 20. The photographing unit 12 is a camera such as a digital camera or a digital video camera, and outputs the acquired image to the image storage unit 11.

撮影部制御部13は、撮影部12による撮影が行われたことを示す情報を、回転角設定部16に送る。   The photographing unit control unit 13 sends information indicating that photographing by the photographing unit 12 has been performed to the rotation angle setting unit 16.

回転角設定部16は、撮影部制御部13から、撮影部12による撮影がなされたことを示す情報を取得すると、回転モータ制御部21に対して、連続する2つの区間画像に対応する回転角度の差に対応する角度を回転指示角として設定し回転モータ制御部21に送る。また回転角設定部16は、設定した角度の回転がなされたことを示す情報を回転モータ制御部21から取得すると、撮影部制御部13に対して撮影の指示を送る。   When the rotation angle setting unit 16 obtains information indicating that the photographing by the photographing unit 12 has been performed from the photographing unit control unit 13, the rotation angle setting unit 16 causes the rotation motor control unit 21 to correspond to two consecutive section images. An angle corresponding to the difference is set as the rotation instruction angle and sent to the rotary motor control unit 21. When the rotation angle setting unit 16 acquires information indicating that the set angle has been rotated from the rotation motor control unit 21, the rotation angle setting unit 16 sends a shooting instruction to the shooting unit control unit 13.

測距センサ14は、撮影装置1が回転するときに、撮影装置1の周囲の物体までの距離を測定するセンサであり、測定結果はAC/DC変換などを経て、距離判定部15に送られる。なお、測距センサ14は、物体までの距離が測定できればよく、赤外線センサ、超音波センサなどを用いることができる。しかし、これに制限されることはなく、CCDカメラと画像解析とにより測距してもよい。   The distance measuring sensor 14 is a sensor that measures the distance to an object around the photographing apparatus 1 when the photographing apparatus 1 rotates, and the measurement result is sent to the distance determination unit 15 through AC / DC conversion or the like. . The distance measuring sensor 14 only needs to be able to measure the distance to the object, and an infrared sensor, an ultrasonic sensor, or the like can be used. However, the distance is not limited to this, and the distance may be measured by a CCD camera and image analysis.

距離判定部15は、測距センサ14によって測定された周囲の物体までの距離を取得し、物体が所定の距離よりも撮影装置1に近い場所にあるか否かを判定する。ここで、所定の距離は、パノラマ撮影時の死角領域30の、撮影装置1から最も遠い位置までの距離に設定される。この距離は、撮影装置1に備えられた撮影部12が、撮影装置1の回転軸から離れている距離(r)と、撮影できる画角(a°)、および撮影ごとに回転する角度(P°)とによって決定される。この所定の距離より撮影装置1に近い物体は、パノラマ画像として連結するための複数の区間画像として撮影されない死角領域30に含まれる可能性がある。この死角領域30、および、ここで判定に用いられる所定の距離に関しては、図3−図9を用いて後に説明する。   The distance determination unit 15 acquires the distance to the surrounding object measured by the distance measuring sensor 14 and determines whether the object is nearer to the photographing apparatus 1 than a predetermined distance. Here, the predetermined distance is set to the distance from the photographing apparatus 1 to the position farthest from the blind spot region 30 at the time of panoramic photographing. This distance includes the distance (r) that the image capturing unit 12 provided in the image capturing device 1 is away from the rotation axis of the image capturing device 1, the angle of view that can be captured (a °), and the angle (P) °) and determined by. An object closer to the imaging device 1 than the predetermined distance may be included in the blind spot area 30 that is not captured as a plurality of section images to be connected as a panoramic image. The blind spot area 30 and the predetermined distance used for the determination will be described later with reference to FIGS.

回転角設定部16は、測距センサ14と距離判定部15が、死角領域30に物体を検出したとき、死角領域30に隣接する2つの撮影領域を撮影する2つの区間画像に対応する回転角度の差より小さい、少なくとも1つの回転指示角を設定する。   The rotation angle setting unit 16 is a rotation angle corresponding to two section images for capturing two imaging regions adjacent to the blind spot region 30 when the distance measuring sensor 14 and the distance determination unit 15 detect an object in the blind spot region 30. At least one rotation instruction angle smaller than the difference is set.

累積角度演算部17は、回転角設定部16によって設定された回転指示角を取得し、最初の撮影が行われてから撮影装置1が回転した累積角度を算出する。なお、算出は、指示の送出時および回転報告を受けた時のどちらで行ってもよい。   The cumulative angle calculation unit 17 acquires the rotation instruction angle set by the rotation angle setting unit 16 and calculates the cumulative angle that the imaging device 1 has rotated after the first imaging. The calculation may be performed either when the instruction is sent or when the rotation report is received.

累積角度記憶部18は、累積角度演算部17が算出した、最初の撮影が行われてから現在までの回転の累積角度を記憶する。   The cumulative angle storage unit 18 stores a cumulative angle of rotation calculated from the cumulative angle calculation unit 17 until the current time after the first photographing is performed.

回転モータ制御部21は、撮影装置1が、回転角設定部16で設定された回転指示角の回転を行うように回転モータ20の回転を制御する。   The rotation motor control unit 21 controls the rotation of the rotation motor 20 so that the photographing apparatus 1 rotates the rotation instruction angle set by the rotation angle setting unit 16.

回転モータ20は、一つの回転軸周りに撮影装置1が回転するときに用いられる。なお、本実施形態では、回転モータ20は撮影装置1を回転させるが、撮影部12および測距センサ14を回転させることができればよく、撮影装置1を回転させることは必須ではない。   The rotation motor 20 is used when the photographing apparatus 1 rotates around one rotation axis. In the present embodiment, the rotation motor 20 rotates the photographing apparatus 1, but it is sufficient that the photographing unit 12 and the distance measuring sensor 14 can be rotated, and it is not essential to rotate the photographing apparatus 1.

終了判定部19は、角度記憶部19に記憶された累積角度に基づいて、回転を継続して行うのか、それとも終了するのか、を判定する。たとえば、累積角度が所定の終了角度(全周パノラマ撮影の場合、360°)以上になれば、回転角設定部16は終了判定部19の終了指示を受け取り、撮影部制御部13から撮影終了通知(回転開始指示)を受けた時、撮影部制御部13に対して撮影の終了を送り、撮影動作が終了する。なお、このとき、回転角設定部16は、回転モータ制御部21に対して回転の終了を送ってもよい。   The end determination unit 19 determines whether to continue the rotation or to end based on the accumulated angle stored in the angle storage unit 19. For example, when the accumulated angle is equal to or greater than a predetermined end angle (360 ° in the case of panoramic shooting around the entire circumference), the rotation angle setting unit 16 receives an end instruction from the end determination unit 19 and notifies the end of shooting from the shooting unit control unit 13. When (rotation start instruction) is received, the end of shooting is sent to the shooting unit control unit 13, and the shooting operation ends. At this time, the rotation angle setting unit 16 may send the end of rotation to the rotary motor control unit 21.

(自走式の撮影装置の構造例)
撮影装置1の構造例の概略を図2に示す。
(Example structure of a self-propelled photographing device)
An outline of a structure example of the photographing apparatus 1 is shown in FIG.

図2(a)に示すように、撮影装置1は、扁平な円筒形をしており、自在に走行することができる。また、撮影装置1は、例えば図2(a)のz軸を唯一の回転中心として水平面内を回転することができる。   As shown in FIG. 2A, the photographing apparatus 1 has a flat cylindrical shape and can travel freely. Further, the photographing apparatus 1 can rotate in the horizontal plane with the z axis in FIG. 2A as the only rotation center, for example.

以下の説明では、撮影装置1は、上記の回転軸zを中心にして、右回りに回転しながら複数回の撮影を行い、パノラマ画像として連結するための複数の区間画像の撮影を実行するものとする。なお、撮影装置1の回転方向に右回りに限定されない。   In the following description, the imaging device 1 performs imaging a plurality of times while rotating clockwise around the rotation axis z, and executes imaging of a plurality of section images for connection as panoramic images. And The rotation direction of the photographing apparatus 1 is not limited to the clockwise direction.

図2(a)では、上記撮影部12は撮影装置1の外周部分に設置されているため、撮影装置1が回転する回転軸zから、撮影装置1の略半径の分だけ離れている。   In FIG. 2A, since the photographing unit 12 is installed on the outer peripheral portion of the photographing apparatus 1, the photographing unit 12 is separated from the rotation axis z around which the photographing apparatus 1 rotates by the approximate radius of the photographing apparatus 1.

図2(a)において測距センサ14として以下の2つ示されているが、撮影装置1には、これらのうち少なくともいずれか一方が備わればよい。すなわち、測距センサ14は、測距センサ14aのように、その測定範囲の中心方向が、撮影部12の画角の中心方向と略一致する場所に設置されていてもよい。また、測距センサ14bのように、その測定範囲の中心方向が、撮影部12の画角の中心方向より、連続する2つの区間画像に対応する回転角度の差の半分だけ、右方向の回転における下流側にずれた場所に設置されていてもよい。なお、撮影装置1の回転方向が左回りである場合には、測距センサは、撮影部12の画角の中心方向に対して、測距センサ14bとは反対側、すなわち、測距センサ14bと同じ角度だけ左方向の回転における下流側にずれた場所に設置される。   In FIG. 2A, the following two sensors are shown as the distance measuring sensor 14, but the photographing apparatus 1 may be provided with at least one of them. That is, the distance measuring sensor 14 may be installed in a place where the center direction of the measurement range substantially coincides with the center direction of the angle of view of the photographing unit 12, like the distance measuring sensor 14a. Further, like the distance measuring sensor 14b, the center direction of the measurement range is rotated in the right direction by a half of the difference between the rotation angles corresponding to two consecutive section images from the center direction of the field angle of the photographing unit 12. It may be installed at a location shifted to the downstream side. When the rotation direction of the photographing apparatus 1 is counterclockwise, the distance measuring sensor is opposite to the distance measuring sensor 14b with respect to the center direction of the field angle of the photographing unit 12, that is, the distance measuring sensor 14b. Is installed at a position shifted to the downstream side in the left rotation by the same angle.

図2(b)は、撮影装置1を上方から見たときの平面図であり、撮影部12を黒三角、測距センサ14を白三角で模式的に示している。図2(b)において上方向を測定範囲とする測距センサ14aを、正面測距センサ14aと呼ぶことにする。一方、右方向の回転における下流側にずれた場所の測距センサ14bを、右測距センサ14bと呼ぶことにする。   FIG. 2B is a plan view of the photographing apparatus 1 as viewed from above, and schematically shows the photographing unit 12 with a black triangle and the distance measuring sensor 14 with a white triangle. In FIG. 2B, the distance measuring sensor 14a whose upper direction is the measurement range is referred to as a front distance measuring sensor 14a. On the other hand, the distance measuring sensor 14b at the position shifted to the downstream side in the rotation in the right direction is referred to as the right distance measuring sensor 14b.

なお、撮影装置1をz軸方向から見下ろした場合には、撮影部12と正面測距センサ14aとは重なって見えるが、図2(b)では、説明をわかりやすくするために、撮影部12と正面測距センサ14aを模式的に並べて描いてある。   Note that when the photographing apparatus 1 is looked down from the z-axis direction, the photographing unit 12 and the front distance measuring sensor 14a appear to overlap each other, but in FIG. 2B, the photographing unit 12 is shown for easy understanding. And the front distance measuring sensor 14a are schematically shown side by side.

撮影部12と右測距センサ14bとは、z軸を中心として角度θ°だけ向きが異なる。そのため、撮影装置1が右方向に回転する場合、右測距センサ14bは撮影部12よりも先に回転しており、回転方向の下流側において撮影装置1から周囲の物体までの距離を測定する。   The photographing unit 12 and the right distance measuring sensor 14b are different in direction by an angle θ ° around the z axis. Therefore, when the photographing apparatus 1 rotates in the right direction, the right distance measuring sensor 14b rotates before the photographing unit 12, and measures the distance from the photographing apparatus 1 to surrounding objects on the downstream side in the rotation direction. .

〔実施例1〕
(正面測距センサによる死角領域にある物体の検出)
図3を参照して、撮影装置1が右にP°ずつ回転して周囲の撮影を行う場合に、隣り合う2つの区間画像に撮影される領域の間に生じる死角領域30を説明する。そして、この死角領域30に存在する物体を撮影装置1に備えられた正面測距センサ14aを用いて検出するための方法について説明する。
[Example 1]
(Detection of objects in the blind spot area by the front ranging sensor)
With reference to FIG. 3, the blind spot region 30 generated between the regions captured in the two adjacent section images when the photographing apparatus 1 rotates by P ° to the right and performs surrounding photographing will be described. A method for detecting an object existing in the blind spot area 30 by using the front distance measuring sensor 14a provided in the photographing apparatus 1 will be described.

図3は、撮影装置1を上から見た図であり、1枚目の撮影を行った後に右方向にP°回転して2枚目の撮影を行う場合を例示している。なお、回転が左方向である場合も同様である。また、隣り合う撮影範囲の間にそれぞれ死角領域30が生じるが、図3では1枚目の撮影と2枚目の撮影との間の死角領域30を例にして説明する。   FIG. 3 is a view of the photographing apparatus 1 as viewed from above, and illustrates a case where the first image is taken and then the second image is taken by rotating P ° to the right. The same applies when the rotation is in the left direction. Further, although the blind spot area 30 is generated between the adjacent shooting ranges, FIG. 3 will be described by taking the blind spot area 30 between the first shooting and the second shooting as an example.

図3では、撮影装置1は撮影部12(黒三角)と正面測距センサ14a(白三角)を備えており、撮影装置1が撮影ごとに回転する角度をP°、撮影部12によって撮影できる画角を「撮影範囲」として示している。また、図3では、2枚目の撮影を行った時の撮影部12、および正面測距センサ14aの位置にも、撮影部12と正面測距センサ14aが描かれているが、単に描画上の表現であり、2枚目の撮影に相当する箇所に撮影部12と正面測距センサ14aを備えていることを示すものではない。   In FIG. 3, the photographing device 1 includes a photographing unit 12 (black triangle) and a front distance measuring sensor 14 a (white triangle), and the photographing unit 12 can photograph the angle at which the photographing device 1 rotates for each photographing. The angle of view is shown as “shooting range”. In FIG. 3, the photographing unit 12 and the front ranging sensor 14a are also drawn at the positions of the photographing unit 12 and the front ranging sensor 14a when the second picture is taken. This does not indicate that the photographing unit 12 and the front distance measuring sensor 14a are provided at a position corresponding to the second photographing.

図3に示すように、回転軸から所定距離を半径とする円周上を撮影部12が移動する場合、連続する2つの区間画像には画角内に入らない領域である死角領域30が撮影装置1の近傍に生じる。その結果、撮影部12のP°回転による撮影では、死角領域30内に物体が存在した場合、撮影部12が取得する区間画像内に該物体が写らない可能性がある。   As shown in FIG. 3, when the imaging unit 12 moves on a circumference having a radius of a predetermined distance from the rotation axis, a blind spot area 30 that is an area that does not fall within the angle of view is captured in two consecutive section images. It occurs in the vicinity of the device 1. As a result, in photographing by P ° rotation of the photographing unit 12, when an object exists in the blind spot area 30, there is a possibility that the object is not captured in the section image acquired by the photographing unit 12.

上記死角領域の場所は、撮影装置1が回転する角度P°の半分の角度((P/2)°)、すなわち2つの回転角度の中央の回転角度、に相当する方向に広がっている。この死角領域30に関して、撮影装置1から最も離れた地点までの距離をLmax、連続する2つの区間画像に対応する回転角度の差をP°、区間画像の画角をa°、回転軸からの撮影部12の回転円周までの距離をrとすると、Lmaxは数式(1)で求められる。   The location of the blind spot area spreads in a direction corresponding to an angle ((P / 2) °) that is half of the angle P ° at which the photographing apparatus 1 rotates, that is, the central rotation angle of the two rotation angles. With respect to this blind spot area 30, the distance from the photographing apparatus 1 to the farthest point is Lmax, the difference between the rotation angles corresponding to two consecutive section images is P °, the field angle of the section images is a °, and the angle from the rotation axis. If the distance to the rotation circumference of the imaging unit 12 is r, Lmax is obtained by Expression (1).

Lmax=r{sin(a/2)/sin((a−P)/2)−1} (1)
撮影装置1は、撮影装置1と周囲の物体との距離Lを正面測距センサ14aによって測定しながら回転し、該距離Lが上記の数式(1)で求められるLmax以下である時、当該物体が死角領域30に存在する可能性があると判定する。
Lmax = r {sin (a / 2) / sin ((a−P) / 2) −1} (1)
The photographing apparatus 1 rotates while measuring the distance L between the photographing apparatus 1 and a surrounding object by the front distance measuring sensor 14a, and when the distance L is equal to or less than Lmax determined by the above equation (1), the object Is likely to exist in the blind spot area 30.

(撮影の流れ)
図4は、撮影装置1の備える測距センサ14の測定範囲の中心方向が、図3で示したように、撮影部12の画角の中心方向と略一致して搭載されている(すなわち、正面測距センサ14aを備えている)場合における、撮影装置1の動作の流れの概略を説明するためのフローチャートである。
(Flow of shooting)
4 is mounted so that the center direction of the measurement range of the distance measuring sensor 14 included in the photographing apparatus 1 is substantially coincident with the center direction of the angle of view of the photographing unit 12 as shown in FIG. 6 is a flowchart for explaining an outline of an operation flow of the photographing apparatus 1 in a case where the front ranging sensor 14a is provided).

まず、撮影装置1は、撮影部12を所定の方向(正面)に向け(ステップ101;以下、単にS101と記す)、この最初に向いた方向の撮影を行う(S102)。   First, the photographing apparatus 1 points the photographing unit 12 in a predetermined direction (front) (step 101; hereinafter, simply referred to as S101), and performs photographing in the first facing direction (S102).

撮影部12が撮影した画像は、画像記憶部11に記憶される(S103)。   The image photographed by the photographing unit 12 is stored in the image storage unit 11 (S103).

次に、撮影部制御部13が回転角設定部16に撮影終了を通知すると、回転角設定部16は終了判定部19より判定結果を取得し、それに基づいて回転モータ制御部21へ回転を指示するか、撮影部制御部13へ撮影終了を通知するかを決定する。詳細には、1枚目の撮影を行った直後は、まだ回転動作をしていないため、累積回転角度記憶部18に記憶されている累積回転角度は0°である。そのため、終了判定部19は、累積回転角度が360°以上でないため、撮影を継続することに決定する(S104でNO)。その結果、回転角設定部16は終了判定部19より判定結果を取得し、それに基づいて回転モータ制御部21へ回転を指示する。   Next, when the photographing unit control unit 13 notifies the rotation angle setting unit 16 of the end of photographing, the rotation angle setting unit 16 obtains the determination result from the end determination unit 19 and instructs the rotation motor control unit 21 to rotate based on the determination result. Or whether to notify the photographing unit control unit 13 of the end of photographing. Specifically, immediately after the first image is taken, since the rotation operation has not yet been performed, the accumulated rotation angle stored in the accumulated rotation angle storage unit 18 is 0 °. Therefore, the end determination unit 19 determines to continue shooting because the cumulative rotation angle is not 360 ° or more (NO in S104). As a result, the rotation angle setting unit 16 acquires the determination result from the end determination unit 19 and instructs the rotation motor control unit 21 to rotate based on the determination result.

そして、回転モータ制御部21は、回転角設定部16から取得した回転指示角(P°)に基づいて回転モータ20の動作を制御して、撮影装置1を回転させる。このとき、回転モータ20によって回転指示角に到達するまで回転している間、正面測距センサ14aは周囲の物体までの距離を測定する(S105)。   Then, the rotation motor control unit 21 controls the operation of the rotation motor 20 based on the rotation instruction angle (P °) acquired from the rotation angle setting unit 16 to rotate the photographing apparatus 1. At this time, the front distance measuring sensor 14a measures the distance to surrounding objects while rotating until the rotation instruction angle is reached by the rotary motor 20 (S105).

次に、正面測距センサ14aが測定した距離は、距離判定部15において所定の距離Lmaxと比較され、距離判定部15においてLmax以下の距離であると判定される物体を検出すると(S106、またはS107においてYES)、回転角設定部16は回転指示角を当初の半分の回転指示角(P/2)°に設定して、回転モータ制御部21に再度通知する。これにより、物体が検出された場合、回転モータ20は、(P/2)°回転したところで停止する(S109;回転角設定ステップ)。   Next, the distance measured by the front distance measuring sensor 14a is compared with a predetermined distance Lmax in the distance determination unit 15, and when an object determined to be a distance equal to or less than Lmax in the distance determination unit 15 is detected (S106, or In S107, the rotation angle setting unit 16 sets the rotation instruction angle to the half rotation instruction angle (P / 2) ° of the initial half, and notifies the rotation motor control unit 21 again. Thereby, when an object is detected, the rotary motor 20 stops when it has rotated (P / 2) ° (S109; rotation angle setting step).

詳細には、上記物体の検出が(P/2)°まで回転していないときであれば(S106でYES)、回転モータ20は、指示された回転指示角(P/2)°に相当する回転角度まで回転したところで停止することになる(S109)。一方、上記物体の検出がすでに(P/2)°を超えて回転しているときであれば(S107でYES)、回転モータ20は、指示された回転指示角(P/2)°に相当する回転角度まで逆に回転することで戻り、(P/2)°回転したところで停止することになる(S109)。   Specifically, if the detection of the object is not rotating to (P / 2) ° (YES in S106), the rotary motor 20 corresponds to the instructed rotation instruction angle (P / 2) °. When the rotation angle is reached, the operation stops (S109). On the other hand, if the detection of the object has already rotated beyond (P / 2) ° (YES in S107), the rotary motor 20 corresponds to the instructed rotation instruction angle (P / 2) °. When the rotation angle is reversed, the rotation is reversed and the rotation is stopped by (P / 2) ° (S109).

これに対して、回転指示角P°への回転中に、上記物体が検出されなかった場合(S106、S107でいずれもNO)、回転角設定部16は当初の回転指示角P°に従い、P°回転したところで停止する(S108;回転角設定ステップ)。   On the other hand, when the object is not detected during the rotation to the rotation instruction angle P ° (both NO in S106 and S107), the rotation angle setting unit 16 follows the initial rotation instruction angle P °, and P Stops when the rotation has been made (S108; rotation angle setting step).

つづいて、回転モータ制御部21は、回転モータ20が回転指示角の回転を終えて停止すると、回転の終了を回転角設定部16に通知する。そして、回転の終了の通知を取得した回転角設定部16は、撮影部制御部13に対して、撮影指示を送りだし、撮影が行われる(S102)。   Subsequently, when the rotation motor 20 finishes rotating at the rotation instruction angle and stops, the rotation motor control unit 21 notifies the rotation angle setting unit 16 of the end of rotation. Then, the rotation angle setting unit 16 that has received the notification of the end of rotation sends out a shooting instruction to the shooting unit control unit 13, and shooting is performed (S102).

また、回転の終了の通知を取得した回転設定部16は、累積角度演算部17に回転した回転角(P°もしくは(P/2°))を送る。累積角度演算部17は取得した回転角を累積角度に足し合わせて、最初に向いた方向からの累積の回転角度を算出し、算出結果を累積角度記憶部18に格納する。   The rotation setting unit 16 that has received the notification of the end of rotation sends the rotated rotation angle (P ° or (P / 2 °)) to the cumulative angle calculation unit 17. The accumulated angle calculation unit 17 adds the acquired rotation angle to the accumulated angle, calculates the accumulated rotation angle from the first direction, and stores the calculation result in the accumulated angle storage unit 18.

そして、上記のステップを繰り返し、終了判定部19が取得した累積回転角度記憶部18に記憶されている累積回転角度が360°以上となったとき(S104でYES)、終了判定部19は回転角設定部16に撮影終了の判定を通知する。   Then, the above steps are repeated, and when the cumulative rotation angle stored in the cumulative rotation angle storage unit 18 acquired by the end determination unit 19 becomes 360 ° or more (YES in S104), the end determination unit 19 sets the rotation angle. The setting unit 16 is notified of the end of shooting.

上記のように、撮影装置1は、正面測距センサ14aにより、所定の距離よりも近い場所に存在する物体を検出しながら回転し、近傍に物体を検出した場合には、次の区間画像に対応する回転角度までの回転指示角をP°から(P/2)°に変更する。これにより、回転軸z上に無い撮影部12が回転することで生じる死角領域30に入ってしまう可能性のある物体を検出し、該物体が撮影されるように撮影装置1の回転角度を制御しながら撮影することで、撮影漏れのないパノラマ画像を生成するための複数の区間画像を取得することが可能となる。   As described above, the imaging device 1 rotates while detecting an object existing near a predetermined distance by the front distance measuring sensor 14a, and when an object is detected in the vicinity, the next section image is displayed. The rotation instruction angle up to the corresponding rotation angle is changed from P ° to (P / 2) °. As a result, an object that may enter the blind spot region 30 generated by the rotation of the imaging unit 12 that is not on the rotation axis z is detected, and the rotation angle of the imaging apparatus 1 is controlled so that the object is imaged. By shooting while taking, it is possible to obtain a plurality of section images for generating a panoramic image without omission.

(パノラマ画像の生成)
撮影装置1が撮影した複数の区間画像からパノラマ画像を生成する方法について、適宜図4を参照しながら、図5−7を用いて説明する。
(Panorama image generation)
A method for generating a panoramic image from a plurality of section images taken by the photographing apparatus 1 will be described with reference to FIGS.

ここでは、さまざまな設定を導入して説明を行うが、これらは単に撮影装置1を用いたパノラマ画像の生成方法を簡略に説明するための設定に過ぎず、これらの設定に限定されることはない。   Here, various settings are introduced and described. However, these are merely settings for simply explaining a panoramic image generation method using the photographing apparatus 1, and are not limited to these settings. Absent.

図5はある空間100内に、撮影装置1が1台存在する場合を上方から見下ろした様子を例示した模式図であり、撮影装置1は1つの撮影部12と、1つの正面測距センサ14aを有しており、現在(P1)の方向を向いた姿勢である。   FIG. 5 is a schematic view exemplifying a state in which a single imaging device 1 is present in a certain space 100. The imaging device 1 includes one imaging unit 12 and one front distance sensor 14a. It is the posture which turned to the present (P1) direction.

図5の(P1)の方向にはテレビ50があると仮定し、方向(P1)から方向(P8)の各方向の画像を区別して説明するために、ここでは便宜的にそれぞれ別の機器あるいはシンボルを配している。   Assuming that there is a television 50 in the direction of (P1) in FIG. 5 and distinguishing the images in each direction from the direction (P1) to the direction (P8), here, for convenience, different devices or The symbol is arranged.

この撮影装置1は、例えば、撮影部12の画角が55°である。なお、この仮定は以後の説明のために選択されたにすぎず、撮影装置1の撮影部12の画角を特に限定するものではない。   In the photographing apparatus 1, for example, the angle of view of the photographing unit 12 is 55 °. This assumption is only selected for the following explanation, and does not particularly limit the angle of view of the photographing unit 12 of the photographing apparatus 1.

撮影装置1は、水平方向1周を8等分するように1つの回転軸を中心として、45°ずつ回転することにより、それぞれの向きにおいて撮影を実行するものとする。その結果、8回の撮影と回転とをそれぞれ繰り返して8枚の画像を取得する(図4のS102)。撮影した8枚の区間画像は画像記憶部11に記憶される(図4のS103)。   The photographing apparatus 1 performs photographing in each direction by rotating 45 degrees around one rotation axis so as to divide one round in the horizontal direction into eight equal parts. As a result, eight images are acquired by repeating eight times of shooting and rotation (S102 in FIG. 4). The captured eight section images are stored in the image storage unit 11 (S103 in FIG. 4).

この場合、図3で説明したように、例えば(P1)と(P2)という2つの撮影方向の間に、図5のように死角領域30が生じることになる。ここでは、鉢植え40がこの死角領域30に存在する場合を想定して、撮影装置1の動作を説明する。   In this case, as described with reference to FIG. 3, for example, a blind spot area 30 is generated between two imaging directions (P1) and (P2) as shown in FIG. Here, the operation of the imaging apparatus 1 will be described assuming that the potted plant 40 exists in the blind spot area 30.

図6には、区間画像P1から順に45°ずつ回転して撮影された8枚の画像が示されており、それぞれ、区間画像P1にはテレビ50、区間画像P2には丸、区間画像P3には三角、区間画像P4には六角形、区間画像P5にはエアコン60と充電器70、区間画像P6には十字、区間画像P7には五角形、区間画像P8には空気清浄器80、という目印が各画像に映り込んでいる様子を示している。ここで、図5で示した鉢植え40は、死角領域30の中にあるため、45°ずつ回転して撮影された8枚の画像には写らない。   FIG. 6 shows eight images taken by rotating 45 ° sequentially from the section image P1. The section image P1 is a television 50, the section image P2 is a circle, and the section image P3 is a section image P3. Is a triangle, the section image P4 is a hexagon, the section image P5 is an air conditioner 60 and a charger 70, the section image P6 is a cross, the section image P7 is a pentagon, and the section image P8 is an air cleaner 80. It shows how it is reflected in each image. Here, since the potted plant 40 shown in FIG. 5 is in the blind spot area 30, it is not shown in the eight images taken by rotating by 45 °.

しかし、撮影装置1は、例えば正面測距センサ14aおよび距離判定部15(物体検出部)を備えている。(P1)から(P2)に回転しながら正面測距センサ14aが測距を行い(図4のS105)、距離判定部16は、撮影装置1の近傍にあり、死角領域30の中に含まれる可能性がある鉢植え40が、前出の所定の距離よりも撮影装置1に近いことを判定することで鉢植え40を検出する(図4のS106、またはS107でYES)。   However, the imaging device 1 includes, for example, a front distance sensor 14a and a distance determination unit 15 (object detection unit). The front distance measuring sensor 14a performs distance measurement while rotating from (P1) to (P2) (S105 in FIG. 4), and the distance determination unit 16 is in the vicinity of the photographing apparatus 1 and is included in the blind spot area 30. The potted plant 40 is detected by determining that the potential potted plant 40 is closer to the photographing apparatus 1 than the above-mentioned predetermined distance (YES in S106 or S107 in FIG. 4).

鉢植え40が検出された場合、回転角設定部16は(P1)と(P2)との角度差の半分の角度に回転指示角を設定する。回転モータ制御部21が回転角度設定部16が設定した回転指示角に従い回転モータ20を制御して回転させ(図4のS108、またはS109)、撮影部12が(P1)と(P2)の真ん中の回転角度において区間画像P1.5を撮影する(図4のS102)。このようにして、区間画像P1.5において鉢植え40が撮影される。   When the potted plant 40 is detected, the rotation angle setting unit 16 sets the rotation instruction angle to an angle that is half the angle difference between (P1) and (P2). The rotation motor control unit 21 controls and rotates the rotation motor 20 according to the rotation instruction angle set by the rotation angle setting unit 16 (S108 or S109 in FIG. 4), and the photographing unit 12 is in the middle of (P1) and (P2). The section image P1.5 is photographed at the rotation angle of (S102 in FIG. 4). In this way, the potted plant 40 is photographed in the section image P1.5.

図7では、区間画像P1−P8、および区間画像P1.5を用いて生成されるパノラマ画像について説明する。   In FIG. 7, a panoramic image generated using the section images P1 to P8 and the section image P1.5 will be described.

撮影部12の画角が1回の撮影ごとに回転する角度よりも広い場合、各区間画像の回転方向の両端(左右両端)には重複する領域が存在することになる。従って、パノラマ画像を生成する際には、この重複部分をトリミングしてから繋ぎ合わせることが望ましい。   When the angle of view of the imaging unit 12 is wider than the rotation angle for each shooting, overlapping regions exist at both ends (left and right ends) in the rotation direction of each section image. Therefore, when generating a panoramic image, it is desirable to trim the overlapping portions and connect them.

一般に、画角α°のカメラを用いて、一周(360°)を均等にn枚の画像(幅wピクセル)に分けて撮影した場合、左右それぞれの重なり部分に相当する角度X°は以下の数式(2)で求められる。   In general, when using a camera with an angle of view α ° to shoot a circle (360 °) equally divided into n images (width w pixels), the angle X ° corresponding to the left and right overlapping portions is as follows: It is obtained by the mathematical formula (2).

X=(α−360/n)/2 (2)
従って、トリミング量xは、x=w×X/αにより求められる。
X = (α-360 / n) / 2 (2)
Therefore, the trimming amount x is obtained by x = w × X / α.

図7の8枚の画像は撮影装置1の画角55°の撮影部12を用いて撮影されているため、45°ずつ回転して撮影された各区間画像P1−P8の左右両端にはそれぞれ、隣り合う画像と画角5°に相当する分の重複した画像領域がある。正しいパノラマ画像を生成するためには、図7に示すように、区間画像P1から区間画像P8のすべての左右両端に、上記の重複した画像領域があり、この部分をトリミングすることが必要となる。   Since the eight images in FIG. 7 are taken using the photographing unit 12 having the angle of view of 55 ° of the photographing apparatus 1, the eight images are rotated by 45 ° at the left and right ends, respectively. There are overlapping image areas corresponding to adjacent images and an angle of view of 5 °. In order to generate a correct panoramic image, as shown in FIG. 7, the above-described overlapping image areas are present at both the left and right ends of the section image P1 to the section image P8, and it is necessary to trim this part. .

また、回転角度の差を45°ではなく22.5°にして撮影された区間画像P1、P1.5、およびP2では、左右それぞれの重なり部分に相当する角度X°が大きくなるが、下記に説明するトリミング処理によって容易に対処することが可能である。   Further, in the section images P1, P1.5, and P2 that are photographed with the difference in rotation angle being 22.5 ° instead of 45 °, the angle X ° corresponding to the left and right overlapping portions is large. It is possible to easily cope with the trimming process described.

図7に示すように、撮影装置1が撮影した区間画像を順に繋ぎ合わせてパノラマ画像を生成する場合には、各区間画像の左右両端の重複した画像領域を上記のように算出した分だけトリミング(図中破線)した後に、これらの画像を繋ぎ合わせて、重複のないパノラマ画像を生成することになる。   As shown in FIG. 7, when the panoramic image is generated by sequentially connecting the section images captured by the photographing apparatus 1, the overlapping image areas at the left and right ends of each section image are trimmed by the amount calculated as described above. (After the broken line in the figure), these images are connected to generate a panoramic image without overlap.

図7の中では、区間画像P1-P8に対して、左右のトリミングを行って得られる画像を、区間画像P1t‐P8tと呼び、これらを繋ぎ合わせて生成されるパノラマ画像を最下部に示している。このようにして、死角領域30に存在していた鉢植え40を含むパノラマ画像が生成できる。   In FIG. 7, images obtained by performing left and right trimming on the section images P1 to P8 are referred to as section images P1t to P8t, and a panorama image generated by connecting them is shown at the bottom. Yes. In this manner, a panoramic image including the potted plant 40 existing in the blind spot area 30 can be generated.

〔実施例2〕
(右測距センサによる死角領域にある物体の検出)
図8では、撮影装置1が右にP°ずつ回転して周囲の撮影を行う場合、隣り合う2つの区間画像に撮影される領域の間に生じる死角領域30を説明する。そして、この死角領域30に存在する物体を右測距センサ14bを用いて検出するための方法について説明する。
[Example 2]
(Detection of objects in the blind spot area by the right distance sensor)
FIG. 8 illustrates a blind spot region 30 that is generated between regions photographed in two adjacent section images when the photographing apparatus 1 rotates around P ° to the right and performs surrounding photographing. And the method for detecting the object which exists in this blind spot area | region 30 using the right ranging sensor 14b is demonstrated.

図8は、撮影装置1を上から見た図であり、1枚目の撮影を行った後に右方向にP°回転して2枚目の撮影を行う場合を例示している。なお、回転は左方向でもよく、撮影装置1の回転が右方向に限定されることを意味していない。また、隣り合う撮影範囲の間にそれぞれ死角領域30が生じるが、図3では1枚目の撮影と2枚目の撮影との間の死角領域30を例にして説明する。   FIG. 8 is a view of the photographing apparatus 1 as viewed from above, and illustrates a case where the second image is taken after the first image is taken and rotated P ° to the right. The rotation may be in the left direction, and does not mean that the rotation of the photographing apparatus 1 is limited to the right direction. Further, although the blind spot area 30 is generated between the adjacent shooting ranges, FIG. 3 will be described by taking the blind spot area 30 between the first shooting and the second shooting as an example.

図8では、撮影装置1は撮影部12(黒三角)と右測距センサ14b(白三角)を備えており、撮影装置1が撮影ごとに回転する角度をP°、撮影部12によって撮影できる画角を「撮影範囲」として示している。なお、図8では、2枚目の撮影を行った時の撮影部12の位置にも、撮影部12が描かれているが、単に描画上の表現であり、2枚目の撮影に相当する箇所に撮影部12を備えていることを示すものではない。   In FIG. 8, the photographing apparatus 1 includes a photographing unit 12 (black triangle) and a right distance measuring sensor 14 b (white triangle), and the photographing unit 12 can photograph the angle at which the photographing apparatus 1 rotates for each photographing. The angle of view is shown as “shooting range”. In FIG. 8, the photographing unit 12 is also drawn at the position of the photographing unit 12 when the second photographing is performed. However, this is merely a representation on drawing and corresponds to the second photographing. It does not indicate that the photographing unit 12 is provided at the location.

右測距センサ14bは、測定範囲の中心方向が、撮影部12の画角の中心方向より、連続する2つの区間画像に対応する回転角度の差の半分だけ、回転の下流側となるように搭載されている。つまり、右測距センサ14bは、1枚目の撮影から2枚目の撮影までの回転角度P°の半分の角度である(P/2)°の方向に測定範囲を持つ。   The right distance measuring sensor 14b is arranged such that the center direction of the measurement range is downstream of the rotation by a half of the rotation angle difference corresponding to two consecutive section images from the center direction of the field angle of the photographing unit 12. It is installed. That is, the right distance measuring sensor 14b has a measurement range in the direction of (P / 2) °, which is a half angle of the rotation angle P ° from the first image pickup to the second image pickup.

図8に示すように、1つの回転軸を中心として回転することにより、回転軸から所定距離を半径とする円周上を撮影部12が移動する場合、連続する2つの区間画像には画角内に入らない領域である死角領域30が撮影装置1の近傍に生じる。すなわち、撮影部12のP°回転による撮影では、死角領域30内に物体が存在した場合、撮影部12が取得する区間画像内に該物体が写らない可能性がある。   As shown in FIG. 8, when the imaging unit 12 moves on a circle having a radius of a predetermined distance from the rotation axis by rotating about one rotation axis, the angle of view is displayed on two consecutive section images. A blind spot area 30, which is an area that does not enter, is generated in the vicinity of the imaging apparatus 1. That is, in photographing by P ° rotation of the photographing unit 12, when an object exists in the blind spot area 30, the object may not be reflected in the section image acquired by the photographing unit 12.

上記死角領域30の場所は、撮影装置1が一回に回転する角度P°の半分の角度((P/2)°)に相当する方向に広がっている。この死角領域30の広がりに関して、撮影装置1から最も離れた地点までの距離をLmax、連続する2つの区間画像に対応する回転角度の差P°、区間画像の画角をa°、回転軸からの撮影部12の回転円周までの距離をrとすると、Lmaxは上述の数式(1)で求められる。   The location of the blind spot area 30 extends in a direction corresponding to an angle ((P / 2) °) that is half of the angle P ° at which the photographing apparatus 1 rotates at one time. Regarding the spread of the blind spot area 30, the distance from the photographing device 1 to the farthest point is Lmax, the rotation angle difference P ° corresponding to two consecutive section images, the field angle of the section images is a °, and from the rotation axis. When the distance to the rotation circumference of the imaging unit 12 is r, Lmax is obtained by the above-described equation (1).

右測距センサ14bは、図3における正面測距センサ14aとは異なり、1枚目の撮影の時点で、撮影している撮影領域の右に隣接する死角領域30の広がりとほぼ一致する方向にその測定範囲が向いている。よって、撮影中あるいは撮影後に回転を開始するまでに、右測距センサ14bによって周囲の物体との距離Lを測定し、該距離Lが上記の数式(1)で求められるLmax以下である時、当該物体が死角領域30に存在する可能性があると判定する。その結果、撮影後に回転を開始する時、回転角設定部16は、回転指示角をP°とするのか、(P/2)°とするのかを確定した状態で回転指示を通知することができる。   The right distance measuring sensor 14b differs from the front distance measuring sensor 14a in FIG. 3 in a direction that substantially coincides with the spread of the blind spot area 30 adjacent to the right of the imaging area being imaged at the time of the first imaging. The measurement range is suitable. Therefore, when the distance L with the surrounding object is measured by the right distance measuring sensor 14b during the photographing or before the rotation is started after the photographing, and the distance L is equal to or less than Lmax obtained by the above formula (1), It is determined that there is a possibility that the object exists in the blind spot area 30. As a result, when rotation is started after shooting, the rotation angle setting unit 16 can notify the rotation instruction in a state where the rotation instruction angle is determined to be P ° or (P / 2) °. .

(撮影の流れ)
図9は、撮影装置1の備える測距センサ14の測定範囲の中心方向が、図8で示したように、撮影部12の画角の中心方向より、連続する2つの区間画像に対応する回転角度の差の半分だけ、回転の下流側となるように搭載されている(すなわち、右測距センサ14bを備えている)場合における、撮影装置1の動作の流れの概略を説明するためのフローチャートである。
(Flow of shooting)
9 shows that the center direction of the measurement range of the distance measuring sensor 14 included in the photographing apparatus 1 is rotated corresponding to two consecutive section images from the center direction of the field angle of the photographing unit 12, as shown in FIG. Flowchart for explaining an outline of the flow of operation of the photographing apparatus 1 when mounted so as to be downstream of the rotation by the half of the angle difference (that is, provided with the right distance measuring sensor 14b). It is.

まず、撮影装置1は、撮影部12を所定の方向(正面)に向け(S201)、この最初に向いた方向の撮影を行う(S202)。   First, the photographing apparatus 1 points the photographing unit 12 in a predetermined direction (front) (S201), and performs photographing in the first facing direction (S202).

撮影部12が撮影した画像は、画像記憶部11に記憶される(S203)。   The image photographed by the photographing unit 12 is stored in the image storage unit 11 (S203).

このとき、右測距センサ14bは周囲の物体までの距離を測定する(S203a)。   At this time, the right distance measuring sensor 14b measures the distance to the surrounding object (S203a).

次に、撮影部制御部13が回転角設定部16に撮影終了を通知すると、回転角設定部16は終了判定部19より判定結果を取得し、それに基づいて回転モータ制御部21へ回転を指示するか、撮影部制御部13へ撮影終了を通知するかを決定する。詳細には、1枚目の撮影を行った直後は、まだ回転動作をしていないため、累積回転角度記憶部18に記憶されている累積回転角度は0°である。そのため、終了判定部19は、累積回転角度が360°以上でないため、撮影を継続することに決定する(S204でNO)。その結果、回転角設定部16は終了判定部19より判定結果を取得し、それに基づいて回転モータ制御部21へ回転を指示する。   Next, when the photographing unit control unit 13 notifies the rotation angle setting unit 16 of the end of photographing, the rotation angle setting unit 16 obtains the determination result from the end determination unit 19 and instructs the rotation motor control unit 21 to rotate based on the determination result. Or whether to notify the photographing unit control unit 13 of the end of photographing. Specifically, immediately after the first image is taken, since the rotation operation has not yet been performed, the accumulated rotation angle stored in the accumulated rotation angle storage unit 18 is 0 °. Therefore, the end determination unit 19 decides to continue shooting because the cumulative rotation angle is not 360 ° or more (NO in S204). As a result, the rotation angle setting unit 16 acquires the determination result from the end determination unit 19 and instructs the rotation motor control unit 21 to rotate based on the determination result.

そして、回転モータ制御部21は、回転角設定部16から取得した回転指示角(P°もしくは(P/2°))に基づいて回転モータ20の動作を制御して撮影装置1が回転を開始する(S205)。ここで、回転角設定部16が指示する回転指示角は、回転開始時にまでに右測距センサ14bが行った測距(S203a)の結果に基づいて決定される。具体的には、右測距センサ14bが測定した距離は、距離判定部15において所定の距離Lmaxと比較され、距離判定部15においてLmax以下の距離であると判定される物体を検出すると(S206においてYES)、回転角設定部16は回転指示角を当初の半分の回転指示角(P/2)°に設定を変更して、回転モータ制御部21に通知する。これにより、物体が検出された場合、回転モータ20は、(P/2)°回転したところで停止する(S208;回転角設定ステップ)。   Then, the rotation motor control unit 21 controls the operation of the rotation motor 20 based on the rotation instruction angle (P ° or (P / 2 °)) acquired from the rotation angle setting unit 16, and the photographing apparatus 1 starts to rotate. (S205). Here, the rotation instruction angle instructed by the rotation angle setting unit 16 is determined based on the result of distance measurement (S203a) performed by the right distance measurement sensor 14b until the start of rotation. Specifically, the distance measured by the right distance measuring sensor 14b is compared with a predetermined distance Lmax by the distance determination unit 15, and an object determined to be a distance equal to or less than Lmax by the distance determination unit 15 is detected (S206). YES), the rotation angle setting unit 16 changes the setting of the rotation instruction angle to the rotation instruction angle (P / 2) ° which is half of the initial value, and notifies the rotation motor control unit 21 of the change. Thus, when an object is detected, the rotary motor 20 stops when it has rotated (P / 2) ° (S208; rotation angle setting step).

これに対して、上記物体が検出されなかった場合(S206においてNO)、回転角設定部16は当初の回転指示角P°のままの設定で、回転モータ制御部21に通知する。これにより、回転モータ20は、P°回転したところで停止する(S20;回転角設定ステップ7)。   On the other hand, when the object is not detected (NO in S206), the rotation angle setting unit 16 notifies the rotation motor control unit 21 with the initial setting of the rotation instruction angle P °. Thereby, the rotary motor 20 stops when it has rotated P ° (S20; rotation angle setting step 7).

つづいて、回転モータ制御部21は、回転モータ20が回転指示角の回転を終えて停止すると、回転の終了を回転角設定部16に通知する。そして、回転の終了の通知を取得した回転角設定部16は、撮影部制御部13に対して、撮影指示を送りだし、これにより撮影が行われる(S202)。   Subsequently, when the rotation motor 20 finishes rotating at the rotation instruction angle and stops, the rotation motor control unit 21 notifies the rotation angle setting unit 16 of the end of rotation. Then, the rotation angle setting unit 16 that has received the notification of the end of rotation sends out a photographing instruction to the photographing unit control unit 13, and photographing is thereby performed (S202).

また、回転の終了の通知を取得した回転設定部16は、累積角度演算部17に回転した回転角(P°もしくは(P/2)°)を送る。累積角度演算部17は取得した回転角を累積角度に足し合わせて、最初に向いた方向からの累積の回転角度を算出し、算出結果を累積角度記憶部18に格納する。   The rotation setting unit 16 that has received the notification of the end of rotation sends the rotated rotation angle (P ° or (P / 2) °) to the cumulative angle calculation unit 17. The accumulated angle calculation unit 17 adds the acquired rotation angle to the accumulated angle, calculates the accumulated rotation angle from the first direction, and stores the calculation result in the accumulated angle storage unit 18.

そして、上記のステップを繰り返し、終了判定部19が取得した累積回転角度記憶部18に記憶されている累積回転角度が360°以上となったとき(S204でYES)、終了判定部19は回転角設定部16に撮影終了の判定を通知する。   Then, the above steps are repeated, and when the cumulative rotation angle stored in the cumulative rotation angle storage unit 18 acquired by the end determination unit 19 becomes 360 ° or more (YES in S204), the end determination unit 19 sets the rotation angle. The setting unit 16 is notified of the end of shooting.

上記のように、撮影装置1は、右測距センサ14bにより、回転を開始する前に、所定の距離よりも近い場所に存在する物体を検出し、近傍に物体を検出した場合には、次の区間画像に対応する回転角度までの回転指示角をP°から(P/2)°に変更する。これにより、回転軸z上に無い撮影部12が回転することで生じる死角領域30に入ってしまう可能性のある物体を検出し、該物体が撮影されるように撮影装置1の回転角度を制御しながら撮影することで、撮影漏れのないパノラマ画像を生成するための複数の区間画像を取得することが可能となる。   As described above, when the imaging device 1 detects an object existing near a predetermined distance before the rotation is started by the right distance measuring sensor 14b and detects an object in the vicinity, The rotation instruction angle up to the rotation angle corresponding to the section image is changed from P ° to (P / 2) °. As a result, an object that may enter the blind spot region 30 generated by the rotation of the imaging unit 12 that is not on the rotation axis z is detected, and the rotation angle of the imaging apparatus 1 is controlled so that the object is imaged. By shooting while taking, it is possible to obtain a plurality of section images for generating a panoramic image without omission.

(区間画像のトリミング)
図3−図9において説明したように、撮影装置1は、一つの回転軸周りに回転しながら、パノラマ画像として連結するための複数の区間画像を撮像する。図7ですでに簡単に記載したが、隣り合う区間画像には重複した領域が含まれているため、そのまま繋ぎ合わせても良質なパノラマ画像を生成することはできない。そのため、この重複部分をトリミングすることで良質なパノラマ画像を生成することができる。
(Trimming of section image)
As described with reference to FIGS. 3 to 9, the imaging device 1 captures a plurality of section images to be connected as a panoramic image while rotating around one rotation axis. Although already described briefly in FIG. 7, since adjacent regions include overlapping regions, a high-quality panoramic image cannot be generated even if they are connected as they are. Therefore, a high-quality panoramic image can be generated by trimming the overlapping portion.

以下では、図10−図12を用いて、各区間画像に施されるトリミング方法について説明する。   Hereinafter, a trimming method applied to each section image will be described with reference to FIGS.

図10において、区間画像P3を例にしてトリミングの方法の1例を示す。画角55°に対応する左右の幅が、例えば640画素(ピクセル)とした場合、隣り合う区間画像と左右それぞれ約58.2ピクセルだけ重複した画像領域があることになる。この重複についてトリミングを行った後でつなぎ合わせることで、パノラマ画像を生成することができる。   In FIG. 10, an example of the trimming method is shown taking the section image P3 as an example. When the left and right widths corresponding to the angle of view of 55 ° are 640 pixels (pixels), for example, there are image regions that overlap with the adjacent section images by about 58.2 pixels on the left and right. A panorama image can be generated by trimming the overlaps and then joining them together.

また、撮影部12が床面に近い位置に搭載されている場合(低い位置にカメラが設置されている場合)には、例えば、図11に示すように、撮影した複数の区間画像には床と壁との境界90が共通して含まれることになる。   Further, when the photographing unit 12 is mounted at a position close to the floor (when a camera is installed at a low position), for example, as shown in FIG. The boundary 90 between the wall and the wall is included in common.

これらの区間画像を単に繋ぎ合わせると、床と壁との境界90に著しい段差が生じ、これによりパノラマ画像の連続性が大きく損なわれてしまう。そこで、床と壁との境界90を基準として用い、この境界の位置を揃えるように区間画像を繋ぎ合わせることで、図11に示すように、生成するパノラマ画像における連続性を確保することができる。   If these section images are simply joined together, a significant step is generated at the boundary 90 between the floor and the wall, which greatly impairs the continuity of the panoramic image. Therefore, by using the boundary 90 between the floor and the wall as a reference and connecting the section images so that the positions of the boundaries are aligned, continuity in the generated panoramic image can be ensured as shown in FIG. .

撮影装置1が回転して連続的に撮影した複数の区間画像の中に、日が差した窓などがあると極端な逆光による露光オーバーで白く抜けた画像になることがある。あるいは、撮影部12のごく近傍に障害物などが存在することで一面に暗くぼやけた画像になることもある。このような区間画像は、パノラマ画像の生成に使用できない区間画像として扱ってもよい。そして、このような区間画像は、例えば、平均露光レベルを隣り合う区間画像と比較して、その差が所定の値よりも大きいか否かなどの判定により検出することができる。   If there is a window with different dates among the plurality of section images continuously photographed by the rotation of the photographing apparatus 1, an image may be whitened due to overexposure due to extreme backlighting. Alternatively, there may be an image that is dark and blurred due to the presence of an obstacle in the immediate vicinity of the photographing unit 12. Such a section image may be handled as a section image that cannot be used to generate a panoramic image. Such a section image can be detected by, for example, comparing the average exposure level with adjacent section images and determining whether the difference is larger than a predetermined value.

上記のようなパノラマ画像生成に使用できない区間画像が含まれる場合、可能な限り広い角度領域のパノラマ画像を生成するために、パノラマ画像生成に使用できない区間画像と隣り合う区間画像の、該パノラマ画像生成に使用できない区間画像の側におけるトリミングを行わないでパノラマ画像生成を行ってもよい。   When a section image that cannot be used for panorama image generation is included, the panorama image of the section image adjacent to the section image that cannot be used for panorama image generation in order to generate a panorama image with a widest possible angle region. Panorama image generation may be performed without performing trimming on the side of the section image that cannot be used for generation.

すなわち、ある区間画像の両隣の区間画像がともにパノラマ画像の生成に使用できない場合、その区間画像の両端のトリミングは行わずにパノラマ画像の生成を行う。また、ある区間画像に隣接するいずれか一方の区間画像がパノラマ画像生成に使用できない場合には、その区間画像のトリミングは、使用できない区間画像の側では行なわずにパノラマ画像の生成を行う。   In other words, when both adjacent section images of a section image cannot be used for generating a panorama image, a panorama image is generated without trimming both ends of the section image. If any one of the section images adjacent to a section image cannot be used for panorama image generation, the section image is not trimmed on the unusable section image side, and a panorama image is generated.

このことを、図12を用いて以下に説明する。   This will be described below with reference to FIG.

例えば、区間画像P5がパノラマ画像に使用できない画像であった場合、区間画像P4と区間画像P6の、それぞれ区間画像P5の側の端部を通常通りにトリミングを行い、区間画像P4tと区間画像P6tとを生成してから繋ぎ合わせると、図12においてAの幅で示す幅がパノラマ画像の欠落になってしまう。しかし、区間画像P4と区間画像P6の、それぞれ区間画像P5の側の端部がトリミングされていない、区間画像P4sと区間画像P6sを用いてパノラマ画像を生成すれば、図12のようにAの幅よりも狭いBの幅の欠落に抑えることが可能である。   For example, if the section image P5 is an image that cannot be used as a panoramic image, the section image P4 and the section image P6 are trimmed in the usual manner on the end portions on the section image P5 side, respectively, and the section image P4t and the section image P6t are trimmed. Are generated and joined together, the width indicated by the width A in FIG. However, if a panoramic image is generated using the section image P4s and the section image P6s in which the end portions on the section image P5 side of the section image P4 and the section image P6 are not trimmed, respectively, as shown in FIG. It is possible to suppress the loss of the B width narrower than the width.

上記のように、撮影装置1によって撮影された区間画像を用いて生成されるパノラマ画像においては、できるだけ欠落した領域が狭くなるような生成法を適用することが望ましい。   As described above, in the panoramic image generated using the section image captured by the imaging device 1, it is desirable to apply a generation method that makes the missing region as narrow as possible.

(付記事項)
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
(Additional notes)
The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.

最後に、撮影装置1の各ブロック、特に距離判定部15、回転角設定部16、累積角度記憶部18、終了判定部19は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。   Finally, each block of the photographing apparatus 1, in particular, the distance determination unit 15, the rotation angle setting unit 16, the cumulative angle storage unit 18, and the end determination unit 19 is implemented by hardware using a logic circuit formed on an integrated circuit (IC chip). Alternatively, it may be realized by software, or may be realized by software using a CPU (Central Processing Unit).

後者の場合、撮影装置1は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである撮影装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記撮影装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。   In the latter case, the photographing apparatus 1 includes a CPU that executes instructions of a program that realizes each function, a ROM (Read Only Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and various types of programs. A storage device (recording medium) such as a memory for storing data is provided. An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program of the photographing apparatus 1 which is software for realizing the above-described functions is recorded so as to be readable by a computer. This can also be achieved by supplying to the photographing apparatus 1 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).

上記記録媒体としては、一時的でない有形の媒体(non-transitory tangible medium)、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。   Examples of the recording medium include non-transitory tangible medium, such as magnetic tape and cassette tape, magnetic disk such as floppy (registered trademark) disk / hard disk, and CD-ROM / MO. Discs including optical discs such as / MD / DVD / CD-R, cards such as IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM (registered trademark) / flash ROM Alternatively, logic circuits such as PLD (Programmable Logic Device) and FPGA (Field Programmable Gate Array) can be used.

また、撮影装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。   Further, the photographing apparatus 1 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited as long as it can transmit the program code. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, and the like can be used. The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even with wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by radio such as High Data Rate (NFC), Near Field Communication (NFC), Digital Living Network Alliance (DLNA), mobile phone network, satellite line, and digital terrestrial network. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.

本発明は、パノラマ画像を生成するための複数の画像を、回転しながら複数回の撮影によって取得する撮影装置の制御と、パノラマ撮影の方法に利用することができる。   INDUSTRIAL APPLICABILITY The present invention can be used for the control of a photographing apparatus that acquires a plurality of images for generating a panoramic image by photographing a plurality of times while rotating and a panoramic photographing method.

1 撮影装置
11 画像記憶部
12 撮影部
13 撮影部制御部
14 測距センサ(物体検出部)
15 距離判定部(物体検出部)
16 回転角設定部(回転角設定手段)
17 累積角度演算部
18 累積角度記憶部
19 終了判定部
20 回転モータ(回転部)
21 回転モータ制御部
30 死角領域
a 区間画像の画角(撮影部が撮影できる画角)
L 測距センサが測定した物体までの距離
P 隣り合う2つの区間画像に対応する回転角度の差
r 所定距離(半径)
z 回転軸
P1−P8 区間画像
S108、S109、S207、S208 回転角設定ステップ
DESCRIPTION OF SYMBOLS 1 Image pick-up device 11 Image memory | storage part 12 Image pick-up part 13 Image pick-up part control part 14 Distance sensor (object detection part)
15 Distance determination unit (object detection unit)
16 Rotation angle setting part (Rotation angle setting means)
17 Cumulative Angle Calculation Unit 18 Cumulative Angle Storage Unit 19 End Determination Unit 20 Rotating Motor (Rotating Unit)
21 Rotating motor control unit 30 Blind spot area a Angle of view of section image (viewing angle that can be photographed by photographing unit)
L Distance to the object measured by the distance measuring sensor P Difference in rotation angle corresponding to two adjacent section images r Predetermined distance (radius)
z Rotation axis P1-P8 Section image S108, S109, S207, S208 Rotation angle setting step

Claims (10)

一つの回転軸周りに回転しながら、パノラマ画像として連結するための複数の区間画像を撮像する撮影装置であって、
上記区間画像を撮影する撮影部と、
上記撮影部を、上記回転軸を中心とし、所定距離を半径とする円周上を、上記区間画像に対応する回転角度に回転させる回転部と、
連続する2つの上記区間画像に撮影される2つの撮影領域の間に生じる、当該2つの区間画像には撮影されない死角領域にある物体を検出する物体検出部と、
上記物体検出部が上記死角領域に物体を検出したとき、当該死角領域に隣接する2つの撮影領域を撮影する2つの上記区間画像に対応する回転角度の間の、少なくとも1つの回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させる回転角設定手段と、を備えることを特徴とする撮影装置。
An imaging device that captures a plurality of section images for connection as a panoramic image while rotating around one rotation axis,
A photographing unit for photographing the section image;
A rotating unit that rotates the photographing unit around a rotation axis about a predetermined distance and a rotation angle corresponding to the section image;
An object detection unit that detects an object in a blind spot area that is not captured in the two section images that occurs between the two capturing areas captured in the two consecutive section images;
When the object detection unit detects an object in the blind spot area, the rotation is performed to at least one rotation angle between the rotation angles corresponding to the two section images capturing the two shooting areas adjacent to the blind spot area. A rotation angle setting unit that rotates the image capturing unit and causes the image capturing unit to capture the section image.
上記物体検出部は、上記撮影部が回転する円周から物体までの距離を測定する測距センサを含むことを特徴とする請求項1に記載の撮影装置。   The imaging device according to claim 1, wherein the object detection unit includes a distance measuring sensor that measures a distance from a circumference around which the imaging unit rotates to an object. 上記物体検出部は、上記測距センサが測定した物体までの距離Lが、次の数式、
Lmax=r{sin(a/2)/sin((a−P)/2)−1}
連続する2つの区間画像に対応する回転角度の差P、区間画像の画角a、回転軸からの撮影部の回転円周までの距離r、
で規定される距離Lmax以下であるとき、当該物体を上記死角領域にある物体と判定することを特徴とする請求項2に記載の撮影装置。
In the object detection unit, the distance L to the object measured by the distance measuring sensor is expressed by the following formula:
Lmax = r {sin (a / 2) / sin ((a-P) / 2) -1}
Difference P between rotation angles corresponding to two consecutive section images, angle of view a of the section images, distance r from the rotation axis to the rotation circumference of the photographing unit,
The imaging apparatus according to claim 2, wherein the object is determined to be an object in the blind spot area when the distance Lmax is equal to or less than the distance Lmax defined by.
上記測距センサは、測定範囲の中心方向が、上記撮影部の画角の中心方向と略一致して搭載されていることを特徴とする請求項2または3に記載の撮影装置。   4. The photographing apparatus according to claim 2, wherein the distance measuring sensor is mounted so that a center direction of a measurement range substantially coincides with a center direction of an angle of view of the photographing unit. 上記物体検出部は、上記回転部が上記撮影部を、ある区間画像に対応する回転角度から、隣接する区間画像に対応する回転角度へ回転させる間に、上記測距センサが上記撮影部と共に回転しながら測距して、上記死角領域にある物体の検出を行い、
上記回転角設定手段は、上記物体検出部が上記死角領域に物体を検出したとき、上記2つの回転角度の中央の回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させることを特徴とする請求項4に記載の撮影装置。
In the object detection unit, the ranging sensor rotates together with the imaging unit while the rotation unit rotates the imaging unit from a rotation angle corresponding to a certain section image to a rotation angle corresponding to an adjacent section image. Ranging while detecting the object in the blind spot area,
When the object detection unit detects an object in the blind spot area, the rotation angle setting unit rotates the rotation unit to a central rotation angle of the two rotation angles, and causes the imaging unit to capture the section image. The imaging apparatus according to claim 4, wherein:
上記測距センサは、測定範囲の中心方向が、上記撮影部の画角の中心方向より、連続する2つの上記区間画像に対応する回転角度の差の半分だけ、回転の下流側となるように搭載されていることを特徴とする請求項2または3に記載の撮影装置。   The distance measuring sensor is arranged such that the center direction of the measurement range is downstream of the rotation by a half of the rotation angle difference corresponding to the two continuous section images from the center direction of the field angle of the photographing unit. The photographing apparatus according to claim 2, wherein the photographing apparatus is mounted. 上記物体検出部は、上記回転部が上記撮影部の、ある区間画像に対応する回転角度から、隣接する区間画像に対応する回転角度への回転を開始する前に、上記測距センサが測距して、上記死角領域にある物体の検出を行い、
上記回転角設定手段は、上記物体検出部が上記死角領域に物体を検出したとき、上記2つの回転角度の中央の回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させることを特徴とする請求項6に記載の撮影装置。
The object detection unit is configured to measure the distance before the rotation unit starts rotating from the rotation angle corresponding to a certain section image of the photographing unit to the rotation angle corresponding to the adjacent section image. Then, the object in the blind spot area is detected,
When the object detection unit detects an object in the blind spot area, the rotation angle setting unit rotates the rotation unit to a central rotation angle of the two rotation angles, and causes the imaging unit to capture the section image. The imaging device according to claim 6.
一つの回転軸周りに回転しながら、パノラマ画像として連結するための複数の区間画像を撮像する制御方法であって、
上記区間画像を撮影する撮影部と、
上記撮影部を、上記回転軸を中心とし、所定距離を半径とする円周上を、上記区間画像に対応する回転角度に回転させる回転部と、
連続する2つの上記区間画像に撮影される2つの撮影領域の間に生じる、当該2つの区間画像には撮影されない死角領域にある物体を検出する物体検出部と、を備え、
上記物体検出部が上記死角領域に物体を検出したとき、当該死角領域に隣接する2つの撮影領域を撮影する2つの上記区間画像に対応する回転角度の間の、少なくとも1つの回転角度に上記回転部を回転させ、上記撮影部に上記区間画像を撮影させる回転角設定ステップと、を含むことを特徴とする制御方法。
A control method for capturing a plurality of section images for connection as a panoramic image while rotating around one rotation axis,
A photographing unit for photographing the section image;
A rotating unit that rotates the photographing unit around a rotation axis about a predetermined distance and a rotation angle corresponding to the section image;
An object detection unit that detects an object in a blind spot area that is not captured in the two section images that occurs between the two capturing areas captured in the two consecutive section images;
When the object detection unit detects an object in the blind spot area, the rotation is performed to at least one rotation angle between the rotation angles corresponding to the two section images capturing the two shooting areas adjacent to the blind spot area. And a rotation angle setting step of causing the photographing unit to photograph the section image.
請求項1から7の何れか1項に記載の撮影装置の少なくともいずれか1つを動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。   A control program for operating at least one of the photographing apparatuses according to any one of claims 1 to 7, wherein the control program causes a computer to function as each of the means. 請求項9に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium on which the control program according to claim 9 is recorded.
JP2012206350A 2012-09-19 2012-09-19 Photographing device, control method, control program, and recording medium Pending JP2014062931A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012206350A JP2014062931A (en) 2012-09-19 2012-09-19 Photographing device, control method, control program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012206350A JP2014062931A (en) 2012-09-19 2012-09-19 Photographing device, control method, control program, and recording medium

Publications (1)

Publication Number Publication Date
JP2014062931A true JP2014062931A (en) 2014-04-10

Family

ID=50618260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012206350A Pending JP2014062931A (en) 2012-09-19 2012-09-19 Photographing device, control method, control program, and recording medium

Country Status (1)

Country Link
JP (1) JP2014062931A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016041202A (en) * 2014-08-18 2016-03-31 株式会社東芝 Vacuum cleaner and image display method
JP2020102019A (en) * 2018-12-21 2020-07-02 リンテック株式会社 Imaging device and imaging method
WO2021227748A1 (en) * 2020-05-15 2021-11-18 科沃斯机器人股份有限公司 Information collection method, device and storage medium
WO2024034284A1 (en) * 2022-08-10 2024-02-15 ソニーセミコンダクタソリューションズ株式会社 Sensor system and movable body system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016041202A (en) * 2014-08-18 2016-03-31 株式会社東芝 Vacuum cleaner and image display method
JP2020102019A (en) * 2018-12-21 2020-07-02 リンテック株式会社 Imaging device and imaging method
JP7324580B2 (en) 2018-12-21 2023-08-10 リンテック株式会社 Imaging device and imaging method
WO2021227748A1 (en) * 2020-05-15 2021-11-18 科沃斯机器人股份有限公司 Information collection method, device and storage medium
WO2024034284A1 (en) * 2022-08-10 2024-02-15 ソニーセミコンダクタソリューションズ株式会社 Sensor system and movable body system

Similar Documents

Publication Publication Date Title
JP6721065B2 (en) Imaging device, image processing device and method
US9282242B2 (en) Method and electric device for taking panoramic photograph
JP5598672B2 (en) Imaging apparatus, portable information processing terminal, and monitor display method and program for imaging apparatus
EP3054414A1 (en) Image processing system, image generation apparatus, and image generation method
WO2016119301A1 (en) Terminal, and image capturing method and device
JP5843454B2 (en) Image processing apparatus, image processing method, and program
US10158798B2 (en) Imaging apparatus and method of controlling the same
CN106780550B (en) Target tracking method and electronic equipment
JP6942940B2 (en) Image processing equipment, image processing methods and programs
US20120105647A1 (en) Control device, control method, program, and control system
JP2010050521A (en) Imaging device
JP2008042729A5 (en)
JP2011166378A5 (en)
JP2014062931A (en) Photographing device, control method, control program, and recording medium
JP2010276843A (en) Camera device with turntable
TWI696147B (en) Method and system for rendering a panoramic image
JP2016111652A (en) Imaging apparatus, imaging method and program
JP2011215441A5 (en)
TW201536050A (en) Image-capturing method for correcting deviation-viewing angle, its computer program product, and image-capturing device for correcting deviation viewing angle
JPWO2013150775A1 (en) Image generation apparatus, camera apparatus, image display apparatus, and image generation method
JP5955114B2 (en) Imaging apparatus, control method thereof, and program
JP2014062932A (en) Attitude control device, operation device, attitude control system, control method, control program, and recording medium
WO2018099128A1 (en) Method and device used in projection apparatus
JP2011182253A (en) Imaging apparatus and imaging method
JP2009207100A5 (en)