JP2006211105A - Image formation apparatus and system - Google Patents
Image formation apparatus and system Download PDFInfo
- Publication number
- JP2006211105A JP2006211105A JP2005018285A JP2005018285A JP2006211105A JP 2006211105 A JP2006211105 A JP 2006211105A JP 2005018285 A JP2005018285 A JP 2005018285A JP 2005018285 A JP2005018285 A JP 2005018285A JP 2006211105 A JP2006211105 A JP 2006211105A
- Authority
- JP
- Japan
- Prior art keywords
- image
- panoramic
- panorama
- angle
- surrounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、全方位画像などのような周囲画像に基づいてパノラマ画像を生成する画像生成装置およびシステムに関する。 The present invention relates to an image generation apparatus and system for generating a panoramic image based on surrounding images such as omnidirectional images.
従来より、360度の全方位画像(全周囲画像)に基づいてパノラマ画像を生成する画像生成装置が知られている。例えば、複数のカメラを用いるもの、魚眼カメラを用いるもの、全周囲カメラを用いるものなどがある。このような画像生成装置は、例えば監視カメラやロボットの誘導などの目的に用いられる。 2. Description of the Related Art Conventionally, an image generating apparatus that generates a panoramic image based on a 360-degree omnidirectional image (an all-around image) is known. For example, there are those using a plurality of cameras, those using a fisheye camera, and those using an all-around camera. Such an image generation apparatus is used for the purpose of, for example, monitoring cameras and robot guidance.
図16〜図19は従来の画像生成装置を説明するための図である。 16 to 19 are diagrams for explaining a conventional image generating apparatus.
図16は単一カメラの回転による複数回撮影タイプの画像生成装置を示す。すなわち、図16(A)において、画角が90度またはそれ以上の1つのカメラCMが回転可能に取り付けられており、カメラCMが1回転する間に複数回の撮影を行う。例えば、1回転の間に、順次90度回転したときの時刻であるt1、t2、t3、t4において合計4回の撮影を行うことによって、図16(B)〜(E)に示すように4つの画像FD1〜4が得られる。これらの画像FD1〜4を繋ぎ合わせることによって、1つのパノラマ画像が得られる。 FIG. 16 shows an image generation apparatus of a multiple shooting type by rotation of a single camera. That is, in FIG. 16A, one camera CM having an angle of view of 90 degrees or more is rotatably attached, and shooting is performed a plurality of times during one rotation of the camera CM. For example, as shown in FIGS. 16B to 16E, a total of four times of shooting are performed at t1, t2, t3, and t4, which are times when they are sequentially rotated 90 degrees during one rotation. Two images FD1 to FD4 are obtained. By connecting these images FD1 to FD4, one panoramic image is obtained.
図17は複数カメラによる複眼撮影タイプの画像生成装置を示す。すなわち、図17(A)において、カメラCMと同様な4つのカメラCM1〜4が、それぞれの撮影方向が順次90度の方位差となるように配置されている。これら4つのカメラCM1〜4によって、図17(B)〜(E)に示すように4つの画像FE1〜4が同時に得られる。これらの画像FE1〜4を繋ぎ合わせることによって、1つのパノラマ画像が得られる。 FIG. 17 shows a compound eye photographing type image generating apparatus using a plurality of cameras. That is, in FIG. 17A, four cameras CM1 to 4 similar to the camera CM are arranged so that the respective shooting directions sequentially have an azimuth difference of 90 degrees. With these four cameras CM1 to 4, four images FE1 to FE4 are simultaneously obtained as shown in FIGS. By connecting these images FE1 to FE4, one panoramic image is obtained.
図18は凸面鏡によるミラー撮影タイプの画像生成装置を示す。すなわち、図18(A)において、凸面鏡TKの下方にカメラCM5が配置されており、凸面鏡TKに映った全周の画像をカメラCM5で撮影する。カメラCM5からは、図18(B)に示すような全方位の画像FF1が得られる。 FIG. 18 shows a mirror photographing type image generating apparatus using a convex mirror. That is, in FIG. 18A, the camera CM5 is disposed below the convex mirror TK, and an image of the entire circumference reflected on the convex mirror TK is taken by the camera CM5. An omnidirectional image FF1 as shown in FIG. 18B is obtained from the camera CM5.
図19は超広角撮影タイプの画像生成装置を示す。すなわち、図19(A)において、カメラCM6の前方に配置された魚眼レンズGLによって全周の画像を撮影する。カメラCM6からは、図19(B)に示すような全方位の画像FG1が得られる。 FIG. 19 shows a super-wide-angle image type image generating apparatus. That is, in FIG. 19A, an image of the entire circumference is captured by the fisheye lens GL disposed in front of the camera CM6. An omnidirectional image FG1 as shown in FIG. 19B is obtained from the camera CM6.
このように、従来の画像生成装置は、撮影によって得られた全方位の画像FD1〜4、FE1〜4、FF、FGから、パノラマ画像を生成する。図20にはパノラマ画像PG9の例が示されている。パノラマ画像PG9に基づいて、例えば、侵入者の検出や認証を行ったり、ロボットの移動方向や動作の決定を行なう。 As described above, the conventional image generation apparatus generates a panoramic image from the omnidirectional images FD1 to FD4, FE1 to FF4, FF, and FG obtained by photographing. FIG. 20 shows an example of the panoramic image PG9. Based on the panoramic image PG9, for example, intruder detection and authentication are performed, and the moving direction and operation of the robot are determined.
通常、侵入者の認証やロボットの詳細な移動方向などの決定を行なうために必要な画質は比較的高い傾向にあるため、そのような高画質の画像を全周囲に対して同時に取得し、それを転送し、また出力するには、データ量が大きくなりすぎるという問題がある。したがって、実際には、パノラマ画像PG9については低解像度で作成してユーザに提示し、パノラマ画像PG9によって周囲の全体の状況を大まかにリアルタイムで把握できるようにするとともに、ユーザがパノラマ画像PG9上で指定した局所領域や、パノラマ画像PG9に対する画像処理で対象物体を検出した局所領域について、別途詳細画像を提示することが一般的である。 Usually, the image quality required to perform intruder authentication and detailed robot movement directions tends to be relatively high. However, there is a problem that the amount of data becomes too large for transferring and outputting. Therefore, in practice, the panorama image PG9 is created at a low resolution and presented to the user, and the panorama image PG9 allows the user to grasp the entire surrounding situation roughly in real time. In general, a separate detailed image is presented for a specified local region or a local region in which a target object is detected by image processing on the panoramic image PG9.
例えば、特許文献1には、PTZ動作によって得られる複数の画像を接続して広角画像を取得し、広角画像上でユーザが指定した位置をPTZ動作により撮影することで任意の領域を拡大表示するシステムが開示されている。 For example, in Patent Document 1, a plurality of images obtained by the PTZ operation are connected to acquire a wide-angle image, and an arbitrary region is enlarged and displayed by photographing a position designated by the user on the wide-angle image by the PTZ operation. A system is disclosed.
また、特許文献2には、全周囲カメラから得られた画像上で指定または自動認識した領域を、ズームカメラで詳細に撮影するシステムが開示されている。
さて、従来において、周囲の全体をユーザが把握するために提示されるパノラマ画像PG9は、固定の位置や方向に対して作成されている。 Conventionally, the panoramic image PG9 presented for the user to grasp the entire surroundings is created for a fixed position and direction.
例えば、上に述べた特許文献1による場合には、取得される広角画像自体は固定的に作成されるものであるため、その広角画像のいずれかの端部の近辺にユーザの興味が集中する場合には、画像が端部で途切れるために見辛く、拡大表示を指定すること自体がわずらわしい作業となってしまう。 For example, in the case of Patent Document 1 described above, since the acquired wide-angle image itself is created in a fixed manner, the user's interest is concentrated near one end of the wide-angle image. In this case, it is difficult to see the image because the image is interrupted at the edges, and it is troublesome to specify the enlarged display itself.
また、特許文献2による場合にも、全周囲カメラから得られる展開画像の向きについては何らの考慮もないため、同様の問題がある。 Further, even in the case of Patent Document 2, there is no consideration about the orientation of the developed image obtained from the omnidirectional camera, and there is a similar problem.
つまり、例えば、表示装置に図20に示すパノラマ画像PG9が表示されている状態で、対象物体Qが侵入者であるか否かをユーザが判断したいときに、対象物体Qがパノラマ画像PG9の端部で途切れて両端部に別れてしまっているため、対象物体Qを視認することが難しく、対象物体Qを見過ごしてしまう恐れもあり、拡大表示の位置指定を行うことが困難であった。 That is, for example, when the user wants to determine whether or not the target object Q is an intruder while the panoramic image PG9 shown in FIG. 20 is displayed on the display device, the target object Q is the end of the panoramic image PG9. Therefore, it is difficult to visually recognize the target object Q, possibly overlooking the target object Q, and it is difficult to specify the position of the enlarged display.
本発明は、上述の問題に鑑みてなされたもので、周囲の全体の状況を把握するために提示されるパノラマ画像の中心方位およびその範囲を設定可能とすることによって、詳細な画像を取得する際に対象となる局所領域の指定をユーザが容易に行なえるようにすることを目的とする。 The present invention has been made in view of the above-described problems, and acquires a detailed image by making it possible to set the center direction and range of a panoramic image presented to grasp the entire surrounding situation. It is an object of the present invention to allow a user to easily specify a local area to be targeted.
本発明に係る装置は、1つまたは複数のカメラを含んで構成され周囲画像を取得する周囲画像取得手段と、前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、前記周囲画像取得手段により取得された周囲画像の全部または一部から、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲の画像を抽出してパノラマ画像を作成するパノラマ画像作成手段とを有する。 An apparatus according to the present invention includes a surrounding image acquisition unit configured to include one or a plurality of cameras to acquire a surrounding image, and a center direction and an angle of view with respect to the surrounding image acquired by the surrounding image acquisition unit. Panoramic image edge setting means for setting, and the central orientation set by the panoramic image edge setting means as a central position from all or part of the surrounding images acquired by the surrounding image acquisition means, and the angle of view Panorama image creation means for creating a panorama image by extracting an image in a range corresponding to.
好ましくは、前記パノラマ画像端設定手段は、ユーザがマニュアルによって設定可能な操作入力手段を含む。 Preferably, the panoramic image edge setting means includes an operation input means that can be set manually by a user.
また、前記パノラマ画像端設定手段は、前記周囲画像取得手段により取得された周囲画像または当該周囲画像を構成する画像に対し、その画像内の被写体についての画像認識を行うことによって、前記中心方位および前記画角を取得する手段を含む。 In addition, the panoramic image edge setting unit performs image recognition on a subject in the image with respect to the surrounding image acquired by the surrounding image acquiring unit or an image constituting the surrounding image, thereby obtaining the center direction and Means for obtaining the angle of view;
また、前記周囲画像取得手段は、向きを変更することの可能な移動体に対し、当該周囲画像取得手段自体の向きが変更可能に取り付けられており、前記パノラマ画像端設定手段は、前記移動体の向きを示す情報に基づいて前記中心方位および前記画角を取得する手段を含む。 Further, the surrounding image acquisition means is attached to a movable body whose direction can be changed so that the direction of the surrounding image acquisition means itself can be changed, and the panoramic image edge setting means includes the moving body. Means for acquiring the central orientation and the angle of view based on information indicating the orientation of the image.
また、前記周囲画像取得手段は、複数のカメラを含んで構成されており、パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像の互いの配置を変更する手段を含む。 Further, the surrounding image acquisition means includes a plurality of cameras, and the panoramic image creation means includes means for changing the arrangement of a plurality of images obtained from the plurality of cameras.
また、前記周囲画像取得手段は、複数のカメラを含んで構成されており、パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像を読み出す際のそれぞれの先頭のアドレスの順序を互いに変更する手段を含む。 Further, the surrounding image acquisition means includes a plurality of cameras, and the panoramic image creation means sets the order of the respective leading addresses when reading a plurality of images obtained from the plurality of cameras to each other. Including means for changing.
他の形態によると、1つまたは複数のカメラを含んで構成され周囲画像を取得する周囲画像取得手段と、前記周囲画像取得手段により取得された周囲画像からパノラマ画像を作成するパノラマ画像作成手段と、前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、前記パノラマ画像作成手段により作成されたパノラマ画像を、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲のパノラマ画像に変換するパノラマ画像変換手段と、前記パノラマ画像変換手段により変換された後のパノラマ画像を表示する表示手段とを有する。 According to another aspect, a surrounding image acquisition unit configured to include one or a plurality of cameras to acquire a surrounding image, and a panoramic image generation unit to generate a panoramic image from the surrounding image acquired by the surrounding image acquisition unit; Panorama image edge setting means for setting the center direction and angle of view of the surrounding image acquired by the surrounding image acquisition means; and the panorama image created by the panorama image creating means A panorama image conversion unit that converts the panorama image in a range corresponding to the angle of view with the center direction set by the setting unit as a center position, and a display that displays the panorama image converted by the panorama image conversion unit Means.
そして、前記周囲画像取得手段、前記パノラマ画像作成手段、および前記パノラマ画像端設定手段は、サーバに設けられており、前記パノラマ画像変換手段および前記表示手段は、クライアントに設けられており、前記サーバから前記クライアントに対して、前記パノラマ画像作成手段により作成されたパノラマ画像および前記パノラマ画像端設定手段により設定された前記中心方位並びに前記画角についての情報が送信されるように構成される。 The surrounding image acquisition means, the panorama image creation means, and the panorama image edge setting means are provided in a server, and the panorama image conversion means and the display means are provided in a client. To the client, the panorama image created by the panorama image creation unit and the information about the center azimuth and the angle of view set by the panorama image edge setting unit are transmitted.
なお、周囲画像は、360度の全周の画像であってもよく、また、360度の全周ではなく、その一部の周囲の画像であってもよい。 Note that the surrounding image may be an image of the entire circumference of 360 degrees, or may be an image of a part of the surroundings instead of the entire circumference of 360 degrees.
本発明によると、周囲の全体の状況を把握するために提示されるパノラマ画像の中心方位およびその範囲を設定可能とすることによって、詳細な画像を取得する際に対象となる局所領域の指定をユーザが容易に行なうことが可能となる。 According to the present invention, it is possible to set a center direction and a range of a panoramic image presented to grasp the entire surrounding situation, thereby specifying a local region to be a target when acquiring a detailed image. This can be easily performed by the user.
図1は本発明に係る実施形態の画像生成システム1を示すブロック図である。 FIG. 1 is a block diagram showing an image generation system 1 according to an embodiment of the present invention.
図1において、画像生成システム1は、サーバ3およびクライアント4からなる。サーバ3には、全方位画像取得部11、パノラマ画像端設定部12、パノラマ画像作成処理部13、送信部14、操作入力部15、および表示部16などが設けられている。クライアント4には、受信部21、表示部22、印刷部23、記録部24、および図示しない操作入力部などが設けられている。 In FIG. 1, the image generation system 1 includes a server 3 and a client 4. The server 3 includes an omnidirectional image acquisition unit 11, a panorama image edge setting unit 12, a panorama image creation processing unit 13, a transmission unit 14, an operation input unit 15, a display unit 16, and the like. The client 4 includes a receiving unit 21, a display unit 22, a printing unit 23, a recording unit 24, an operation input unit (not shown), and the like.
全方位画像取得部11は、1つまたは複数のカメラを含んで構成され、360度の全方位画像を取得する。全方位画像取得部11として、公知の種々の構造のものを用いることが可能である。例えば、図16に示す単一カメラの回転による複数回撮影タイプのもの、図17に示す複数カメラによる複眼撮影タイプのもの、図18に示す凸面鏡によるミラー撮影タイプのもの、図19に示す超広角撮影タイプのものなどが使用可能である。 The omnidirectional image acquisition unit 11 includes one or more cameras, and acquires a 360-degree omnidirectional image. As the omnidirectional image acquisition unit 11, various known structures can be used. For example, a multiple-shooting type with a single camera rotation shown in FIG. 16, a compound-eye shooting type with a plurality of cameras shown in FIG. 17, a mirror shooting type with a convex mirror shown in FIG. 18, and a super wide angle shown in FIG. A photographing type or the like can be used.
したがって、全方位画像取得部11からは、図16(B)〜(E)に示すような4つの画像FD1〜4、図17(B)〜(E)に示すような4つの画像FE1〜4、または図18(B)や図19(B)に示すような画像FF1,FG1が出力される。なお、画像FE,FGは、静止画であってもよく、また動画であってもよい。 Therefore, from the omnidirectional image acquisition unit 11, four images FD1 to FD1 to 4 as shown in FIGS. 16B to 16E and four images FE1 to FE1 to 4 as shown in FIGS. Alternatively, images FF1 and FG1 as shown in FIGS. 18B and 19B are output. Note that the images FE and FG may be still images or moving images.
これらの画像(画像データ)を「全方位画像FC」と記載する。つまり、全方位画像FCは、全方位画像を構成するための画像情報全体を意味し、1つの全方位画像として完成していなくてもよく、例えば全方位画像を構成するための断片的な画像の集合であってもよい。 These images (image data) are referred to as “omnidirectional images FC”. That is, the omnidirectional image FC means the entire image information for constituting the omnidirectional image, and does not have to be completed as one omnidirectional image. For example, a fragmentary image for constituting the omnidirectional image. Or a set of
なお、本実施形態では、360度の全周の画像である全方位画像FCを周囲画像として用いたが、360度の全周ではなく、その一部、例えば300度、180度などの周囲画像を用いてもよい。 In the present embodiment, the omnidirectional image FC, which is an image of 360 degrees around the circumference, is used as the surrounding image. May be used.
パノラマ画像端設定部12は、全方位画像取得部11により取得される全方位画像FCに対して、その中心方位THおよび画角GKを設定するためのものである。中心方位THおよび画角GKの設定に際しては、ユーザが操作入力部15を操作してマニュアルによって設定することが可能である。また、パノラマ画像端設定部12には画像認識処理部121が設けられており、全方位画像(全方位画像を構成する画像を含む)FCに対し、その画像内の被写体(対象物体)についての画像認識を行うことによって、中心方位THおよび画角GKを自動的に設定することも可能である。 The panoramic image edge setting unit 12 is for setting the center direction TH and the angle of view GK of the omnidirectional image FC acquired by the omnidirectional image acquisition unit 11. When setting the central orientation TH and the angle of view GK, the user can operate the operation input unit 15 and set it manually. The panoramic image edge setting unit 12 is provided with an image recognition processing unit 121 for an omnidirectional image (including images constituting the omnidirectional image) FC with respect to a subject (target object) in the image. It is also possible to automatically set the center direction TH and the angle of view GK by performing image recognition.
さらに、後で述べるように、全方位画像取得部11を、自走ロボットのように向きを変更することの可能な移動体に対してそれ自体の向きを変更可能に取り付けておき、移動体の向きを示す情報に基づいて、中心方位THおよび画角GKを自動的に設定することも可能である。 Furthermore, as will be described later, the omnidirectional image acquisition unit 11 is attached to a movable body whose direction can be changed, such as a self-propelled robot, so that its direction can be changed. It is also possible to automatically set the center direction TH and the angle of view GK based on the information indicating the direction.
いずれにしても、パノラマ画像端設定部12からは、設定された中心方位THおよび画角GKを示す情報が出力される。 In any case, the panoramic image edge setting unit 12 outputs information indicating the set center orientation TH and angle of view GK.
パノラマ画像作成処理部13は、全方位画像FCの全部または一部から、パノラマ画像端設定部12により設定された中心方位THを中心位置とし且つ画角GKに対応する範囲の画像を抽出し、パノラマ画像PGを作成する。パノラマ画像作成処理部13からは、作成されたパノラマ画像PGの画像データが出力される。 The panoramic image creation processing unit 13 extracts, from all or a part of the omnidirectional image FC, an image in a range corresponding to the angle of view GK with the central direction TH set by the panoramic image edge setting unit 12 as a central position. A panoramic image PG is created. The panorama image creation processing unit 13 outputs image data of the created panorama image PG.
送信部14は、パノラマ画像PGなどのデータDTをクライアント4に向けて送信する。送信の際には、必要に応じて、適当な圧縮処理などが行われる。暗号化処理などを行うことも可能である。 The transmission unit 14 transmits data DT such as a panoramic image PG to the client 4. At the time of transmission, appropriate compression processing or the like is performed as necessary. It is also possible to perform encryption processing and the like.
操作入力部15は、ユーザがマニュアル(手動)で操作することによって、全方位画像FCに対する中心方位THおよび画角GKを設定するための入力操作を行うことが可能である。操作入力部15として、例えば、キーボード、マウス、ジョイスティック、カーソル移動のためのボタンなどが用いられる。 The operation input unit 15 can perform an input operation for setting the center direction TH and the angle of view GK with respect to the omnidirectional image FC by a user's manual operation. As the operation input unit 15, for example, a keyboard, a mouse, a joystick, a button for moving a cursor, or the like is used.
表示部16は、液晶パネル、CRT、その他の表示デバイスを用いて構成され、全方位画像FC、その他の画像、またはメッセージなどを表示面に表示可能である。ユーザがマニュアルによって中心方位THおよび画角GKを設定する際には、表示部16に表示された全方位画像FCを見ながら操作入力部15を操作する。 The display unit 16 is configured using a liquid crystal panel, CRT, or other display device, and can display an omnidirectional image FC, other images, messages, or the like on a display surface. When the user manually sets the center direction TH and the angle of view GK, the user operates the operation input unit 15 while viewing the omnidirectional image FC displayed on the display unit 16.
受信部21は、サーバ3から送信されたパノラマ画像PGなどのデータDTを受信する。パノラマ画像PGが圧縮されていた場合にはその解凍をも行う。暗号化されていた場合には複号化処理を行う。 The receiving unit 21 receives data DT such as a panoramic image PG transmitted from the server 3. If the panoramic image PG has been compressed, the decompression is also performed. If encrypted, decryption processing is performed.
表示部22は、液晶パネル、CRT、その他の表示デバイスを用いて構成され、受信したパノラマ画像PG、その他の画像、メッセージなどを表示面に表示可能である。 The display unit 22 is configured using a liquid crystal panel, a CRT, and other display devices, and can display the received panoramic image PG, other images, messages, and the like on the display surface.
印刷部23は、受信したパノラマ画像PG、その他の画像、メッセージなどを用紙に印刷する。記録部24は、受信したパノラマ画像PGなどを、種々の記録媒体に記録する。記録媒体として、例えば、半導体メモリ、磁気ディスク、CD−ROM、フレキシブルディスクなどが用いられる。 The printing unit 23 prints the received panoramic image PG, other images, messages, and the like on a sheet. The recording unit 24 records the received panoramic image PG and the like on various recording media. As the recording medium, for example, a semiconductor memory, a magnetic disk, a CD-ROM, a flexible disk, or the like is used.
このように、本実施形態の画像生成システム1では、サーバ3において取得し作成したパノラマ画像PGをクライアント4に送信し、クライアント4においてはそのパノラマ画像PGを表示しまたは記録する。 As described above, in the image generation system 1 according to the present embodiment, the panorama image PG acquired and created by the server 3 is transmitted to the client 4, and the client 4 displays or records the panorama image PG.
サーバ3およびクライアント4として、種々の半導体デバイスや電子機器から構成され、適当なプログラムをCPU(中央処理装置)が実行することによってそれらの機能を実現するように構成された専用機が用いられる。また、これらのいずれかまたは両方に、適当なプログラムが格納されたパーソナルコンピュータを用いることも可能である。サーバ3とクライアント4とは、互いに接近して一体的に設けられていてもよく、また互いに離れて独立して設置されていてもよい。サーバ3とクライアント4とが離れている場合に、それらの間は、適当なケーブル、専用回線、LAN、WAN、またはインターネットなどで接続することが可能である。 As the server 3 and the client 4, dedicated machines configured from various semiconductor devices and electronic devices and configured to realize their functions by executing appropriate programs by a CPU (Central Processing Unit) are used. It is also possible to use a personal computer in which an appropriate program is stored in either or both of them. The server 3 and the client 4 may be provided integrally close to each other, or may be provided separately from each other. When the server 3 and the client 4 are separated from each other, they can be connected by an appropriate cable, a dedicated line, a LAN, a WAN, or the Internet.
次に、画像生成システム1の機能について、図2〜図7を参照してさらに詳しく説明する。 Next, the function of the image generation system 1 will be described in more detail with reference to FIGS.
図2は全方位画像取得部11によって取得される全方位画像FC1の例を示す図、図3は全方位画像取得部11によって取得される他の例の全方位画像FC2を示す図、図4は全方位画像取得部11によって取得されるさらに他の例の全方位画像FC3を示す図、図5はパノラマ画像PG1,2の例を示す図、図6は他の例のパノラマ画像PG3を示す図、図7はさらに他の例のパノラマ画像PG4を示す図、図8は局所領域拡大画像FB1の例を示す図である。 2 is a diagram illustrating an example of the omnidirectional image FC1 acquired by the omnidirectional image acquisition unit 11, FIG. 3 is a diagram illustrating another example of the omnidirectional image FC2 acquired by the omnidirectional image acquisition unit 11, and FIG. Is a diagram showing another example of the omnidirectional image FC3 acquired by the omnidirectional image acquisition unit 11, FIG. 5 is a diagram showing examples of the panoramic images PG1 and 2, and FIG. 6 is a diagram showing another example of the panoramic image PG3. 7 and FIG. 7 are diagrams showing still another example panoramic image PG4, and FIG. 8 is a diagram showing an example of the local region enlarged image FB1.
なお、図2および図3に示す全方位画像FC1,2は、4つのカメラを有する全方位画像取得部11から得られた4つの画像FA1〜4によるものであり、図4に示す全方位画像FC3は、凸面鏡によるミラー撮影タイプの1つのカメラを有する全方位画像取得部11から得られたものである。 The omnidirectional images FC1 and FC2 shown in FIGS. 2 and 3 are based on the four images FA1 to FA4 obtained from the omnidirectional image acquisition unit 11 having four cameras. The omnidirectional images shown in FIG. FC3 is obtained from the omnidirectional image acquisition unit 11 having one camera of a mirror photographing type using a convex mirror.
図2に示す全方位画像FC1では、中央左寄りに位置する人物である対象物体Qが、その他の物体Q1〜3とともに写っている。しかし、図3に示す全方位画像FC2では、対象物体Qが移動して全方位画像FC2の端部に入ってしまい、対象物体Qが端部で途切れて両端部に別れてしまっている。 In the omnidirectional image FC1 shown in FIG. 2, the target object Q, which is a person located to the left of the center, is shown together with the other objects Q1 to Q3. However, in the omnidirectional image FC2 shown in FIG. 3, the target object Q moves and enters the end of the omnidirectional image FC2, and the target object Q is interrupted at the end and separated into both ends.
このような全方位画像FC1,2に対して、ユーザは、操作入力部15を操作し、中心方位THおよび画角GKを設定(指定)することができる。 For such omnidirectional images FC1 and FC2, the user can set (specify) the center direction TH and the angle of view GK by operating the operation input unit 15.
すなわち、図2に示すように、操作入力部15を操作しパノラマ画像端設定部12によって中心方位TH1および画角GK1を設定する。パノラマ画像作成処理部13は、設定された中心方位TH1および画角GK1に対応して、全方位画像FC1から図5(A)に示すパノラマ画像PG1を作成する。 That is, as shown in FIG. 2, the operation input unit 15 is operated and the panoramic image end setting unit 12 sets the center direction TH1 and the angle of view GK1. The panorama image creation processing unit 13 creates a panorama image PG1 shown in FIG. 5A from the omnidirectional image FC1 corresponding to the set center orientation TH1 and field angle GK1.
図5(A)に示すパノラマ画像PG1では、設定された中心方位TH1がパノラマ画像PG1の中心位置となり、設定された画角GK1がパノラマ画像PG1の画角GK1となっている。これによって、ユーザが意図した対象物体Qがパノラマ画像PG1の中心位置にきている。したがって、ユーザは、対象物体Qを観察し易くなり、対象物体Qをもっと詳しく観察すべきかどうかを容易に決定することができるので、対象物体Qに対して拡大表示を指定することが容易となる。 In the panoramic image PG1 shown in FIG. 5A, the set center direction TH1 is the center position of the panoramic image PG1, and the set angle of view GK1 is the angle of view GK1 of the panoramic image PG1. As a result, the target object Q intended by the user is at the center position of the panoramic image PG1. Therefore, the user can easily observe the target object Q, and can easily determine whether or not the target object Q should be observed in more detail, so that it is easy to specify an enlarged display for the target object Q. .
なお、図5(A)に示すパノラマ画像PG1が表示されているときに、クライアント4において操作入力部をユーザが操作し、拡大表示を指定すると、表示部22には図8に示す局所領域拡大画像FB1が表示される。局所領域拡大画像FB1によって、ユーザはより詳細に対象物体Qを観察することができる。これによって、対象物体Qが例えば侵入者であるか否かをより的確に判断することができる。 When the user operates the operation input unit in the client 4 and designates the enlarged display while the panoramic image PG1 shown in FIG. 5A is displayed, the local region enlargement shown in FIG. An image FB1 is displayed. With the local region enlarged image FB1, the user can observe the target object Q in more detail. This makes it possible to more accurately determine whether the target object Q is an intruder, for example.
図2において、全方位画像FC1に対して中心方位TH1および画角GK2を設定すると、その画角GK2に対応して、図5(B)に示すパノラマ画像PG2が作成される。 In FIG. 2, when the central orientation TH1 and the angle of view GK2 are set for the omnidirectional image FC1, a panoramic image PG2 shown in FIG. 5B is created corresponding to the angle of view GK2.
また、図3に示すように、操作入力部15を操作しパノラマ画像端設定部12によって中心方位TH3および画角GK3を設定する。パノラマ画像作成処理部13は、設定された中心方位TH3および画角GK3に対応して、全方位画像FC2から図6に示すパノラマ画像PG3が作成される。 Further, as shown in FIG. 3, the operation input unit 15 is operated, and the center image TH3 and the angle of view GK3 are set by the panorama image edge setting unit 12. The panoramic image creation processing unit 13 creates a panoramic image PG3 shown in FIG. 6 from the omnidirectional image FC2 corresponding to the set center orientation TH3 and angle of view GK3.
図6に示すパノラマ画像PG3においても、設定された中心方位TH3がパノラマ画像PG3の中心位置となり、設定された画角GK3がパノラマ画像PG3の画角GK3となっている。このように、全方位画像FC2においては対象物体Qが端部に寄ってしまっているにもかかわらず、パノラマ画像PG3では対象物体Qが中心位置にきている。したがって、先の例のパノラマ画像PG1の場合と同様に、ユーザは対象物体Qを観察し易くなる。また、パノラマ画像PG3に対して拡大表示を指定して局所領域拡大画像FB1を表示部22に表示させることができる。 Also in the panoramic image PG3 shown in FIG. 6, the set center direction TH3 is the center position of the panoramic image PG3, and the set angle of view GK3 is the angle of view GK3 of the panoramic image PG3. Thus, in the panoramic image PG3, the target object Q is at the center position even though the target object Q is close to the end in the omnidirectional image FC2. Therefore, as in the case of the panoramic image PG1 in the previous example, the user can easily observe the target object Q. In addition, it is possible to display the local area enlarged image FB1 on the display unit 22 by designating the enlarged display for the panoramic image PG3.
また、凸面鏡によるミラー撮影タイプのものから取得された全方位画像FCに対しても、図2および図3の場合と同様に中心方位THおよび画角GKを設定することができる。 In addition, the central orientation TH and the angle of view GK can be set for an omnidirectional image FC acquired from a mirror photographing type using a convex mirror as in the case of FIGS.
すなわち、図4に示すように、全方位画像FC3に対して、中心方位TH1を設定し、画角GK2を設定した場合には、図5(B)に示すパノラマ画像PG2が作成される。 That is, as shown in FIG. 4, when the center direction TH1 is set and the angle of view GK2 is set for the omnidirectional image FC3, a panoramic image PG2 shown in FIG. 5B is created.
上に述べた例では、全方位画像FCに対して、任意の中心方位THおよび画角GKを設定できるようにした例を説明した。しかし、中心方位THおよび画角GKを設定するに当たり、ある限定された範囲内でのみ可能としてもよい。例えば、図17に示すように複数カメラによって得た複数の画像を繋いで全方位画像FCとするタイプのものに対して、各カメラによる画像単位でのみ、中心方位THおよび画像を設定可能としてもよい。 In the example described above, an example in which an arbitrary center orientation TH and angle of view GK can be set for the omnidirectional image FC has been described. However, in setting the center direction TH and the angle of view GK, it may be possible only within a limited range. For example, as shown in FIG. 17, it is possible to set the central orientation TH and the image only in units of images by each camera, for a type in which a plurality of images obtained by a plurality of cameras are connected to form an omnidirectional image FC. Good.
すなわち、図2において、中央の2つの画像FA2とFA3との間を中心方位TH2として指定し、2つの画像FA2,3を含む範囲を画角GK4として設定する。そうすると、パノラマ画像作成処理部13は、設定された中心方位TH4および画角GK4に対応して、全方位画像FC1から図7に示すパノラマ画像PG4を作成する。 That is, in FIG. 2, the center between the two images FA2 and FA3 is designated as the center orientation TH2, and a range including the two images FA2 and FA3 is set as the angle of view GK4. Then, the panoramic image creation processing unit 13 creates a panoramic image PG4 shown in FIG. 7 from the omnidirectional image FC1 corresponding to the set center orientation TH4 and angle of view GK4.
図7に示すパノラマ画像PG4では、設定された中心方位TH4が中心位置とされ、設定された画角GK4がパノラマ画像PG4の画角GK4となっている。これによって、対象物体Qは、パノラマ画像PG1の中心位置ではないものの、対象物体Qの全体が分断されることなく写っている。したがって、対象物体Qの観察は容易であり、拡大表示の指定も容易である。 In the panoramic image PG4 shown in FIG. 7, the set center direction TH4 is the center position, and the set angle of view GK4 is the angle of view GK4 of the panoramic image PG4. Thereby, although the target object Q is not the center position of the panoramic image PG1, the entire target object Q is captured without being divided. Therefore, observation of the target object Q is easy, and designation of enlarged display is also easy.
なお、中心方位THおよび画角GKの指定に際して、表示部16の表示面には、それぞれの全方位画像FCを表示すればよく、これとともに、中心方位THや画角GKを示す矢符、記号、中心線、または寸法線などを適所に表示してもよい。また、画角GKを示すのに、画角GKの濃度や色を他と変えたりすることによって強調表示してもよい。また、これらの表示とともに、中心方位THや画角GKを数値で表示してもよい。
〔変形例〕
図9は本発明に係る画像生成システムの変形例を示すブロック図、図10は本発明に係る画像生成システムの他の変形例を示すブロック図である。
When designating the central orientation TH and the angle of view GK, it is only necessary to display the respective omnidirectional images FC on the display surface of the display unit 16 and, at the same time, arrows and symbols indicating the central orientation TH and the angle of view GK. , A center line, a dimension line, or the like may be displayed in place. Further, in order to show the angle of view GK, it may be highlighted by changing the density or color of the angle of view GK. In addition to these displays, the center orientation TH and the angle of view GK may be displayed numerically.
[Modification]
FIG. 9 is a block diagram showing a modification of the image generation system according to the present invention, and FIG. 10 is a block diagram showing another modification of the image generation system according to the present invention.
なお図9および図10において、図1と同じ機能を有する部分には同じ符号を付して説明を省略しまたは簡略化する。 9 and 10, the same reference numerals are given to portions having the same functions as those in FIG. 1, and description thereof is omitted or simplified.
図9において、画像生成システム1Bは、サーバ3Bおよびクライアント4Bからなる。サーバ3Bには、全方位画像取得部11、パノラマ画像端設定部12、送信部14、操作入力部15、および表示部16などが設けられている。クライアント4Bには、受信部21、パノラマ画像作成処理部26、表示部22、印刷部23、記録部24、および図示しない操作入力部などが設けられている。 In FIG. 9, the image generation system 1B includes a server 3B and a client 4B. The server 3B includes an omnidirectional image acquisition unit 11, a panoramic image edge setting unit 12, a transmission unit 14, an operation input unit 15, a display unit 16, and the like. The client 4B includes a receiving unit 21, a panoramic image creation processing unit 26, a display unit 22, a printing unit 23, a recording unit 24, an operation input unit (not shown), and the like.
つまり、図9に示す画像生成システム1Bでは、サーバ3Bにパノラマ画像作成処理部13が設けられておらず、その代わりに、クライアント4Bにパノラマ画像作成処理部26が設けられている。したがって、サーバ3Bにおいては、パノラマ画像PGを作成することなく、全方位画像取得部11で取得した全方位画像FC、およびパノラマ画像端設定部12で設定した中心方位THおよび画角GKなどのデータDTを、送信部14からクライアント4Bに向けて送信する。 That is, in the image generation system 1B shown in FIG. 9, the server 3B is not provided with the panoramic image creation processing unit 13, and instead, the client 4B is provided with the panoramic image creation processing unit 26. Therefore, in the server 3B, without creating the panoramic image PG, data such as the omnidirectional image FC acquired by the omnidirectional image acquiring unit 11 and the central azimuth TH and the angle of view GK set by the panoramic image end setting unit 12 DT is transmitted from the transmission unit 14 toward the client 4B.
クライアント4Bにおいては、サーバ3Bから送信されたデータDTを受信部21で受信し、受信したデータDTに基づいて、パノラマ画像作成処理部26によってパノラマ画像PGを作成する。つまり、パノラマ画像作成処理部26は、全方位画像FCの全部または一部から、設定された中心方位THを中心位置とし且つ画角GKに対応する範囲の画像を抽出し、パノラマ画像PGを作成する。作成されたパノラマ画像PGは、表示部22で表示される。 In the client 4B, the data DT transmitted from the server 3B is received by the receiving unit 21, and a panoramic image PG is created by the panoramic image creation processing unit 26 based on the received data DT. That is, the panoramic image creation processing unit 26 extracts an image in a range corresponding to the angle of view GK with the set center orientation TH as the center position from all or part of the omnidirectional image FC, and creates a panoramic image PG. To do. The created panorama image PG is displayed on the display unit 22.
図10において、画像生成システム1Cは、サーバ3Cおよびクライアント4Cからなる。サーバ3Cの構成は図1のサーバ3とほぼ同じであるが、パノラマ画像作成処理部13Cにおいては、設定された中心方位THおよび画角GKを用いることなく、固定的に決められた中心方位および画角を用いて仮のパノラマ画像PGKを作成する。作成した仮のパノラマ画像PGK、および、設定された中心方位THおよび画角GKなどのデータDTを、クライアント4Cに送信する。 In FIG. 10, an image generation system 1C includes a server 3C and a client 4C. The configuration of the server 3C is almost the same as that of the server 3 in FIG. 1, but the panoramic image creation processing unit 13C uses a fixed center orientation and a fixed center orientation TH and field angle GK. A temporary panoramic image PGK is created using the angle of view. The created temporary panoramic image PGK and data DT such as the set center orientation TH and angle of view GK are transmitted to the client 4C.
クライアント4Cにおいて、パノラマ画像変換部27は、サーバ3Cから送信されてきた仮のパノラマ画像PGKを、同じく送信されてきた中心方位THおよび画角GKに基づいて変換し、新しいパノラマ画像PGを作成する。つまり、パノラマ画像変換部27は、パノラマ画像PGKを、送信された中心方位THを中心位置とし且つ送信された画角GKに対応する範囲のパノラマ画像PGに変換する。また、クライアント4Cにおいて設定した中心方位THや画角GKに基づいたパノラマ画像PGを作成することも可能である。 In the client 4C, the panorama image conversion unit 27 converts the temporary panorama image PGK transmitted from the server 3C based on the center direction TH and the angle of view GK transmitted in the same manner, and creates a new panorama image PG. . That is, the panorama image conversion unit 27 converts the panorama image PGK into a panorama image PG in the range corresponding to the transmitted angle of view GK with the transmitted center direction TH as the center position. It is also possible to create a panoramic image PG based on the center orientation TH and the angle of view GK set in the client 4C.
上に述べたような実施形態および変形例において、中心方位THおよび画角GKをユーザが設定するのではなく、サーバにおいて画像認識処理部を設け、全方位画像(全方位画像を構成する画像を含む)FCに対し、その画像内の被写体(対象物体)についての画像認識を行うことによって、対象物体Q、その他の物体を検出し、検出された物体に応じて中心方位THおよび画角GKを自動的に設定するようにしてもよい。 In the embodiment and the modification as described above, the user does not set the center orientation TH and the angle of view GK, but an image recognition processing unit is provided in the server, and an omnidirectional image (an image constituting the omnidirectional image is displayed). The target object Q and other objects are detected by performing image recognition on the subject (target object) in the image, and the center direction TH and the angle of view GK are set according to the detected object. It may be set automatically.
また、対象物体Qを検出するためのセンサを別途設けておき、センサによって対象物体Qの方位、位置、またはサイズなどを検出し、検出結果に基づいて中心方位THおよび画角GKなどを自動的に設定するようにしてもよい。そのようなセンサとして、例えば、赤外線センサや超音波センサなどの公知の種々のセンサを用いることが可能である。 In addition, a sensor for detecting the target object Q is separately provided, and the azimuth, position, or size of the target object Q is detected by the sensor, and the center direction TH and the angle of view GK are automatically determined based on the detection result. You may make it set to. As such a sensor, for example, various known sensors such as an infrared sensor and an ultrasonic sensor can be used.
さらに、全方位画像取得部11を、自走ロボットのように向きを変更することの可能な移動体に対してそれ自体の向きを変更可能に取り付けておき、移動体の向きを示す情報に基づいて、中心方位THおよび画角GKを自動的に設定することも可能である。 Furthermore, the omnidirectional image acquisition unit 11 is attached to a movable body whose direction can be changed, such as a self-propelled robot, so that its own direction can be changed, and based on information indicating the direction of the movable body. Thus, it is possible to automatically set the center direction TH and the angle of view GK.
また、中心方位THと画角GKのみでなく、画像の大きさ(サイズ)を設定し、設定された大きさに応じてパノラマ画像PGを作成しまたは変更してもよい。例えば、画像内の被写体についての画像認識を行うことによって、対象物体その他の物体を検出し、検出された物体またはその属性や個数などに応じてパノラマ画像のサイズを変えてもよい。 Further, not only the center direction TH and the angle of view GK but also the size (size) of the image may be set, and the panoramic image PG may be created or changed according to the set size. For example, a target object or other object may be detected by performing image recognition on a subject in the image, and the size of the panoramic image may be changed according to the detected object or its attribute or number.
また、サーバにおいて、パノラマ画像PGを表示し記録してもよい。スタンドアローンなどのシステム構成としてもよい。 Further, the panorama image PG may be displayed and recorded on the server. A system configuration such as stand-alone may be used.
次に、パノラマ画像作成処理部13,26またはパノラマ画像変換部27における中心位置の画像の変更の方法の例について説明する。 Next, an example of a method of changing the image at the center position in the panorama image creation processing units 13 and 26 or the panorama image conversion unit 27 will be described.
図11はパノラマ画像PGの中心位置の画像の変更をハード的に行う場合の例を説明する図、図12は中心位置の画像の変更をソフト的に行う場合の例を説明する図である。 FIG. 11 is a diagram for explaining an example in which the image at the center position of the panoramic image PG is changed in hardware, and FIG. 12 is a diagram for explaining an example in which the image at the center position is changed in software.
パノラマ画像PGの中心位置の変更をハード的に行うには、例えば、ポート番号や物理的なスイッチの制御によって、カメラCMからの出力画像とパノラマ画像作成処理部13などにおける入力画像との対応関係を変更する。 In order to change the center position of the panorama image PG in hardware, for example, the correspondence between the output image from the camera CM and the input image in the panorama image creation processing unit 13 or the like is controlled by a port number or physical switch. To change.
図11(A)において、4つのカメラCM1〜4が、回転リング71の外周面に90度ごとに取り付けられており、各カメラCM1〜4の出力は、固定軸72に設けられがスリップリング73を介して、各画像ラインLN1〜4に接続される。図11(A)においては、各カメラCM1〜4の出力は、それぞれ画像ラインLN1〜4に接続されている。しかし、図11(B)に示すように回転リング71が90度右方向に回転した後では、カメラCM1は画像ラインLN2と、カメラCM2は画像ラインLN3と、カメラCM3は画像ラインLN4と、カメラCM4は画像ラインLN1と、それぞれ接続され、画像FH1〜4としてそれぞれ入力される。これらの画像FH1〜4を順次繋げることによって、パノラマ画像PGが作成される。回転リング71が回転すると、つまりカメラCM1〜4が回転すると、各カメラCM1〜4と、パノラマ画像作成処理部13に入力される画像FH1〜4との対応関係が変わるので、画像FH1〜4の内容または配置が変更され、その結果、パノラマ画像PGの中心位置の画像が変更される。この場合に、スリップリング73を含む構成が、本発明の「複数の画像の互いの配置を変更する手段」に相当する。 In FIG. 11A, four cameras CM1 to CM4 are attached to the outer peripheral surface of the rotating ring 71 every 90 degrees, and the outputs of the cameras CM1 to CM4 are provided on a fixed shaft 72, but are slip rings 73. Are connected to the image lines LN1 to LN4. In FIG. 11A, the outputs of the cameras CM1 to CM4 are connected to the image lines LN1 to LN4, respectively. However, as shown in FIG. 11B, after the rotation ring 71 is rotated 90 degrees rightward, the camera CM1 is the image line LN2, the camera CM2 is the image line LN3, the camera CM3 is the image line LN4, and the camera CM4 is connected to the image line LN1 and inputted as images FH1 to FH4, respectively. A panoramic image PG is created by sequentially connecting these images FH1 to FH4. When the rotation ring 71 rotates, that is, when the cameras CM1 to CM4 rotate, the correspondence relationship between the cameras CM1 to CM4 and the images FH1 to F4 input to the panorama image creation processing unit 13 changes. The content or arrangement is changed, and as a result, the image at the center position of the panoramic image PG is changed. In this case, the configuration including the slip ring 73 corresponds to “means for changing the arrangement of a plurality of images” of the present invention.
図12(A)において、4つのカメラCM1〜4の出力は、それぞれバッファBF1〜4に入力される。つまり、各カメラCM1〜4の出力とバッファBF1〜4との関係は一定である。しかし、バッファBF1〜4と画像FH1〜4の関係が、ソフト的に変更される。つまり、図12(A)においては、バッファBF1〜4に入力された画像は、それぞれ画像FH1〜4として用いられるが、図12(B)においては、バッファBF1〜4に入力された画像は、それぞれ画像FH2,3,4,1として用いられる。このような変更は、バッファBF1〜4から画像を読み出す際のアドレスを制御することによって行うことができる。このように、ハード的な仕組みを設けることなくソフト的にパノラマ画像PGの中心位置の画像を変更することができる。この場合に、バッファBF1〜4のメモリ領域のアドレスを制御して画像を読み出す構成が、本発明の「先頭のアドレスの順序を互いに変更する手段」に相当する。 In FIG. 12A, the outputs of the four cameras CM1 to CM4 are input to the buffers BF1 to BF4, respectively. That is, the relationship between the outputs of the cameras CM1 to CM4 and the buffers BF1 to BF4 is constant. However, the relationship between the buffers BF1 to BF4 and the images FH1 to FH4 is changed in software. That is, in FIG. 12A, the images input to the buffers BF1 to BF4 are used as the images FH1 to FH4, respectively. In FIG. 12B, the images input to the buffers BF1 to BF4 are These are used as images FH2, 3, 4, 1 respectively. Such a change can be made by controlling an address when images are read from the buffers BF1 to BF4. Thus, the image at the center position of the panoramic image PG can be changed in software without providing a hardware mechanism. In this case, the configuration for reading the image by controlling the addresses of the memory areas of the buffers BF1 to BF4 corresponds to the “means for changing the order of the top addresses to each other” of the present invention.
次に、サーバ3を移動体に搭載した場合の例について説明する。 Next, an example when the server 3 is mounted on a mobile object will be described.
図13は走行ロボット51にサーバ3を搭載した場合の概観を示す図、図14は得られたパノラマ画像PG5,6の例を示す図、図15は得られたパノラマ画像PG7,8の例を示す図である。 13 is a diagram showing an overview when the server 3 is mounted on the traveling robot 51, FIG. 14 is a diagram showing examples of the obtained panoramic images PG5 and 6, and FIG. 15 is an example of the obtained panoramic images PG7 and 8. FIG.
図13において、走行ロボット51は、本体52、および本体52に設けられた4つのタイヤ53などからなる。タイヤ53は正転または逆転方向の駆動回転し、また回転速度の制御も行われ、舵を取りながら自走することができる。本体52の上部には、全方位画像FCを取得するための全方位カメラCMZ、および、詳細画像を取得するためのメインカメラCMMが搭載されている。これらのカメラCMZ,CMMは、次の2種類のいずれかの取り付け方法で本体52に取り付けられる。
(1) メインカメラCMMと全方位カメラCMZとが一体化された状態で、本体52に回転可能に取り付けられている。本体52の正面や進行方向とメインカメラCMMおよび全方位カメラCMZの向きとがメカ的に独立しているタイプ。
(2) 全方位カメラCMZが本体52に一体化されて取り付けられており、同じ部位にメインカメラCMMが回転可能に取り付けられている。メインカメラCMMの向きと全方位カメラCMZの向きとがメカ的に独立しているタイプ。
In FIG. 13, the traveling robot 51 includes a main body 52 and four tires 53 provided on the main body 52. The tire 53 is driven to rotate in the normal direction or the reverse direction, and the rotational speed is controlled, so that the tire 53 can self-run while being steered. An omnidirectional camera CMZ for acquiring an omnidirectional image FC and a main camera CMM for acquiring a detailed image are mounted on the upper part of the main body 52. These cameras CMZ and CMM are attached to the main body 52 by one of the following two attachment methods.
(1) The main camera CMM and the omnidirectional camera CMZ are integrated with each other so as to be rotatable. A type in which the front and traveling directions of the main body 52 and the directions of the main camera CMM and the omnidirectional camera CMZ are mechanically independent.
(2) The omnidirectional camera CMZ is integrated and attached to the main body 52, and the main camera CMM is rotatably attached to the same part. A type in which the orientation of the main camera CMM and the orientation of the omnidirectional camera CMZ are mechanically independent.
この2通りがある。図14は(1)のタイプによる場合であり、図15は(2)のタイプによる場合である。 There are two ways. FIG. 14 shows a case of the type (1), and FIG. 15 shows a case of the type (2).
走行ロボット51は、道路DRを走行しており、したがって道路DRの前方が正面であり進行方向でもある。前方でクロスする道路を走行しているトラックを、メインカメラCMMが対象物体Qとしてとらえたとする。メインカメラCMMは対象物体Qを追尾している。図14(A)に示すパノラマ画像PG5は、メインカメラCMMの向きを中心方位THとして作成したものである。時間が経過した後では、対象物体Qが移動してこれをメインカメラCMMが追尾しているので、図14(B)に示すパノラマ画像PG6となる。 The traveling robot 51 is traveling on the road DR, and therefore, the front of the road DR is the front and the traveling direction. Assume that the main camera CMM views a track traveling on a road crossing ahead as the target object Q. The main camera CMM tracks the target object Q. A panoramic image PG5 shown in FIG. 14A is created with the direction of the main camera CMM as the center direction TH. After the elapse of time, the target object Q moves and is tracked by the main camera CMM, so that a panoramic image PG6 shown in FIG. 14B is obtained.
図14(B)に示すパノラマ画像PG6では、対象物体Qは中心位置にあって見やすいが、正面である道路DRは一層右方に寄ってしまい、見にくくなる。つまり、この場合には、進行方向または正面を常にパノラマ画像PG5,6の中心位置とするようにならないので、正面である道路DRを注視したい場合に対応できない。 In the panoramic image PG6 shown in FIG. 14B, the target object Q is easy to see at the center position, but the front road DR is further to the right, making it difficult to see. That is, in this case, since the traveling direction or the front is not always set as the center position of the panoramic images PG5 and PG6, it is not possible to deal with the case where it is desired to gaze at the front road DR.
そこで、本実施形態では、上に説明したように、種々の方法で中心方位THおよび画角GKを任意に設定する。例えば、操作入力部15を操作することによって、道路DRの方向を中心方位THとして設定する。対象物体Qを注視したい場合には対象物体Qを中心方位THとして設定する。 Therefore, in the present embodiment, as described above, the center direction TH and the angle of view GK are arbitrarily set by various methods. For example, by operating the operation input unit 15, the direction of the road DR is set as the center direction TH. When it is desired to gaze at the target object Q, the target object Q is set as the center direction TH.
また、走行ロボット51の走行方向を中心方位THとして自動的に設定する。画像認識などによって対象物体Qを検出し、対象物体Qの方向を中心方位THとして設定する。必要に応じて、中心方位THの設定方法を切り替える。 Further, the traveling direction of the traveling robot 51 is automatically set as the center direction TH. The target object Q is detected by image recognition or the like, and the direction of the target object Q is set as the center direction TH. If necessary, the setting method of the center direction TH is switched.
図15(A)に示すパノラマ画像PG7は、走行ロボット51の走行方向を中心方位THとして作成したものである。時間が経過した後では、対象物体Qが移動したので、図15(B)に示すパノラマ画像PG8となる。 A panoramic image PG7 shown in FIG. 15A is created with the traveling direction of the traveling robot 51 as the center direction TH. After the time has elapsed, the target object Q has moved, so that a panoramic image PG8 shown in FIG. 15B is obtained.
図15(B)に示すパノラマ画像PG8では、道路DRは中心位置にあって見やすいが、対象物体Qは一層左方に寄って端部に達してしまい、見辛くなっている。つまり、この場合には、メインカメラCMMで追尾する対象物体Qをパノラマ画像PGの中心位置にもってくるといったことができない。メインカメラCMMの注目領域の位置がパノラマ画像PG7,8の中で変化するので、注目領域付近が見辛い。 In the panoramic image PG8 shown in FIG. 15B, the road DR is at the center position and is easy to see, but the target object Q is further left and reaches the end, making it difficult to see. That is, in this case, the target object Q to be tracked by the main camera CMM cannot be brought to the center position of the panoramic image PG. Since the position of the attention area of the main camera CMM changes in the panoramic images PG7 and 8, the vicinity of the attention area is difficult to see.
そこで、本実施形態では、上に説明したように、種々の方法で中心方位THおよび画角GKを任意に設定する。例えば、操作入力部15を操作することによって、対象物体Qまたは道路DRの方向を中心方位THとして設定する。 Therefore, in the present embodiment, as described above, the center direction TH and the angle of view GK are arbitrarily set by various methods. For example, the direction of the target object Q or the road DR is set as the center direction TH by operating the operation input unit 15.
また、上と同様に、走行ロボット51の走行方向を中心方位THとして設定し、または画像認識などによって対象物体Qの方向を中心方位THとして設定する。 Similarly to the above, the traveling direction of the traveling robot 51 is set as the center direction TH, or the direction of the target object Q is set as the center direction TH by image recognition or the like.
このように、パノラマ画像PGの中心位置を任意に設定可能とすることにより、目的に合った見やすい画像を得ることができる。また、画像を拡大した場合でも、注目領域が端に寄ってしまったり視野から外れてしまうといったことを防ぐことが可能である。 In this way, by making it possible to arbitrarily set the center position of the panoramic image PG, an easy-to-view image suitable for the purpose can be obtained. In addition, even when the image is enlarged, it is possible to prevent the attention area from approaching the edge or being out of the field of view.
上述の実施形態において、全方位画像取得部11として、例えば水平方向の360度の全周の画像をとるのではなく、全方向の全周の画像をとる全天球タイプのものを用いることも可能である。 In the above-described embodiment, as the omnidirectional image acquisition unit 11, for example, an omnidirectional type that takes an image of 360 degrees in the horizontal direction and takes an image of the entire circumference in all directions may be used. Is possible.
その他、全方位画像取得部11、パノラマ画像端設定部12、パノラマ画像作成処理部13、サーバ、クライアント、画像生成システムなどの全体または各部の構造、構成、形状、寸法、個数、画像の内容などは、本発明の趣旨に沿って適宜変更することができる。 In addition, the omnidirectional image acquisition unit 11, the panorama image edge setting unit 12, the panorama image creation processing unit 13, the server, the client, the image generation system, etc., or the structure, configuration, shape, dimensions, number, image contents, etc. of each part Can be appropriately changed in accordance with the gist of the present invention.
本発明は、探索用ロボットまたは救助用ロボットなどに用いる画像生成装置として利用することが可能である。 The present invention can be used as an image generation device used for a search robot or a rescue robot.
1,1B,1C 画像生成システム(画像生成装置)
3,3B,3C サーバ
4,4B,4C クライアント
11 全方位画像取得部(周囲画像取得手段)
12 パノラマ画像端設定部(パノラマ画像端設定手段)
13 パノラマ画像作成処理部(パノラマ画像作成手段)
15 操作入力部(操作入力手段)
22 表示部(表示手段)
26 パノラマ画像作成処理部(パノラマ画像作成手段)
27 パノラマ画像変換部(パノラマ画像変換手段)
51 走行ロボット(移動体)
121 画像認識処理部
CM カメラ
TH 中心方位
GK 画角
FC 全方位画像(周囲画像)
PG パノラマ画像
1,1B, 1C Image generation system (image generation device)
3, 3B, 3C server 4, 4B, 4C client 11 Omnidirectional image acquisition unit (ambient image acquisition means)
12 panoramic image edge setting section (panoramic image edge setting means)
13 Panorama image creation processing unit (panorama image creation means)
15 Operation input section (operation input means)
22 Display section (display means)
26 Panorama image creation processing unit (panorama image creation means)
27 Panorama image conversion unit (panorama image conversion means)
51 Traveling robot (moving body)
121 Image Recognition Processing Unit CM Camera TH Center Direction GK Angle of View FC Omnidirectional Image (Ambient Image)
PG panorama image
Claims (8)
前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、
前記周囲画像取得手段により取得された周囲画像の全部または一部から、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲の画像を抽出してパノラマ画像を作成するパノラマ画像作成手段と、
を有することを特徴とする画像生成装置。 Ambient image acquisition means configured to include one or a plurality of cameras to acquire an ambient image;
Panoramic image edge setting means for setting the center direction and angle of view of the surrounding image acquired by the surrounding image acquisition means;
A panorama is extracted from all or a part of the surrounding images acquired by the surrounding image acquisition unit by extracting an image in a range corresponding to the angle of view and having the central orientation set by the panoramic image edge setting unit as a central position. Panoramic image creation means for creating an image;
An image generation apparatus comprising:
請求項1記載の画像生成装置。 The panoramic image edge setting means includes an operation input means that can be set by a user manually.
The image generation apparatus according to claim 1.
前記周囲画像取得手段により取得された周囲画像または当該周囲画像を構成する画像に対し、その画像内の被写体についての画像認識を行うことによって、前記中心方位および前記画角を取得する手段を含む、
請求項1記載の画像生成装置。 The panoramic image edge setting means
Means for acquiring the central orientation and the angle of view by performing image recognition on a subject in the image with respect to the surrounding image acquired by the surrounding image acquiring unit or an image constituting the surrounding image;
The image generation apparatus according to claim 1.
前記パノラマ画像端設定手段は、前記移動体の向きを示す情報に基づいて前記中心方位および前記画角を取得する手段を含む、
請求項1記載の画像生成装置。 The surrounding image acquisition means is attached to a movable body whose orientation can be changed so that the orientation of the surrounding image acquisition means itself can be changed,
The panoramic image edge setting means includes means for acquiring the center direction and the angle of view based on information indicating the direction of the moving body.
The image generation apparatus according to claim 1.
パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像の互いの配置を変更する手段を含む、
請求項1記載の画像生成装置。 The surrounding image acquisition means includes a plurality of cameras,
The panoramic image creation means includes means for changing the arrangement of a plurality of images obtained from the plurality of cameras.
The image generation apparatus according to claim 1.
パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像を読み出す際のそれぞれの先頭のアドレスの順序を互いに変更する手段を含む、
請求項1記載の画像生成装置。 The surrounding image acquisition means includes a plurality of cameras,
The panoramic image creation means includes means for mutually changing the order of the respective leading addresses when reading a plurality of images obtained from the plurality of cameras.
The image generation apparatus according to claim 1.
前記周囲画像取得手段により取得された周囲画像からパノラマ画像を作成するパノラマ画像作成手段と、
前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、
前記パノラマ画像作成手段により作成されたパノラマ画像を、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲のパノラマ画像に変換するパノラマ画像変換手段と、
前記パノラマ画像変換手段により変換された後のパノラマ画像を表示する表示手段と、
を有することを特徴とする画像生成システム。 Ambient image acquisition means configured to include one or a plurality of cameras to acquire an ambient image;
Panorama image creation means for creating a panorama image from the surrounding image acquired by the surrounding image acquisition means;
Panoramic image edge setting means for setting the center direction and angle of view of the surrounding image acquired by the surrounding image acquisition means;
Panorama image conversion means for converting the panorama image created by the panorama image creation means into a panorama image having a center position set by the panorama image edge setting means and a range corresponding to the angle of view;
Display means for displaying a panoramic image after being converted by the panoramic image converting means;
An image generation system comprising:
前記パノラマ画像変換手段および前記表示手段は、クライアントに設けられており、
前記サーバから前記クライアントに対して、前記パノラマ画像作成手段により作成されたパノラマ画像および前記パノラマ画像端設定手段により設定された前記中心方位並びに前記画角についての情報が送信されるように構成されている、
請求項7記載の画像生成システム。
The surrounding image acquisition means, the panorama image creation means, and the panorama image edge setting means are provided in a server,
The panoramic image conversion means and the display means are provided in a client,
The server is configured to transmit information about the panorama image created by the panorama image creation means and the center orientation and the angle of view set by the panorama image edge setting means to the client. Yes,
The image generation system according to claim 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005018285A JP2006211105A (en) | 2005-01-26 | 2005-01-26 | Image formation apparatus and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005018285A JP2006211105A (en) | 2005-01-26 | 2005-01-26 | Image formation apparatus and system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006211105A true JP2006211105A (en) | 2006-08-10 |
Family
ID=36967492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005018285A Pending JP2006211105A (en) | 2005-01-26 | 2005-01-26 | Image formation apparatus and system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006211105A (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010068071A (en) * | 2008-09-09 | 2010-03-25 | Fujifilm Corp | Imaging device and method, image processor and method, and image processing program |
JP2010278587A (en) * | 2009-05-27 | 2010-12-09 | Sony Corp | Image pickup apparatus, electronic device, panoramic image recording method, and program |
CN102111545A (en) * | 2009-12-28 | 2011-06-29 | 索尼公司 | Image processing apparatus, image processing method, and program |
WO2011108043A1 (en) | 2010-03-04 | 2011-09-09 | パナソニック株式会社 | Image display device and image display method |
JP2011244116A (en) * | 2010-05-17 | 2011-12-01 | Panasonic Corp | Panoramic expanded image photography system and method |
JP2013034142A (en) * | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | Peripheral image display device |
JP2013218278A (en) * | 2012-03-16 | 2013-10-24 | Ricoh Co Ltd | Imaging system |
JP2015053573A (en) * | 2013-09-06 | 2015-03-19 | キヤノン株式会社 | Image recording apparatus and imaging apparatus |
WO2017113731A1 (en) * | 2015-12-28 | 2017-07-06 | 乐视控股(北京)有限公司 | 360-degree panoramic displaying method and displaying module, and mobile terminal |
EP3367662A1 (en) * | 2009-06-09 | 2018-08-29 | Sony Corporation | Control device, camera system, and program |
WO2018168825A1 (en) * | 2017-03-14 | 2018-09-20 | 株式会社ニコン | Image processing device and electronic equipment |
WO2018168823A1 (en) * | 2017-03-14 | 2018-09-20 | 株式会社ニコン | Image processing device and electronic equipment |
WO2018168824A1 (en) * | 2017-03-14 | 2018-09-20 | 株式会社ニコン | Image processing device and electronic equipment |
JP2020043533A (en) * | 2018-09-13 | 2020-03-19 | 凸版印刷株式会社 | Video transmission system, video transmission device, and video transmission program |
-
2005
- 2005-01-26 JP JP2005018285A patent/JP2006211105A/en active Pending
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010068071A (en) * | 2008-09-09 | 2010-03-25 | Fujifilm Corp | Imaging device and method, image processor and method, and image processing program |
JP2010278587A (en) * | 2009-05-27 | 2010-12-09 | Sony Corp | Image pickup apparatus, electronic device, panoramic image recording method, and program |
US10506157B2 (en) | 2009-05-27 | 2019-12-10 | Sony Corporation | Image pickup apparatus, electronic device, panoramic image recording method, and program |
US8791983B2 (en) | 2009-05-27 | 2014-07-29 | Sony Corporation | Image pickup apparatus and associated methodology for generating panoramic images based on location and orientation information |
US10091416B2 (en) | 2009-05-27 | 2018-10-02 | Sony Corporation | Image pickup apparatus, electronic device, panoramic image recording method, and program |
EP3367662A1 (en) * | 2009-06-09 | 2018-08-29 | Sony Corporation | Control device, camera system, and program |
US11477375B2 (en) | 2009-06-09 | 2022-10-18 | Sony Corporation | Control device, camera system, and program |
EP3923565A1 (en) * | 2009-06-09 | 2021-12-15 | Sony Group Corporation | Control device, camera system, and program |
US10798280B2 (en) | 2009-06-09 | 2020-10-06 | Sony Corporation | Control device, camera system, and program |
CN102111545A (en) * | 2009-12-28 | 2011-06-29 | 索尼公司 | Image processing apparatus, image processing method, and program |
JP2011139376A (en) * | 2009-12-28 | 2011-07-14 | Sony Corp | Image processing apparatus, image processing method, and program |
US9001185B2 (en) | 2009-12-28 | 2015-04-07 | Sony Corporation | Image processing apparatus, image processing method, and program |
US8907985B2 (en) | 2010-03-04 | 2014-12-09 | Panasonic Corporation | Image display device and image display method |
WO2011108043A1 (en) | 2010-03-04 | 2011-09-09 | パナソニック株式会社 | Image display device and image display method |
US9374528B2 (en) | 2010-05-17 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Panoramic expansion image display device and method of displaying panoramic expansion image |
JP2011244116A (en) * | 2010-05-17 | 2011-12-01 | Panasonic Corp | Panoramic expanded image photography system and method |
JP2013034142A (en) * | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | Peripheral image display device |
US9736372B2 (en) | 2012-03-16 | 2017-08-15 | Ricoh Company, Ltd. | Imaging system |
US9185279B2 (en) | 2012-03-16 | 2015-11-10 | Ricoh Company, Ltd. | Imaging system |
US9992414B2 (en) | 2012-03-16 | 2018-06-05 | Ricoh Company, Ltd. | Imaging system |
US10855919B2 (en) | 2012-03-16 | 2020-12-01 | Ricoh Company, Ltd. | Imaging system |
US10382681B2 (en) | 2012-03-16 | 2019-08-13 | Ricoh Company, Ltd. | Imaging system |
JP2013218278A (en) * | 2012-03-16 | 2013-10-24 | Ricoh Co Ltd | Imaging system |
US9456113B2 (en) | 2012-03-16 | 2016-09-27 | Ricoh Company, Ltd. | Imaging system |
JP2015053573A (en) * | 2013-09-06 | 2015-03-19 | キヤノン株式会社 | Image recording apparatus and imaging apparatus |
WO2017113731A1 (en) * | 2015-12-28 | 2017-07-06 | 乐视控股(北京)有限公司 | 360-degree panoramic displaying method and displaying module, and mobile terminal |
CN110622501A (en) * | 2017-03-14 | 2019-12-27 | 株式会社尼康 | Image processing apparatus and electronic device |
JPWO2018168823A1 (en) * | 2017-03-14 | 2020-01-16 | 株式会社ニコン | Image processing device and electronic equipment |
WO2018168824A1 (en) * | 2017-03-14 | 2018-09-20 | 株式会社ニコン | Image processing device and electronic equipment |
US10992861B2 (en) | 2017-03-14 | 2021-04-27 | Nikon Corporation | Image processing device and electronic device |
CN110622501B (en) * | 2017-03-14 | 2021-10-01 | 株式会社尼康 | Image processing apparatus and electronic device |
WO2018168823A1 (en) * | 2017-03-14 | 2018-09-20 | 株式会社ニコン | Image processing device and electronic equipment |
WO2018168825A1 (en) * | 2017-03-14 | 2018-09-20 | 株式会社ニコン | Image processing device and electronic equipment |
JP7172982B2 (en) | 2017-03-14 | 2022-11-16 | 株式会社ニコン | Image processing device |
US11716539B2 (en) | 2017-03-14 | 2023-08-01 | Nikon Corporation | Image processing device and electronic device |
JP2020043533A (en) * | 2018-09-13 | 2020-03-19 | 凸版印刷株式会社 | Video transmission system, video transmission device, and video transmission program |
JP7256491B2 (en) | 2018-09-13 | 2023-04-12 | 凸版印刷株式会社 | VIDEO TRANSMISSION SYSTEM, VIDEO TRANSMISSION DEVICE, AND VIDEO TRANSMISSION PROGRAM |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006211105A (en) | Image formation apparatus and system | |
JP4508257B2 (en) | Composition determination apparatus, composition determination method, and program | |
JP5054971B2 (en) | Digital 3D / 360 degree camera system | |
JP4262014B2 (en) | Image photographing apparatus and image processing method | |
JP3290993B2 (en) | Method and apparatus for creating a spherical image | |
JP4385963B2 (en) | Image processing device | |
WO2004084542A1 (en) | Panoramic picture creating method and device, and monitor system using the method and device | |
JP6226538B2 (en) | Display control apparatus, display control method, and program | |
JP2002503893A (en) | Virtual reality camera | |
JP2013027021A (en) | Omnidirectional imaging device and omnidirectional imaging method | |
JP3489510B2 (en) | Camera system and display device | |
WO2009066988A2 (en) | Device and method for a surveillance system | |
JP2007295335A (en) | Camera device and image recording and reproducing method | |
JP2010199971A (en) | Image pickup apparatus, imaging method, and program | |
JP6271917B2 (en) | Image recording apparatus and imaging apparatus | |
JP2006303989A (en) | Monitor device | |
JP2001333303A (en) | Omnidirectional vision system | |
JP5195646B2 (en) | Imaging device | |
JP2011066517A (en) | Imaging system, imager, information processor, and imaging method | |
US11195295B2 (en) | Control system, method of performing analysis and storage medium | |
JPH11164292A (en) | Image generating device, image presentation device, image generating method and image synthetic method | |
JP4266736B2 (en) | Image processing method and apparatus | |
JP2022102923A (en) | Virtual studio system | |
EP3595287A1 (en) | Capturing video content with at least two cameras of a multi-camera rig | |
JP2010148028A (en) | Observation instrument |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091117 |