JP2005348448A - Panorama imaging apparatus - Google Patents

Panorama imaging apparatus Download PDF

Info

Publication number
JP2005348448A
JP2005348448A JP2005254002A JP2005254002A JP2005348448A JP 2005348448 A JP2005348448 A JP 2005348448A JP 2005254002 A JP2005254002 A JP 2005254002A JP 2005254002 A JP2005254002 A JP 2005254002A JP 2005348448 A JP2005348448 A JP 2005348448A
Authority
JP
Japan
Prior art keywords
imaging
image
panoramic
video
panorama
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005254002A
Other languages
Japanese (ja)
Inventor
Naoyasu Hosonuma
Toshiyuki Iijima
Masakazu Koyanagi
Ken Tamayama
Tadafusa Tomitaka
忠房 富高
正和 小柳
研 玉山
直泰 細沼
利幸 飯島
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, ソニー株式会社 filed Critical Sony Corp
Priority to JP2005254002A priority Critical patent/JP2005348448A/en
Publication of JP2005348448A publication Critical patent/JP2005348448A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a panorama imaging apparatus forming a high quality panorama image easily by remote operation. <P>SOLUTION: The imaging apparatus 10 changes the imaging angle of view by driving a lens 16 for variable magnification and regulates a zoom motor 17 by rotating it in response to a drive instruction of a camera controller 2. The imaging apparatus 10 is arranged on a rotary universal head 4 having degree of freedom in the rotational direction of two axes of pan and tilt, and adjusts the imaging direction of the imaging apparatus 10 by rotating a pan motor 5 and a tilt motor 6 in response to a drive instruction of a pan/tilter controller 3. Command of adjustment is transmitted from a computer 30 through a communication line, e.g. RS232C, to a mode controller 1, and to the camera controller 2 and the pan/tilter controller 3. A photographed image and a panorama image are displayed on a monitor 21 and an operator designates a photography angle of view while viewing them. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、高品位のパノラマ画像を、遠隔操作を含めて容易に作成できるパノラマ撮像装置に関する。   The present invention relates to a panoramic imaging apparatus capable of easily creating a high-quality panoramic image including remote control.
従来、パノラマ撮影には高価な広角のレンズを撮像装置に装着して行われてきた。しかしながら、近年、低コストの家庭用ビデオカメラの普及に伴い、画像処理技術を導入して広角のレンズを用いずに高品質なパノラマ画像を得る技術が研究され提案されてきている。   Conventionally, panoramic photography has been performed by attaching an expensive wide-angle lens to an imaging device. However, in recent years, with the widespread use of low-cost home video cameras, a technique for obtaining a high-quality panoramic image without using a wide-angle lens by introducing an image processing technique has been studied and proposed.
特に、インターネット等の通信回線を利用して、遠隔地に設置されているビデオカメラの周囲のパノラマ映像を操作者に提供することにより、ビデオカメラを用いた観察、監視、案内等の作業により良い操作性と、視認性を与えることが可能となってきている。   In particular, by using a communication line such as the Internet to provide the operator with a panoramic image around a video camera installed at a remote location, it is better to perform operations such as observation, monitoring and guidance using the video camera. It has become possible to provide operability and visibility.
家庭用ビデオカメラ等を用いてパノラマ画像を得る場合、パノラマ画像の構成画像を順次撮影して、ハードディスク等の記録装置に保存しておき、撮影終了後にそれらを連結して1枚のパノラマ画像を作成する方法が採られている。   When panoramic images are obtained using a home video camera, etc., the constituent images of the panoramic images are sequentially photographed and stored in a recording device such as a hard disk, and after the photographing is finished, they are connected to form a single panoramic image The method of creating is taken.
従来技術として、特許文献1には、被写体を撮像して作成した複数枚の縮小画像をつなぎ合わせてパノラマ静止画像を作成するパノラマ静止画作成装置が開示されている。   As a conventional technique, Patent Document 1 discloses a panoramic still image creation device that creates a panoramic still image by connecting a plurality of reduced images created by imaging a subject.
特開平8−307770号公報JP-A-8-307770
しかしながら、この場合には各映像を撮影している際は、途中の撮影映像が表示されず、撮像装置の駆動中、および通信回線の遅延時間中は現在の撮像の進行状態が分かりにくいという問題があった。また、現在撮影している撮像装置の映像が、パノラマ画像のどの部分に当たるものなのか、視覚的に確認することが困難であった。   However, in this case, when shooting each video, there is a problem that the captured video in the middle is not displayed, and it is difficult to understand the current imaging progress status while the imaging device is being driven and during the delay time of the communication line. was there. Further, it has been difficult to visually confirm which part of the panoramic image the video of the imaging device currently being photographed corresponds to.
従って本発明は、パノラマ画像を形成する各映像を撮影する際に、撮像装置の駆動中、および通信回線の遅延時間中における現在の撮像の進行状態と、現在撮影している撮像装置の映像が、パノラマ画像のどの部分に当たるものかを操作者に視覚的に与え、高品位なパノラマ画像を容易に形成するパノラマ撮像装置を提供することを目的とする。   Therefore, according to the present invention, when shooting each video forming a panoramic image, the current imaging progress state during the driving of the imaging device and the delay time of the communication line, and the video of the imaging device currently being shot are displayed. An object of the present invention is to provide a panoramic imaging device that visually gives an operator which part of a panoramic image corresponds to an operator and easily forms a high-quality panoramic image.
本発明は、上記課題に鑑みなされたものであり、被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段とを具備し、前記撮影し記録した画像を順次表示してパノラマ映像を形成するパノラマ撮像装置を構成する。   The present invention has been made in view of the above-described problems. An imaging unit that captures a subject and outputs a video signal thereof, a recording unit that records a video signal output from the imaging unit, and an output from the imaging unit. Display means for displaying the image signal to be output, drive means for setting the angle of view of the imaging means, control means for controlling the imaging means and the drive means, and a plurality of images obtained by the imaging means And a panoramic imaging apparatus that includes an image processing unit that creates a panoramic video by connecting the images and sequentially displays the captured and recorded images.
また、被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段と、撮像手段が現に撮影している映像を既に得られているパノラマ映像上の所定の位置に重ねて表示する表示制御手段とを具備したパノラマ撮像装置を構成する。   In addition, an imaging unit that captures an image of a subject and outputs a video signal thereof, a recording unit that records a video signal output from the imaging unit, a display unit that displays a video signal output from the imaging unit, Driving means for setting the angle of view of the imaging means, control means for controlling the imaging means and the driving means, and image processing means for creating a panoramic video by connecting a plurality of videos obtained by the imaging means And a panorama imaging apparatus comprising display control means for displaying the image currently captured by the imaging means in a predetermined position on the already obtained panoramic image.
さらに、前記パノラマ撮像装置に撮像手段から出力される映像信号、および記録手段に記録されている映像信号を伝送する伝送手段と、該伝送手段を制御する制御手段とを具備して上記課題を解決する。   Further, the panoramic imaging apparatus comprises a transmission means for transmitting a video signal output from the imaging means and a video signal recorded in the recording means, and a control means for controlling the transmission means to solve the above problem. To do.
パノラマ画像を表示する領域のうち撮像の終了していない部分を、例えばグレーで表示して1枚のパノラマ映像として表示するため、パノラマ画像の撮影および画像処理の進行状況を視覚的に確認できる。また、既に作成したパノラマ画像に現在撮影している映像を、所定の位置にはめ込んで表示することにより、画像を取り込む前にパノラマ画像との位置関係を視覚的に確認できる。さらに、上記パノラマ撮像装置に映像信号を伝送する伝送手段と伝送を制御する制御手段とを具備することにより、遠隔地からの操作で高品位なパノラマ画像を容易に形成できる。   A portion of the panorama image display area where imaging has not been completed is displayed in gray, for example, and displayed as a single panoramic image, so that the progress of the panorama image shooting and image processing can be visually confirmed. In addition, by displaying a video that is currently being captured in a panoramic image that has already been created and displayed at a predetermined position, the positional relationship with the panoramic image can be visually confirmed before the image is captured. Furthermore, a high-quality panoramic image can be easily formed by operation from a remote place by providing the panoramic imaging apparatus with a transmission means for transmitting a video signal and a control means for controlling the transmission.
本発明のパノラマ撮像装置によると、パノラマ画像を表示する領域のうち撮像の終了していない部分を、例えばグレーで表示して1枚のパノラマ映像として表示するため、パノラマ画像の撮影および画像処理の進行状況を視覚的に確認でき、また、既に作成したパノラマ画像に現在撮影している映像を、所定の位置にはめ込んで表示することにより、画像を取り込む前にパノラマ画像との位置関係を視覚的に確認できる。   According to the panorama imaging apparatus of the present invention, a portion of the panorama image display area where imaging has not been completed is displayed in gray, for example, and displayed as a single panoramic image. The progress status can be checked visually, and the video currently captured in the already created panorama image is displayed in a predetermined position, so that the positional relationship with the panorama image can be visualized before the image is captured. Can be confirmed.
さらに、上記パノラマ撮像装置に映像信号を伝送する伝送手段と伝送を制御する制御手段とを具備することにより、遠隔地からの操作においてもパノラマ画像の撮影と作成の進行状況、および現在撮影している映像がパノラマ画像の中で占める位置を操作者が視覚的に確認でき、高品位のパノラマ画像を容易に作成することが可能となる。   Furthermore, by providing a transmission means for transmitting a video signal to the panorama image pickup device and a control means for controlling the transmission, the panorama image photographing and creation progress and the current photographing can be performed even from a remote place. The operator can visually confirm the position that the existing video occupies in the panoramic image, and a high-quality panoramic image can be easily created.
本発明に係わる実施の形態の例について、図1および図7を参照して説明する。図1は本発明に係わる、パノラマ撮像装置のシステム構成を示し、図2はその制御アルゴリズムを示す。また、図3はパノラマ撮像装置のタイマーイベントのアルゴリズムを示し、図4R>4はパノラマ作成イベントのアルゴリズムを示し、図5はパノラマ画像作成処理のアルゴリズムを示す。さらに、図6はパノラマ画像の作成進行状態を示す図であり、図7はパノラマ画像上に現在撮影している映像の表示形態を示す図である。   An example of an embodiment according to the present invention will be described with reference to FIGS. FIG. 1 shows a system configuration of a panoramic imaging apparatus according to the present invention, and FIG. 2 shows its control algorithm. 3 shows an algorithm for a timer event of the panorama imaging apparatus, FIG. 4R> 4 shows an algorithm for a panorama creation event, and FIG. 5 shows an algorithm for a panorama image creation process. Further, FIG. 6 is a diagram showing a panoramic image creation progress state, and FIG. 7 is a diagram showing a display form of a video currently photographed on the panoramic image.
まず、本発明のパノラマ撮像装置の構成について図1を参照して説明する。撮像装置10は例えばビデオカメラであって、被写体から到達する撮像光をレンズブロック11のレンズ、絞りを通して固体撮像素子であるCCD12上に結像させて視野映像を映像信号に変換した後、信号分離、自動利得調整を行う。信号分離、自動利得調整はSH/AGC13により、映像信号をサンプルホールドすると共に、オートアイリスの制御信号によって所定のゲインとなるように利得制御が行われる。   First, the configuration of the panorama imaging apparatus of the present invention will be described with reference to FIG. The image pickup apparatus 10 is, for example, a video camera, and forms an image on the CCD 12 that is a solid-state image pickup device through the lens and diaphragm of the lens block 11 to form image pickup light arriving from a subject. Perform automatic gain adjustment. For signal separation and automatic gain adjustment, the SH / AGC 13 samples and holds the video signal, and gain control is performed so as to obtain a predetermined gain by an auto iris control signal.
このようにして得られた映像信号はA/D(アナログデジタル変換装置)14でデジタル信号に変換され、信号処理装置15に供給される。信号処理装置15では供給された信号を輝度、色差、ビデオ信号等の信号に変換し、モニター20やコンピュータ30に内蔵するビデオキャプチャー装置31に供給する。   The video signal thus obtained is converted into a digital signal by an A / D (analog / digital converter) 14 and supplied to a signal processor 15. The signal processing device 15 converts the supplied signal into a signal such as a luminance, a color difference, and a video signal, and supplies the converted signal to a video capture device 31 built in the monitor 20 or the computer 30.
また、撮像装置10のレンズブロック11は変倍用レンズ16を駆動することによって撮像する画角を変化させることが可能なズームレンズであり、カメラコントローラ2の駆動命令により、例えばステッピングモータ等を用いたズームモータ17を回転させ、変倍用レンズ16を駆動する。このカメラコントローラ2は撮像装置10のフォーカス、ズーム等のレンズ制御、絞り、ゲイン、電子シャッタースピード等の露出制御、ホワイトバランス制御、画質制御等を常時行うコントローラであると共に、モードコントローラ1と撮像装置10との間のインターフェースをとっている。   The lens block 11 of the image pickup apparatus 10 is a zoom lens that can change the angle of view to be picked up by driving the zoom lens 16. The zoom motor 17 is rotated to drive the zoom lens 16. The camera controller 2 is a controller that constantly performs lens control such as focus and zoom of the image pickup device 10, exposure control such as aperture, gain, and electronic shutter speed, white balance control, image quality control, and the like, and the mode controller 1 and the image pickup device. The interface with 10 is taken.
変倍用レンズ16の制御に関連するカメラコントローラ2のインターフェース制御として、モードコントローラ1から送られてくる変倍用レンズ16の駆動要求に対して、要求された位置に変倍用レンズ16が駆動されるように制御信号をモータのドライバーに出力してズームモータ17の位置を制御すると共に、現在のズームモータ17の位置を常時モードコントローラ1に伝達する。   As an interface control of the camera controller 2 related to the control of the zooming lens 16, the zooming lens 16 is driven at the requested position in response to the driving request of the zooming lens 16 sent from the mode controller 1. Thus, the control signal is output to the motor driver to control the position of the zoom motor 17 and the current position of the zoom motor 17 is always transmitted to the mode controller 1.
また、撮像装置10はパン、チルトといった2軸の回転方向に自由度を有する装置、例えば回転雲台4の上に設置されていて、パンチルタコントローラ3の駆動命令により、ステッピングモータ等を用いたパンモータ5、およびチルトモータ6を回転させ、回転雲台4は2つの軸方向に駆動される。このパンチルタコントローラ3はモードコントローラ1より送られてくる回転雲台4のパン、チルトの各々の方向の駆動要求に対して、回転雲台4が要求された位置に駆動されるように制御信号をモータのドライバーに出力すると共に、現在の回転雲台4の位置を常時モードコントローラ1に伝達する。   The imaging device 10 is installed on a rotating pan head 4 having a degree of freedom in the biaxial rotation directions such as pan and tilt, and uses a stepping motor or the like according to a driving command from the pantilter controller 3. The pan motor 5 and the tilt motor 6 are rotated, and the rotary head 4 is driven in two axial directions. The pantilter controller 3 responds to the driving request in the pan and tilt directions of the rotary head 4 sent from the mode controller 1 so that the rotary head 4 is driven to the requested position. Is output to the motor driver, and the current position of the rotary head 4 is transmitted to the mode controller 1 at all times.
モードコントローラ1は回転雲台4、撮像装置10の設定状態、その他外部から入力される情報に従い、システムを制御する。また、モードコントローラ10はコンピュータ30と例えばRS232Cにより接続され、コンピュータ30からの絶対位置駆動要求に対して、回転雲台4、レンズブロック11の変倍用レンズ16を駆動するようにカメラコントローラ2とパンチルタコントローラ3に指令を伝達し、一方、カメラコントローラ2とパンチルタコントローラ3から送られてくる現在の位置情報をコンピュータ30に伝達する。   The mode controller 1 controls the system according to the rotating pan head 4, the setting state of the imaging device 10, and other information input from the outside. Further, the mode controller 10 is connected to the computer 30 by, for example, RS232C, and in response to an absolute position drive request from the computer 30, the camera controller 2 and the camera controller 2 are driven so as to drive the zoom head 4 and the zoom lens 16 of the lens block 11. A command is transmitted to the pantilter controller 3, while current position information sent from the camera controller 2 and the pantilter controller 3 is transmitted to the computer 30.
本発明では画像処理装置32や制御装置34としてコンピュータ30の機能を用い、また、操作のためにコンピュータ30に接続されたモニター21のグラフィック表示を使用する。ここで入力されたパノラマ画像形成のための操作指令に基づいてモードコントローラ1に伝達する各制御データが決定される。また、別途、入力装置35を設け、ここからも操作指令を入力することが可能である。   In the present invention, the functions of the computer 30 are used as the image processing device 32 and the control device 34, and the graphic display of the monitor 21 connected to the computer 30 is used for operation. Each control data to be transmitted to the mode controller 1 is determined based on the operation command for panorama image formation input here. In addition, an input device 35 is provided separately, and an operation command can be input from here.
また、撮像装置10で得られた映像の表示や、その映像からパノラマ画像を作成し、表示装置に表示するため、ビデオキャプチャー装置31がコンピュータ30に内蔵されている。このビデオキャプチャー装置31は撮像装置10より入力されてくる映像信号を、任意の画質でモニター21に表示することが可能であり、また、キャプチャー信号により任意の画像フォーマット(例えばビットマップ形式、JPEG形式の静止画、JPEG形式の動画等)に、任意の画質で取り込み、コンピュータ30内のハードディスク等で構成される記憶装置33に記憶することができる。   In addition, a video capture device 31 is built in the computer 30 in order to display a video obtained by the imaging device 10, create a panoramic image from the video, and display the panoramic image on the display device. The video capture device 31 can display the video signal input from the imaging device 10 on the monitor 21 with an arbitrary image quality, and can also display an arbitrary image format (for example, bitmap format, JPEG format) by the capture signal. Can be captured with any image quality and stored in the storage device 33 including a hard disk in the computer 30.
つぎに、コンピュータ30内の本発明のパノラマ撮像装置のアルゴリズムについて図2を参照して説明する。まず、プログラムがスタートすると、モニター21上における、撮像装置10からの撮影映像とパノラマ画像の各々の表示領域を設定する。つぎに、モードコントローラ1と周期的に通信を行うためにタイマーを設定する。これらの初期設定動作が完了すると、各種のイベント待ち状態に推移する。発生するイベントとしては、先に設定したタイマーイベントとパノラマ作成イベントがある。   Next, an algorithm of the panorama imaging apparatus of the present invention in the computer 30 will be described with reference to FIG. First, when the program is started, the display areas of the captured video and panoramic image from the imaging device 10 on the monitor 21 are set. Next, a timer is set to periodically communicate with the mode controller 1. When these initial setting operations are completed, the state transitions to various event wait states. Events that occur include the previously set timer event and panorama creation event.
つぎに、タイマーイベントの詳細について図3を参照して説明する。本発明に関するタイマーイベントは、周期的にモードコントローラ1と通信を行うために発生するイベントである。このイベントが発生すると初回のみ通信ポートの開設処理を行う。本発明ではコンピュータ30上のRS232Cポートの開設がこの開設処理にあたる。   Next, details of the timer event will be described with reference to FIG. The timer event related to the present invention is an event that occurs in order to periodically communicate with the mode controller 1. When this event occurs, the communication port is opened only for the first time. In the present invention, establishment of the RS232C port on the computer 30 corresponds to this establishment process.
それ以降のタイマーイベントでは受信データの確認と解析処理、回転雲台4の駆動命令等の送信バッファに蓄えられたデータの送信処理、回転雲台4とレンズブロック11の状態確認要求のための通信データの送信処理が行われる。受信データの確認と解析処理では受信バッファのデータの有無を確認し、もし受信データがある場合はそれを解析し、モードコントローラ1に要求した回転雲台4の位置情報や、レンズブロック11の位置情報として取得する。   In subsequent timer events, received data confirmation and analysis processing, transmission processing of data stored in a transmission buffer such as a driving command for the rotary head 4, communication for requesting a status check of the rotary head 4 and the lens block 11 Data transmission processing is performed. In the reception data confirmation and analysis process, the presence or absence of data in the reception buffer is confirmed. If reception data is present, it is analyzed, and the position information of the rotary head 4 requested to the mode controller 1 and the position of the lens block 11 are analyzed. Obtain as information.
これらのデータはパンチルタ角度、レンズブロック11の倍率情報に変換される。つぎにデータの送信要求の有無を確認する。データ送信要求がある場合は、送信バッファに格納されているデータを用いて送信処理がなされる。送信処理がない場合は、更に回転雲台4の位置要求命令設定処理、レンズブロック11の位置要求命令設定処理、パノラマ作成処理等を行う。本発明では実行する処理は内部カウンタ(req_cnt)を用い、イベント処理毎に、これら3つの処理のうちのいずれか1つの処理を行っている。   These data are converted into pantilter angle and magnification information of the lens block 11. Next, it is confirmed whether or not there is a data transmission request. When there is a data transmission request, transmission processing is performed using the data stored in the transmission buffer. When there is no transmission process, a position request command setting process for the rotary head 4, a position request command setting process for the lens block 11, a panorama creation process, and the like are further performed. In the present invention, an internal counter (req_cnt) is used as the process to be executed, and any one of these three processes is performed for each event process.
つぎに、パノラマ作成処理について図4および図5を参照して説明する。パノラマ作成は図4に示すパノラマ作成要求イベントによって設定される。このイベントが発生すると、タイマーイベント時にパノラマ作成処理が実行される。図5はパノラマ作成処理の詳細なアルゴリズムを示し、処理の手順を状態の指標である〔PanoCnt〕に従って行っている。まず、処理が開始されると撮像装置10の画角を最広角に設定する処理を行う(PanoCnt==1)。これはより広範囲のパノラマ画像を少ない画像取得回数で行うためである。   Next, the panorama creation process will be described with reference to FIGS. Panorama creation is set by a panorama creation request event shown in FIG. When this event occurs, the panorama creation process is executed at the time of the timer event. FIG. 5 shows a detailed algorithm of the panorama creation process, and the process procedure is performed according to [PanoCnt] which is an indicator of the state. First, when processing is started, processing for setting the angle of view of the imaging device 10 to the widest angle is performed (PanoCnt == 1). This is because a wider range of panoramic images is performed with a small number of image acquisition times.
つぎのステップ(PanoCnt==2)では回転雲台4を、画像を取得する最初の位置に移動する処理を行う。また、PanoCntが3以上の場合、回転雲台4およびレンズブロック11を予め設定した状態に移動させ、設定した位置に到達したことを確認した後、画像の取り込みを行う。さらに、つぎの画像取得位置に回転雲台4を移動する処理を行い、続いて先に取り込んだ画像の水平、垂直方向の圧縮処理等を行って、パノラマ画像作成の進行状況をモニター21上に表示する。   In the next step (PanoCnt == 2), a process of moving the rotary head 4 to the first position for acquiring an image is performed. If PanoCnt is 3 or more, the rotating pan head 4 and the lens block 11 are moved to a preset state, and after confirming that they have reached the set position, an image is captured. Further, the process of moving the rotary head 4 to the next image acquisition position is performed, and then the horizontal and vertical compression processing of the previously captured image is performed, and the progress of panoramic image creation is displayed on the monitor 21. indicate.
以上の動作をパノラマ画像が完成するまで行い、パノラマ画像完成後、作成された画像を保存し動作を終了する。尚、駆動装置は指令される目標位置に対して常に同じ方向から進入するようにして、駆動系の機構の遊び、例えばギアのバックラッシュ等による画像連結の際に画像ズレが発生することを防止する。   The above operation is performed until the panorama image is completed. After the panorama image is completed, the created image is saved and the operation is terminated. Note that the drive device always enters the commanded target position from the same direction to prevent image misalignment at the time of image connection due to play of the drive system mechanism, for example, gear backlash. To do.
図6はA〜Jからなる10枚の映像からなるパノラマ画像の作成過程が示されていて、同図(a)は6枚目(映像F)までが連結処理された状態を示している。A〜Fまでの6枚がモニター21に表示され、G〜Jの4枚に相当する部分は無地のままそのスペースが確保されている。つぎに7枚目(映像G)の映像が得られると同図(b)に示すようにパノラマ画像の映像Gの位置にはめ込まれる。順次、上述したようにレンズブロック11と回転雲台4の位置を調整して10枚目(映像J)までの撮影が行われて、同図(c)に示すような1枚のパノラマ画像が形成される。   FIG. 6 shows a process of creating a panoramic image composed of 10 images A to J. FIG. 6A shows a state where up to the sixth image (image F) is connected. Six sheets A to F are displayed on the monitor 21, and the space corresponding to the four sheets G to J is secured while being plain. Next, when the seventh image (image G) is obtained, it is inserted into the position of the image G of the panoramic image as shown in FIG. Sequentially, as described above, the positions of the lens block 11 and the rotary pan head 4 are adjusted, and up to the tenth image (video J) is photographed. One panoramic image as shown in FIG. It is formed.
また、図7はモニター21に表示されている完成したパノラマ画像の上に、現在撮影している映像を重ねて表示しているようすを示していて、現在撮影している映像がパノラマ画像のどの位置に当たるかを確認しながら画像を取り込むことができる。撮像位置は、例えばマウス等の図1に示す入力装置35により、回転雲台4とレンズブロック11の位置を制御して決定することが可能である。   FIG. 7 shows that the currently captured video is displayed on the completed panoramic image displayed on the monitor 21, and the currently captured video is displayed on the panoramic image. It is possible to capture an image while confirming whether or not it hits the position. The imaging position can be determined by controlling the positions of the rotating pan head 4 and the lens block 11 using the input device 35 shown in FIG.
また、現在取り込んでいる画像を確認しやすくするために、画像の回りに所定の枠40を設けたり、取り込み画像を縮小して表示したり、さらには従前のパノラマ画像を輝度を低下させたり、モノクロで表示するようにしてもよい。この表示方法は既に作成されたパノラマ画像の上に新たにパノラマ画像を作成していく場合に用いることにより、新たに作成しているパノラマ画像の確認が容易になる。   Also, in order to make it easier to confirm the currently captured image, a predetermined frame 40 is provided around the image, the captured image is reduced and displayed, and the brightness of the previous panoramic image is reduced. It may be displayed in monochrome. By using this display method when a new panorama image is created on the already created panorama image, the newly created panorama image can be easily confirmed.
さらに、図1に示す構成のパノラマ撮像装置では、ビデオキャプチャー装置31を通してコンピュータ30に取り入れられる映像信号や記憶装置33に記憶された映像信号をモデム等の伝送装置を用いて、インターネット等の通信回線に送出する映像の発信源とすることも可能となる。   Further, in the panoramic imaging apparatus having the configuration shown in FIG. 1, a video signal taken into the computer 30 through the video capture device 31 or a video signal stored in the storage device 33 is transmitted to a communication line such as the Internet using a transmission device such as a modem. It is also possible to use as a transmission source of video to be transmitted to the network.
以上の説明から明らかなように、本発明のパノラマ撮像装置の実施の形態によれば、パノラマ画像を表示する領域のうち撮像の終了していない部分を、例えばグレーで表示して1枚のパノラマ映像として表示するため、パノラマ画像の撮影および画像処理の進行状況を視覚的に確認でき、また、既に作成したパノラマ画像に現在撮影している映像を、所定の位置にはめ込んで表示することにより、画像を取り込む前にパノラマ画像との位置関係を視覚的に確認できる。   As is clear from the above description, according to the embodiment of the panoramic imaging apparatus of the present invention, a portion of the panoramic image display area where imaging has not been completed is displayed in gray, for example, to display one panorama. Since it is displayed as a video, you can visually check the progress of shooting panoramic images and image processing, and by displaying the video that is currently being shot in a panoramic image that has already been created, You can visually confirm the positional relationship with the panoramic image before capturing the image.
さらに、上記パノラマ撮像装置に映像信号を伝送する伝送手段と伝送を制御する制御手段とを具備することにより、遠隔地からの操作においてもパノラマ画像の撮影と作成の進行状況、および現在撮影している映像がパノラマ画像の中で占める位置を操作者が視覚的に確認でき、高品位のパノラマ画像を容易に作成することが可能となる。   Furthermore, by providing a transmission means for transmitting a video signal to the panorama image pickup device and a control means for controlling the transmission, the panorama image photographing and creation progress and the current photographing can be performed even from a remote place. The operator can visually confirm the position that the existing video occupies in the panoramic image, and a high-quality panoramic image can be easily created.
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。   It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
本発明に係わる、パノラマ撮像装置のシステム構成を示す図である。1 is a diagram illustrating a system configuration of a panoramic imaging apparatus according to the present invention. 本発明のパノラマ撮像装置のアルゴリズムを示す図である。It is a figure which shows the algorithm of the panorama imaging device of this invention. 本発明のパノラマ撮像装置のタイマーイベントのアルゴリズムを示す図である。It is a figure which shows the algorithm of the timer event of the panorama imaging device of this invention. 本発明のパノラマ撮像装置のパノラマ作成要求イベントのアルゴリズムを示す図である。It is a figure which shows the algorithm of the panorama production request | requirement event of the panorama imaging device of this invention. パノラマ画像作成処理のアルゴリズムを示す図である。It is a figure which shows the algorithm of a panoramic image creation process. パノラマ画像の作成進行状態を示す図である。It is a figure which shows the creation progress state of a panoramic image. パノラマ画像上に現在撮影している映像の表示形態を示す図である。It is a figure which shows the display form of the image | video currently image | photographed on a panoramic image.
符号の説明Explanation of symbols
1 モードコントローラ、2 カメラコントローラ、3 パンチルタコントローラ、4 回転雲台、5 パンモータ、6 チルトモータ、10 撮像装置、11 レンズブロック、12 CCD、13 SH/AGC、14 A/D、15 信号処理装置、16 変倍用レンズ、17 ズームモータ、20,21 モニター、30 コンピュータ、31 ビデオキャプチャー装置、32 画像処理装置、33 記憶装置、34 制御装置、35 入力装置、40 枠   DESCRIPTION OF SYMBOLS 1 Mode controller, 2 Camera controller, 3 Pantilta controller, 4 pan head, 5 pan motor, 6 tilt motor, 10 imaging device, 11 lens block, 12 CCD, 13 SH / AGC, 14 A / D, 15 signal processing device , 16 Magnification lens, 17 Zoom motor, 20, 21 Monitor, 30 Computer, 31 Video capture device, 32 Image processing device, 33 Storage device, 34 Control device, 35 Input device, 40 frames

Claims (3)

  1. 被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段とを具備し、前記撮影し記録した画像を順次表示してパノラマ映像を形成していくことを特徴とするパノラマ撮像装置。   Imaging means for photographing a subject and outputting the video signal, recording means for recording the video signal output from the imaging means, display means for displaying the video signal output from the imaging means, and the imaging means Driving means for setting the angle of view, control means for controlling the imaging means and the driving means, and image processing means for creating a panoramic video by connecting a plurality of images obtained by the imaging means. A panoramic imaging apparatus characterized in that the captured and recorded images are sequentially displayed to form a panoramic video.
  2. 被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段と、撮像手段が現に撮影している映像を既に得られているパノラマ映像上の所定の位置に重ねて表示する表示制御手段とを具備したことを特徴とするパノラマ撮像装置。   Imaging means for photographing a subject and outputting the video signal, recording means for recording the video signal output from the imaging means, display means for displaying the video signal output from the imaging means, and the imaging means Driving means for setting the angle of view, control means for controlling the imaging means and the driving means, an image processing means for creating a panoramic video by connecting a plurality of videos obtained by the imaging means, and imaging A panoramic imaging apparatus comprising: display control means for displaying the video that the means is currently capturing in a predetermined position on a panoramic video that has already been obtained.
  3. 前記撮像手段から出力される映像信号、および前記記録手段に記録されている映像信号を伝送する伝送手段と、該伝送手段を制御する制御手段とを具備したことを特徴とする、請求項1または請求項2に記載のパノラマ撮像装置。   2. The transmission apparatus according to claim 1, further comprising: a transmission unit that transmits a video signal output from the imaging unit and a video signal recorded in the recording unit; and a control unit that controls the transmission unit. The panoramic imaging apparatus according to claim 2.
JP2005254002A 2005-09-01 2005-09-01 Panorama imaging apparatus Pending JP2005348448A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005254002A JP2005348448A (en) 2005-09-01 2005-09-01 Panorama imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005254002A JP2005348448A (en) 2005-09-01 2005-09-01 Panorama imaging apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP9163040A Division JPH1118003A (en) 1997-06-19 1997-06-19 Panorama image-pickup device

Publications (1)

Publication Number Publication Date
JP2005348448A true JP2005348448A (en) 2005-12-15

Family

ID=35500323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005254002A Pending JP2005348448A (en) 2005-09-01 2005-09-01 Panorama imaging apparatus

Country Status (1)

Country Link
JP (1) JP2005348448A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103692A (en) * 2008-10-22 2010-05-06 Canon Inc Image output apparatus, image output method, and control program
JP2012070241A (en) * 2010-09-24 2012-04-05 Casio Comput Co Ltd Image capturing apparatus, method and program
EP2679878A2 (en) 2012-06-28 2014-01-01 Martin Herdieckerhoff Camera bracket, camera, and support structure for shooting of panoramas

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103692A (en) * 2008-10-22 2010-05-06 Canon Inc Image output apparatus, image output method, and control program
US9325901B2 (en) 2008-10-22 2016-04-26 Canon Kabushiki Kaisha Image output apparatus, image output method, and control program
JP2012070241A (en) * 2010-09-24 2012-04-05 Casio Comput Co Ltd Image capturing apparatus, method and program
US9503640B2 (en) 2010-09-24 2016-11-22 Casio Computer Co., Ltd. Image capturing apparatus capable of capturing panoramic image
US8957945B2 (en) 2010-09-24 2015-02-17 Casio Computer Co., Ltd. Image capturing apparatus capable of capturing panoramic image
US9106831B2 (en) 2010-09-24 2015-08-11 Casio Computer Co., Ltd. Image capturing apparatus capable of capturing panoramic image
US9445004B2 (en) 2010-09-24 2016-09-13 Casio Computer Co., Ltd. Image capturing apparatus capable of capturing panoramic image
DE102012012817A1 (en) 2012-06-28 2014-01-02 Martin Herdieckerhoff Camera mount, camera and support structure for shooting spherical panoramas
EP2679878A2 (en) 2012-06-28 2014-01-01 Martin Herdieckerhoff Camera bracket, camera, and support structure for shooting of panoramas

Similar Documents

Publication Publication Date Title
JP4332231B2 (en) Imaging device controller and imaging system
KR101760142B1 (en) Camera device, camera system, control device and computer readable recording medium
JP5705883B2 (en) Lens device
KR20120012399A (en) Camera device, camera system, control device and program
JP3744147B2 (en) Panorama image generating apparatus and method
JPH1118003A (en) Panorama image-pickup device
JP2015194587A (en) Image data processing device, image data processing method, image distortion response processing device, and image distortion response processing method
JP2005348448A (en) Panorama imaging apparatus
JP2006115091A (en) Imaging device
JP3994469B2 (en) Imaging device, display device, and recording device
JP4148251B2 (en) Imaging device and display device
JP2000106650A (en) Photographing system and television lens device
JPH1188767A (en) Video processing system
JP2005348449A5 (en)
JP2019087974A (en) Imaging apparatus, imaging method, display apparatus, and display method
JP3948050B2 (en) Imaging, storage, processing, display, playback, transmission device and recording medium
JP2005354748A (en) Apparatus and method for controlling imaging means
JP4293280B2 (en) Control device, control method and monitoring system
TW201413362A (en) System and method of shooting panorama photo
JP5861420B2 (en) Electronic camera
JP4332580B2 (en) Control device, control method, and monitoring system
JP5506656B2 (en) Image processing device
JP3812069B2 (en) Imaging device controller and imaging device
JP2017216709A (en) Electronic camera
JP6176306B2 (en) Electronic camera and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080701