JP2006304171A - Image processing system - Google Patents

Image processing system Download PDF

Info

Publication number
JP2006304171A
JP2006304171A JP2005126386A JP2005126386A JP2006304171A JP 2006304171 A JP2006304171 A JP 2006304171A JP 2005126386 A JP2005126386 A JP 2005126386A JP 2005126386 A JP2005126386 A JP 2005126386A JP 2006304171 A JP2006304171 A JP 2006304171A
Authority
JP
Japan
Prior art keywords
image
video
unit
additional information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005126386A
Other languages
Japanese (ja)
Other versions
JP4513013B2 (en
Inventor
Kazuya Watanabe
一矢 渡邊
Hideya Hori
英哉 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2005126386A priority Critical patent/JP4513013B2/en
Publication of JP2006304171A publication Critical patent/JP2006304171A/en
Application granted granted Critical
Publication of JP4513013B2 publication Critical patent/JP4513013B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing system capable of transmitting or receiving additional information together with a photographed video image without largely modifying a video transmission apparatus of the interlace system. <P>SOLUTION: The image processing system for processing a video image of the interlace system acquired through a camera includes a field divider 42 for dividing the video image into unit photographed images in the unit of a field, an additional information imager 41 for imaging the additional information to generate an information image, a video generator 43 for assigning the information image in place of the prescribed unit photographed image, and a video signal converter 50 for converting an additional information-attached video image into a video signal with a prescribed format and providing an output of the resulting video signal. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、映像伝送において撮影映像以外の付加情報も処理する画像処理システムに関する。   The present invention relates to an image processing system for processing additional information other than a captured video in video transmission.

テレビ放送画像以外に文字放送用の文字情報をアナログテレビ放送波に組み込んで送信する文字放送が知られており、この文字放送では、アナログテレビ放送波として送信される映像信号の垂直ブランキング期間の所定水平ラインに、テレビ画面に表示させる文字信号のデータを重畳させて放送局側から送信し、テレビ受像機側では対応した水平ラインに重畳されたデータを文字放送デコーダによって検出して、この文字信号をテレビ画面に表示させる(例えば、特許文献1参照。)。この技術によれば、アナログビデオ信号の垂直ブランキング期間内の所定の1水平ライン(或いは複数水平ライン)に、デジタルデータを重畳して伝送させることで、アナログビデオ信号の映像情報とは異なる各種データ(付加情報)を送信側から受信側に伝送することができる。しかしながら、この技術では、アナログビデオ信号から映像情報を取り出すだけではなく、垂直ブランキング期間内の所定の水平ラインを同期検波して付加情報を取り出すという復調装置が必要となる。垂直ブランキング期間内の水平ラインはかなり限れた時間領域であることから、組み込まれる付加情報の伝送容量は限定されるし、また可能な限りの伝送容量を利用した場合その復調装置が複雑化して高価になるという問題が生じる。   In addition to television broadcast images, there is known a character broadcast in which character information for character broadcast is incorporated into an analog television broadcast wave and transmitted. In this character broadcast, the vertical blanking period of a video signal transmitted as an analog television broadcast wave is known. The character signal data to be displayed on the TV screen is superimposed on a predetermined horizontal line and transmitted from the broadcasting station side. On the television receiver side, the data superimposed on the corresponding horizontal line is detected by the character broadcast decoder, and this character is detected. The signal is displayed on the television screen (see, for example, Patent Document 1). According to this technology, digital data is superimposed on a predetermined one horizontal line (or a plurality of horizontal lines) within the vertical blanking period of the analog video signal and transmitted, thereby making various types of information different from the video information of the analog video signal. Data (additional information) can be transmitted from the transmission side to the reception side. However, this technique requires a demodulator that not only extracts video information from an analog video signal but also extracts additional information by synchronously detecting a predetermined horizontal line within a vertical blanking period. Since the horizontal line in the vertical blanking period is a very limited time domain, the transmission capacity of the additional information to be incorporated is limited, and the demodulator becomes complicated when the transmission capacity as much as possible is used. The problem of becoming expensive arises.

撮像素子のアナログ出力信号をデジタル信号に変換した出力信号に信号処理を施し、信号処理が施されたデジタル映像データおよび信号処理時に得られた映像調整データを外部に出力するためのインターフェース手段とを備え、映像調整データのデータパケットに、被写体の照度に合わせて自動調整されるシャッタースピードやホワイトバランスの状態といった撮影情報を含ませており、シリアルインターフェース回路を介して受信したデータが映像デジタルデータか映像調整データかを判別し、受信した映像デジタルデータは映像表示に適したデータに変換し、受信した映像調整データは文字列に変換する装置が知られている(例えば、特許文献2参照。)。このようなパケット伝送技術を用いて映像データや映像調整データを伝送する技術は、送信側と受信側とで一致するフォーマットのインターフェースを備えておく必要があるが、このようなパケット伝送のフォーマットが十分には統一されておらず、使用できない分野も少なくない。
特開平5−14869号公報(段落番号0002−00704、図11) 特開2003−171435号公報(段落番号0000−0000、図5、図6)
Interface means for performing signal processing on the output signal obtained by converting the analog output signal of the image sensor into a digital signal, and outputting the signal-processed digital video data and the video adjustment data obtained during the signal processing to the outside The video packet of video adjustment data includes shooting information such as the shutter speed and white balance that are automatically adjusted according to the illuminance of the subject, and whether the data received via the serial interface circuit is video digital data An apparatus is known that discriminates whether it is video adjustment data, converts the received video digital data into data suitable for video display, and converts the received video adjustment data into a character string (see, for example, Patent Document 2). . The technology for transmitting video data and video adjustment data using such a packet transmission technology needs to have an interface with a format that matches between the transmission side and the reception side. There are many fields that are not fully integrated and cannot be used.
JP-A-5-14869 (paragraph numbers 0002-00704, FIG. 11) JP 2003-171435 A (paragraph numbers 0000-0000, FIGS. 5 and 6)

上記実状に鑑み、本発明の課題は、従来から良く用いられている映像伝送機器に大きな変更を加えることなしに、撮影映像とともに付加情報を送信又は受信あるいは送受信することを可能にする画像処理システムを提供することである。   In view of the above situation, an object of the present invention is to provide an image processing system that allows additional information to be transmitted, received, or transmitted / received together with a captured image without greatly changing video transmission equipment that has been frequently used in the past. Is to provide.

カメラを通じて取得されたインターレース方式の映像を処理する、特に送信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、前記映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部と、前記映像に関する付加情報をイメージ化して情報画像を生成する付加情報イメージ化部と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とが備えられていることである。   In an image processing system for processing interlaced images acquired through a camera, particularly in a transmission-side image processing system, a feature configuration according to the present invention for solving the above-described problem is that field segmentation is performed to segment the video into unit-captured images in field units. An additional information imaging unit that images additional information related to the video to generate an information image, and a video generation unit that generates a video with additional information to which the information image is assigned instead of the predetermined unit photographed image. And a video signal converter for converting the video with additional information into a video signal of a predetermined format and outputting the video signal.

この特徴構成では、カメラから送られてくる奇数フィールドと偶数フィールドからなる映像フレーム群は一旦フィールド単位で区分けされ、別の手段で取得されるとともにイメージ化(画像化)された付加情報としての情報画像を所定のフィールドにそのフィールドを利用していた単位撮影画像に代えて割り当てて嵌め込むことで、所定のフィールドに付加情報が嵌め込まれた付加情報付き映像が生成される。この付加情報付き映像は所定フォーマットのビデオ信号(例えばNTSC方式やPAL方式のビデオ信号)に変換して送り出される。本発明では、従来のように垂直ブランキング期間などを利用するのではなく、付加情報をイメージ化して得られた情報画像をそのまま特定のフィールドの単位撮影画像に差し替えて送り込むので、付加情報の伝送のために十分な帯域確保が可能となるだけではなく、安定した付加情報の伝送が実現する。本発明は、所定のフィールドの欠落に伴う画質低下が許容される映像伝送分野においては、実質的な不利益なしに効果的である。   In this feature configuration, the video frame group consisting of the odd field and the even field sent from the camera is once divided into field units, and information as additional information obtained and imaged (imaged) by another means. By assigning and fitting an image to a predetermined field instead of the unit shot image using the field, a video with additional information in which the additional information is inserted into the predetermined field is generated. The video with additional information is sent after being converted into a video signal of a predetermined format (for example, an NTSC video signal or a PAL video signal). In the present invention, instead of using a vertical blanking period or the like as in the prior art, an information image obtained by imaging additional information is replaced with a unit-captured image of a specific field and sent. Therefore, it is possible not only to secure a sufficient bandwidth, but also to stably transmit additional information. The present invention is effective without substantial disadvantages in the video transmission field in which the image quality deterioration due to the omission of a predetermined field is allowed.

情報画像として撮影画像ともにビデオ信号にのせる付加情報の典型的な例は、伝送するべき撮影画像を取得しているカメラの撮影パラメータである。本発明ではこの撮影パラメータを広義の解釈で用いており、シャッター速度、絞り、ホワイトバランス、ストロボなどのカメラ撮影設定、レンズ収差やレンズとCCDとの中心ズレといったカメラ機器特性、さらにはカメラの自己診断情報やカメラの位置・姿勢情報などといったカメラ撮影に関する全ての情報を含んでいる。それらの内の所望の撮影パラメータを情報画像として撮影画像ともにビデオ信号にのせることにより、このビデオ信号の受け取り側では、受け取った撮影パラメータを撮影画像の画像処理をはじめ種々の制御パラメータとして利用することができる。   A typical example of additional information to be put on a video signal as an information image together with a captured image is a capturing parameter of a camera that acquires a captured image to be transmitted. In the present invention, this shooting parameter is used in a broad sense. Camera shooting settings such as shutter speed, aperture, white balance, and strobe, camera device characteristics such as lens aberration and center deviation between the lens and the CCD, and the camera's self It includes all information related to camera shooting such as diagnostic information and camera position / posture information. By placing a desired shooting parameter among them as an information image on the video signal together with the shot image, the video signal receiving side uses the received shooting parameter as various control parameters including image processing of the shot image. be able to.

さらに、好適な実施形態の1つとして、付加情報のイメージ化にあたって、バーコードやQRコードなどのコードイメージ変換を採用するならば、付加情報をよりコンパクトな容量でかつより高い信頼性で情報画像として伝送することができる。とくにこのようなコードイメージ変換を用いると強力な誤り訂正処理が可能であり、伝送中に発生したノイズをキャンセルすることができるし、QRコードのような二次元コードの採用は非常に大きな情報量の伝送を可能にする。   Furthermore, as one of the preferred embodiments, if code image conversion such as a barcode or QR code is employed in imaging additional information, the additional information can be converted into an information image with a more compact capacity and higher reliability. Can be transmitted as In particular, when such code image conversion is used, powerful error correction processing is possible, noise generated during transmission can be canceled, and the use of a two-dimensional code such as a QR code is a very large amount of information. Enables transmission of

付加情報である情報画像の所定フィールドへの割り当て処理において、奇数フィールド又は偶数フィールドの一方に前記単位撮影画像を割り当てるとともに奇数フィールド又は偶数フィールドの他方に前記情報画像を割り当てるような形態を採用する場合、情報画像と撮影画像の割り当てフィールドが前もって明確に決定されていることになるので、情報画像の嵌め込みや取り出しが容易となるし、撮影画像の再生にあたっては、奇数フィールド又は偶数フィールドのいずれかを表示するようにするだけで、画像品質の低下はあるとしても、その表示のために複雑で高価格な装置を用意する必要はない。もちろん、ある程度の装置の複雑化が容認できる場合、奇数フィールド又は偶数フィールドのいずれかから欠落している偶数フィールド又は奇数フィールドを補間処理等によって生成することで見かけ上の画像品質の低下を避けることは可能である。   In the process of assigning the information image, which is additional information, to the predetermined field, a mode is adopted in which the unit shot image is assigned to one of the odd field or the even field and the information image is assigned to the other of the odd field or the even field. Since the assignment field of the information image and the photographed image is clearly determined in advance, it becomes easy to insert and extract the information image, and when reproducing the photographed image, either the odd field or the even field is selected. Even if there is a decrease in image quality simply by displaying the image, it is not necessary to prepare a complicated and expensive device for the display. Of course, when a certain degree of device complexity can be tolerated, it is possible to avoid apparent image quality degradation by generating even or odd fields missing from either odd or even fields by interpolation processing or the like. Is possible.

付加情報である情報画像の所定フィールドへの割り当てが前もって設定されていない場合や、所定フィールドへの割り当てが経時的に変化するような場合では、何らかの方法で情報画像がどのフィールドに割り当ているかという割り当て情報を受信側に伝達する必要がある。そのような割り当て情報の伝達方法の1つとして、所定の前記フィールドへの前記情報画像の割り当てを示す情報を垂直ブランキング期間内に挿入することが提案される。例えば、情報画像が割り当てられたフィールドの直前の垂直ブランキング期間内の所定領域にパルスを立てるか立てないかで情報画像が割り当てられたフィールドを認識させることが可能である。この情報は1ビットで得られるので、その挿入や読み取り処理は簡単である。   When the assignment of the information image, which is additional information, to the predetermined field is not set in advance or when the assignment to the predetermined field changes over time, the assignment of which field the information image is assigned to by some method Information needs to be communicated to the receiver. As one method for transmitting such allocation information, it is proposed to insert information indicating the allocation of the information image to a predetermined field within a vertical blanking period. For example, it is possible to recognize a field to which an information image is assigned depending on whether or not a pulse is set in a predetermined area within a vertical blanking period immediately before the field to which an information image is assigned. Since this information is obtained with 1 bit, the insertion and reading process is simple.

カメラを通じて取得されたインターレース方式の映像を処理する、特に受信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、カメラを通じて取得された映像を構成するフィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャと、前記ビデオキャプチャによって取得された付加情報付き映像から前記単位撮影画像をもつフィールドと前記情報画像をもつフィールドとに区分けするフィールド区分け部と、前記区分けされた単位撮影画像から撮影映像を構築する撮影映像生成部と、前記区分けされた情報画像から付加情報を生成する付加情報生成部とが備えられていることである。   A feature configuration according to the present invention for solving the above-described problem in an image processing system on the receiving side that processes interlaced video acquired through a camera is a unit-by-field shooting that configures video acquired through a camera. A video capture for inputting a video signal of a video with additional information consisting of an image and an information image as additional information embedded in a predetermined field, and a field having the unit photographed image from the video with additional information acquired by the video capture And a field segmenting unit that classifies the field having the information image, a captured video generation unit that constructs a captured video from the segmented unit captured image, and additional information generation that generates additional information from the segmented information image Part.

この構成では、ビデオキャプチャによって取得されたフレームを構成する奇数フィールドと偶数フィールドのうち情報画像をのせているフィールドから取り出された情報画像から付加情報が生成され、単位撮影映像をのせているフィールドから取り出された単位撮影画像から撮影映像が構築される。伝送されてきた付加情報が従来のように垂直ブランキング期間などに嵌め込まれているのではなく、所定のフィールドに情報画像として嵌め込まれているので、ビデオ信号に含まれている付加情報は一般的な画像処理モジュールを用いて簡単に取り出すことができる。撮影映像は、単位撮影映像をのせているフィールドだけを用いて構築してもよいし、必要の場合は情報画像をのせていたフィールドの分は補間処理などによって生成して画質低下の少ない撮影映像を構築してもよい。   In this configuration, additional information is generated from an information image taken from a field on which an information image is placed out of an odd field and an even field that constitute a frame obtained by video capture, and the unit shooting video is taken from the field. A captured video is constructed from the taken unit captured images. Since the transmitted additional information is not inserted into a vertical blanking period or the like as in the prior art, but is inserted as an information image in a predetermined field, the additional information included in the video signal is generally Can be easily extracted using a simple image processing module. The shot video may be constructed using only the field on which the unit shot video is placed, or if necessary, the shot image with little image quality degradation is generated by interpolation processing etc. May be constructed.

フィールドから取り出された情報画像がバーコードやQRコードといったコードイメージに変換されたものである場合、この情報画像を対応するコードイメージデコーダによって付加情報に変換される。付加情報をバーコードなどのようにコードイメージ化する利点は上述した通りである。   When the information image extracted from the field is converted into a code image such as a barcode or QR code, the information image is converted into additional information by a corresponding code image decoder. The advantage of converting the additional information into a code image such as a barcode is as described above.

受け取った付加情報は特定の少なくとも1つの目的に利用されるので、その目的に合わせて付加情報を加工しておくことが好ましい。そのために、好適な実施形態の1つでは、前記付加情報生成部で生成された付加情報を次処理のために処理する付加情報前処理部が備えられている。   Since the received additional information is used for at least one specific purpose, it is preferable to process the additional information in accordance with the purpose. For this purpose, in one preferred embodiment, an additional information pre-processing unit that processes additional information generated by the additional information generation unit for subsequent processing is provided.

特に、付加情報が前述したようなカメラの撮影パラメータの場合、同時に取得された撮影映像の画像処理時に利用されることが多い。このように付加情報に撮影映像の画像処理時に用いられる撮影パラメータが含まれている場合前記付加情報前処理部はこの撮影パラメータを撮影映像の画像処理時の補助制御パラメータに変換する機能を備えるとよい。また、カメラの撮影パラメータのなかにはこのビデオ信号の受け取り側のオペレータに音声や画面表示で知らせることが望ましいものある。従って、前記付加情報前処理部が前記付加情報に含まれている前記撮影パラメータを報知部による報知駆動信号に変換する機能を備えることも好都合である。   In particular, when the additional information is a camera shooting parameter as described above, the additional information is often used during image processing of a captured video acquired at the same time. As described above, when the additional information includes a shooting parameter used at the time of image processing of the shot video, the additional information preprocessing unit has a function of converting the shooting parameter to an auxiliary control parameter at the time of image processing of the shot video. Good. In addition, it is desirable to notify the operator on the video signal receiving side by voice or screen display among the shooting parameters of the camera. Therefore, it is also convenient that the additional information preprocessing unit has a function of converting the imaging parameter included in the additional information into a notification driving signal by the notification unit.

上述した送信側の画像処理システムと受信側の画像処理システムとを組み合わせることにより、本発明における所定フィールドに情報画像を嵌め込んだ付加情報付き映像伝送のための総合的な画像処理システムが構築される。従って、そのような付加情報付き映像伝送のための送受信機能を有する総合的な画像処理システムも本発明の対象であり、そのシステムは、実施形態例での作用効果を含む上述した全ての作用効果を得ることが可能である。   By combining the above-described image processing system on the transmission side and the image processing system on the reception side, a comprehensive image processing system for video transmission with additional information in which an information image is inserted into a predetermined field in the present invention is constructed. The Therefore, a comprehensive image processing system having a transmission / reception function for video transmission with additional information is also an object of the present invention, and the system includes all the above-described effects including the effects of the embodiment. It is possible to obtain

さらに、本発明は、インターレース方式における単位撮影画像であるフィールドを割り当て単位として情報画像を割り当てるのではなく、それ以外の一般的な単位撮影画像、例えばノンインターレース方式での単位撮影画像を割り当て単位として情報画像を割り当てる構成を採用することも可能である。つまり、カメラを通じて取得された映像を処理する、特に送信側の画像処理システムにおいて、上記課題を解決するための本発明による特徴構成は、前記映像に関する付加情報をコードイメージ化して情報画像を生成する付加情報イメージ化部と、前記映像を構成する単位撮影画像の少なくとも一部の領域に前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とを備えていることである。
この特徴構成では、カメラから送られてくる単位撮影画像の少なくとも一部の領域に、別の手段で取得されるとともにコードイメージ化(コード画像化)された付加情報としての情報画像を割り当てて嵌め込むことで、所定の単位撮影画像に付加情報が嵌め込まれた付加情報付き映像が生成される。この付加情報付き映像は所定フォーマットのビデオ信号に変換して送り出されるが、このビデオ信号を受け取る受信側の画像処理システムでは、付加情報付き映像を構成する単位撮影画像の該当箇所からコード画像化された情報画像を取り出し、デコードすることで付加情報を得ることができる。この形態は、車載カメラにおける映像伝送系などのように、撮影画像の全てに必要な情報が含まれているのではなく、撮影画像には不必要な領域も少なくないといった分野に、特に効果的に適用することができる。
Furthermore, the present invention does not assign an information image by using a field that is a unit shot image in the interlace method as an assignment unit, but other general unit shot images, for example, a unit shot image in the non-interlace method, as an assignment unit. It is also possible to employ a configuration for assigning information images. That is, in the image processing system on the transmission side that processes the video acquired through the camera, in particular, the characteristic configuration according to the present invention for solving the above-described problem generates an information image by converting the additional information related to the video into a code image. An additional information imaging unit; a video generating unit that generates a video with additional information in which the information image is assigned to at least a partial area of a unit photographed image that constitutes the video; and the video with additional information is a video in a predetermined format. A video signal conversion unit that converts the signal into a signal and outputs the signal.
In this feature configuration, an information image as additional information obtained by another means and converted into a code image (code image) is allocated and fitted to at least a part of the unit photographed image sent from the camera. As a result, a video with additional information in which additional information is inserted into a predetermined unit photographed image is generated. This video with additional information is converted into a video signal of a predetermined format and sent out. In the image processing system on the receiving side that receives this video signal, a code image is generated from the corresponding part of the unit photographed image constituting the video with additional information. Additional information can be obtained by taking out and decoding the obtained information image. This form is particularly effective in a field where not all necessary information is included in the captured image, such as a video transmission system in an in-vehicle camera, and there are many unnecessary areas in the captured image. Can be applied to.

まず、本発明による画像処理システムの基本構成と原理を図1に示された模式的な図を用いて説明する。
送信側画像処理システム1は、撮影カメラとしてのCCDカメラ10と、アナログフロントエンド部20と、付加情報取得部30と、送信側映像処理手段40と、送信側映像処理手段40から送り込まれた付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部50とを備えている。CCDカメラ10は、撮影レンズ11とCCD13と撮影レンズ11からCCD13への光の通過を制御するシャッター12などを備えた通常のインターレース方式のカメラであり、その撮影目的に応じて種々の場所に設置される。アナログフロントエンド部20は、CCDカメラ10で撮影したアナログ映像をノイズ除去、信号増幅してデジタル信号化する機能を有しており、カメラ撮影で取得された映像をインターレース方式で出力する。
First, the basic configuration and principle of the image processing system according to the present invention will be described with reference to the schematic diagram shown in FIG.
The transmission-side image processing system 1 includes a CCD camera 10 as a photographing camera, an analog front end unit 20, an additional information acquisition unit 30, a transmission-side video processing unit 40, and an addition sent from the transmission-side video processing unit 40. And a video signal converting unit 50 for converting a video with information into a video signal of a predetermined format and outputting the video signal. The CCD camera 10 is a normal interlace camera equipped with a photographing lens 11, a CCD 13, and a shutter 12 for controlling the passage of light from the photographing lens 11 to the CCD 13, and is installed in various places according to the photographing purpose. Is done. The analog front end unit 20 has a function of removing an analog video imaged by the CCD camera 10 and amplifying the signal into a digital signal, and outputs the video image acquired by the camera imaging in an interlaced manner.

付加情報取得部30は、CCDカメラ10で取得された映像とともに伝送する付加情報を取得する機能をもつものであり、取得すべき付加情報によってその形態は変化するが、本発明では、この付加情報の種別は限定されていない。映像処理手段40は、付加情報取得部30によって取得された付加情報をイメージ化して情報画像を生成する付加情報イメージ化部41と、前記インターレース化された映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部42と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部43とを備えている。これにより、付加情報取得部30で取得された付加情報はイメージ化され情報画像として所定のフィールドにのせられて撮影画像とともに、ビデオ信号変換部50で変換された所定フォーマットのビデオ信号(NTSC方式やPAL方式)で伝送される。   The additional information acquisition unit 30 has a function of acquiring additional information to be transmitted together with the video acquired by the CCD camera 10, and its form changes depending on the additional information to be acquired. The type of is not limited. The video processing means 40 divides the interlaced video into unit-captured images in field units, and an additional information imaging unit 41 that generates an information image by imaging additional information acquired by the additional information acquisition unit 30. A field segmentation unit 42 and a video generation unit 43 that generates a video with additional information to which the information image is assigned instead of the predetermined unit photographed image are provided. As a result, the additional information acquired by the additional information acquisition unit 30 is converted into an image and placed in a predetermined field as an information image, and together with the captured image, the video signal of a predetermined format converted by the video signal conversion unit 50 (NTSC format or (PAL method).

なお、付加情報である情報画像の所定フィールドへの割り当てが前もって設定されていない場合や、所定フィールドへの割り当てが経時的に変化するような場合では、何らかの方法で情報画像がどのフィールドに割り当ているかという割り当て情報を受信側に伝達する必要がある。そのようなケースでは、所定の前記フィールドへの情報画像の割り当てを示す情報としての1ビットパルスを情報画像が割り当てられたフィールドの直前の垂直ブランキング期間内に挿入する機能が映像生成部43に実装される。   In addition, when the assignment of the information image, which is additional information, to the predetermined field is not set in advance or when the assignment to the predetermined field changes with time, which field the information image is assigned to by some method It is necessary to convey the allocation information to the receiving side. In such a case, the video generator 43 has a function of inserting a 1-bit pulse as information indicating the assignment of the information image to the predetermined field within the vertical blanking period immediately before the field to which the information image is assigned. Implemented.

受信側画像処理システム2は、送信側画像処理システム1から送られてきた、フィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャ60と、このビデオキャプチャ60よって取得された付加情報付き映像を処理して付加情報と撮影映像を作り出す受信側映像処理手段70とを備えている。   The reception-side image processing system 2 receives the video signal of the video with additional information, which is sent from the transmission-side image processing system 1 and includes a unit-captured image in units of fields and an information image as additional information inserted into a predetermined field. A video capture 60 to be input and a receiving-side video processing means 70 for processing the video with additional information acquired by the video capture 60 and generating additional information and a captured video are provided.

受信側映像処理手段70は、ビデオキャプチャ60から送られてきた付加情報付き映像から単位撮影画像をもつフィールドと情報画像をもつフィールドとに区分けするフィールド区分け部71と、区分けされた情報画像から付加情報を生成する付加情報生成部72と、区分けされた単位撮影画像から撮影映像を再構築する撮影映像生成部73とを備えている。さらに、付加情報生成部72から出力された付加情報を次処理のために処理する付加情報前処理部80、及び撮影映像生成部73から出力された撮影映像を画像処理して所望の画像情報を取り出す画像処理部90や撮影映像生成部73から出力された撮影映像をディスプレイ3に表示するために表示用ビデオ信号に変換するビデオ信号制御部100も備えられている。   The receiving-side video processing means 70 includes a field segmenting unit 71 that classifies a video with additional information sent from the video capture 60 into a field having a unit shot image and a field having an information image, and an addition from the segmented information image. An additional information generation unit 72 that generates information and a captured video generation unit 73 that reconstructs a captured video from the divided unit captured images are provided. Further, the additional information preprocessing unit 80 that processes the additional information output from the additional information generation unit 72 for the next processing, and the captured video output from the captured video generation unit 73 are image-processed to obtain desired image information. A video signal control unit 100 is also provided that converts the captured video output from the image processing unit 90 to be extracted and the captured video generation unit 73 into a display video signal for display on the display 3.

なお、送信側画像処理システム1の映像生成部43において情報画像が割り当てられているフィールドを特定する割り当て情報としての1ビットパルスが垂直ブランキング期間内に挿入されるケースでは、そのような割り当て情報としての1ビットパルスが垂直ブランキング期間内に挿入されているかどうかをチェックして、そのチェック結果をしめす区分けコマンドをフィールド区分け部71に与える機能がビデオキャプチャ60に実装される。この場合、フィールド区分け部71は、ビデオキャプチャ60からの区分けコマンドに基づいてビデオキャプチャ60から送られてきた付加情報付き映像から情報画像をもつフィールドを取り出すことになる。   In the case where a 1-bit pulse as allocation information for specifying a field to which an information image is allocated in the video generation unit 43 of the transmission-side image processing system 1 is inserted in the vertical blanking period, such allocation information The video capture 60 has a function of checking whether or not a 1-bit pulse is inserted in the vertical blanking period and providing the field segmentation unit 71 with a segmentation command indicating the check result. In this case, the field segmentation unit 71 takes out a field having an information image from the video with additional information transmitted from the video capture 60 based on the segmentation command from the video capture 60.

また、撮影映像生成部73は、情報画像をのせてきたフィールド分が欠落した撮影映像、極端なケースでは奇数フィールド又は偶数フィールドだけからなる撮影映像を作り出すことになり、その画像品質は元画像より低下したものとなるので、そのような画像処理システムは高画質を要求されないところに適用されるとよい。元画像に匹敵する画像品質が要求される場合は、撮影映像生成部73において情報画像の伝送のために欠落した撮影画像のフィールド部分を前後のフィールド画像から補間して作成するとよい。   In addition, the photographed video generation unit 73 creates a photographed video in which the field on which the information image is carried is missing, or in an extreme case, a photographed video composed of only odd or even fields, and the image quality is higher than that of the original image. Such an image processing system is preferably applied where high image quality is not required. When image quality comparable to that of the original image is required, the captured video generation unit 73 may create the field portion of the captured image that is missing due to the transmission of the information image by interpolating the preceding and subsequent field images.

上述した本発明による基本的な画像処理システムの応用例として、車両周辺(センターラインといった道路標示など)を撮影する車載カメラからの撮影画像とその車載カメラの撮影パラメータを車両内部のコントローラに伝送する第1実施形態が図2に示されている。この第1実施形態において、送信側画像処理システム1では、付加情報取得部30が車載カメラとしてのCCDカメラ10のシャッター速度を取り込む撮影パラメータ取得部30として構成され、付加情報イメージ化部41が付加情報としてのシャッター速度をバーコードイメージに変換するバーコードイメージ生成部41として構成され、ビデオ信号変換部50がNTSCエンコーダ50として構成されている。さらに、フィールド区分け部42と映像生成部43は、アナログフロントエンド部20から入力されたインターレース方式の奇数フィールドと偶数フィールドから構成されるフレーム群としての映像に対してその偶数フィールドに情報画像(バーコードイメージ)を載せ替える処理を行っている。   As an application example of the basic image processing system according to the present invention described above, a captured image from an in-vehicle camera that captures a vehicle periphery (a road marking such as a center line) and an imaging parameter of the in-vehicle camera are transmitted to a controller inside the vehicle. A first embodiment is shown in FIG. In the first embodiment, in the transmission-side image processing system 1, the additional information acquisition unit 30 is configured as a shooting parameter acquisition unit 30 that captures the shutter speed of the CCD camera 10 as an in-vehicle camera, and an additional information imaging unit 41 is added. A barcode image generation unit 41 that converts a shutter speed as information into a barcode image is configured, and a video signal conversion unit 50 is configured as an NTSC encoder 50. Further, the field segmentation unit 42 and the video generation unit 43 receive information images (bars) in the even field for the video as a frame group composed of the interlaced odd field and even field input from the analog front end unit 20. Code image) is being replaced.

第1実施形態における受信側画像処理システム2では、撮影情報生成部72はバーコードデコーダ72として構成され、付加情報前処理部80はバーコードデコーダ72から得られたシャッター速度と画像処理部90から得られた撮影画像の画像データに基づいて被写体の明るさを求める被写体明度演算部80として構成されている。送信側画像処理システム1から送られてくる付加情報付き映像信号(ビデオ信号)における情報画像の割り当てに対応して、フィールド区分け部71と撮影映像生成部73は、順次取り出された奇数フィールドから新しい撮影映像を生成するように構成されている。被写体明度演算部80は、画像処理部90から得られた撮影画像データの輝度値(撮影領域から選択された範囲における平均輝度値)及びバーコードデコーダ72から得られたシャッター速度から道路標示等の明度、つまり車両外部の明るさが推定演算される。この推定演算に関して、道路標示(例えば路面部)に対応する画像データの輝度値とシャッター速度をパラメータとして道路標示の実際の明るさを決定する関数をテーブル化したLUTを用意すると、高速の演算処理が実現する。結果的に、得られた車両外部の明るさに基づいて走行制御部4がヘッドライトや室内照明を制御する。例えば、CCDカメラ10の撮影ポイントを車両進行方向の前方とすることで、トンネルに入る前のヘッドライトの点灯などの制御が可能となる。   In the receiving-side image processing system 2 in the first embodiment, the photographing information generation unit 72 is configured as a barcode decoder 72, and the additional information preprocessing unit 80 is obtained from the shutter speed obtained from the barcode decoder 72 and the image processing unit 90. It is configured as a subject lightness calculation unit 80 that obtains the brightness of the subject based on the image data of the obtained captured image. Corresponding to the allocation of the information image in the video signal with additional information (video signal) sent from the transmission-side image processing system 1, the field segmentation unit 71 and the captured video generation unit 73 start from the odd fields that are sequentially extracted. It is configured to generate a captured video. The subject brightness calculation unit 80 uses a luminance value of the captured image data obtained from the image processing unit 90 (an average luminance value in a range selected from the imaging region) and a shutter speed obtained from the barcode decoder 72 to perform road marking and the like. The brightness, that is, the brightness outside the vehicle is estimated and calculated. With regard to this estimation calculation, if a LUT is prepared in which a function for determining the actual brightness of the road marking is prepared using the brightness value of the image data corresponding to the road marking (for example, road surface) and the shutter speed as parameters, a high-speed calculation process Is realized. As a result, the traveling control unit 4 controls the headlight and the room lighting based on the obtained brightness outside the vehicle. For example, by setting the photographing point of the CCD camera 10 in front of the vehicle traveling direction, it is possible to control lighting of the headlight before entering the tunnel.

この第1実施形態における連続した撮影画像である奇数フィールド画像と偶数フィールド画像である撮影映像に撮影パラメータとしてのシャッター速度を表すバーコードである情報画像を嵌め込んでいく様子が図3に示されている。図3から明らかなように、撮影パラメータ取得部30によって取得されたシャッター12のシャッター速度はバーコードイメージ生成部30によってバーコードイメージにされ、CCDカメラ10及びアナログフロントエンド部20によって取得された撮影映像を構成していく奇数フィールド画像の間に、つまり偶数フィールド画像である単位撮影画像に代えてバーコードイメージが情報画像として嵌め込まれて、付加情報付き映像信号として出力される。この付加情報付き映像信号は、受信側画像処理システム2において、図3で示す反対の流れで、偶数フィールド画像からバーコードイメージが取り出され、奇数フィールド画像から単位撮影画像が取り出される。取り出されたバーコードイメージからシャッター速度が生成され、被写体明度演算部80で利用される。取り出された奇数フィールド画像から単位撮影画像はそのまま奇数フィールドのみを用いた映像信号として出力され、ビデオ信号制御部100を介してディスプレイ3で撮影画像として表示される。   FIG. 3 shows a state in which an information image, which is a barcode representing a shutter speed as a photographing parameter, is fitted into a photographed image that is an odd field image and an even field image that are consecutive photographed images in the first embodiment. ing. As apparent from FIG. 3, the shutter speed of the shutter 12 acquired by the imaging parameter acquisition unit 30 is converted into a barcode image by the barcode image generation unit 30, and the imaging acquired by the CCD camera 10 and the analog front end unit 20. A bar code image is inserted as an information image between the odd field images constituting the video, that is, instead of the unit shot image which is an even field image, and is output as a video signal with additional information. In the video signal with additional information, the barcode image is extracted from the even field image and the unit photographed image is extracted from the odd field image in the reverse flow shown in FIG. A shutter speed is generated from the extracted bar code image and is used by the subject brightness calculation unit 80. From the extracted odd field image, the unit photographed image is output as a video signal using only the odd field as it is, and is displayed as a photographed image on the display 3 via the video signal control unit 100.

前述した第1実施形態の変形例としての第2実施形態が図4に示されている。この第2実施形態における送信側画像処理システム1は、第1実施形態に較べて、撮影パラメータ取得部30が撮影パラメータとしてシャッター速度だけでなくアナログフロントエンド部20のホワイトバランス制御部から得られるホワイトバランスの制御状態も取得するように構成され、バーコードイメージ生成部41は2種類の撮影パラメータを1つのバーコードイメージに変換するように構成されていることで異なっている。なお、バーコードイメージ生成部41において、2種類の撮影パラメータを1つのバーコードイメージに変換するのではなく、撮影パラメータ毎にバーコードイメージを変換し、それらを例えば縦並びに配置して情報画像とするような構成を採用することが可能であり、これによりかなり多くの種類の撮影パラメータを情報画像に変換することができる。   A second embodiment as a modification of the first embodiment described above is shown in FIG. Compared to the first embodiment, the transmission-side image processing system 1 according to the second embodiment is a white parameter obtained by the imaging parameter acquisition unit 30 from the white balance control unit of the analog front end unit 20 as well as the shutter speed. The barcode image generation unit 41 is configured to acquire a balance control state, and is different in that it is configured to convert two types of shooting parameters into one barcode image. The barcode image generation unit 41 does not convert the two types of shooting parameters into one barcode image, but converts the barcode image for each shooting parameter and arranges them vertically, for example, as an information image. It is possible to adopt such a configuration, and thereby it is possible to convert a large number of types of imaging parameters into information images.

これに対応して、この第2実施形態における受信側画像処理システム2は、第1実施形態に較べて、バーコードデコーダ72が1つ又は複数のバーコードイメージからシャッター速度とホワイトバランスの2種類の撮影パラメータを生成するように構成され、付加情報前処理部80としての被写体明度演算部が画像処理部90から得られた撮影画像データのR・G・B画素値(又はYCC信号値)及びシャッター速度とホワイトバランスから被写体(先行車両、歩行者、センターラインなど)の実際の色を推定演算する被写体色演算部80として構成されていることで異なっている。ここでも、この推定演算に関して、撮影画像に対応する画像データのR・G・B画素値とシャッター速度とホワイトバランスの状態(曇りモード、晴天モードなど)とをパラメータとして被写体の実際の色を決定する関数をテーブル化したLUTを用意すると、高速の演算処理が実現する。   Correspondingly, in the receiving-side image processing system 2 in the second embodiment, the barcode decoder 72 has two types of shutter speed and white balance from one or a plurality of barcode images as compared with the first embodiment. Of the photographic image data obtained from the image processing unit 90 by the subject brightness calculation unit as the additional information preprocessing unit 80, and the Y, B, and B pixel values (or YCC signal values) and The difference is that the subject color calculation unit 80 is configured to estimate and calculate the actual color of the subject (preceding vehicle, pedestrian, centerline, etc.) from the shutter speed and the white balance. Again, regarding this estimation calculation, the actual color of the subject is determined using the R, G, B pixel values of the image data corresponding to the captured image, the shutter speed, and the white balance state (cloudy mode, clear sky mode, etc.) as parameters. If a LUT in which functions to be performed are tabulated is prepared, high-speed arithmetic processing is realized.

このように推定演算された被写体の実際の色は、順次送られてくる撮影映像を通じて目標被写体を追跡するようなトラッキング処理において、目標被写体の正しい認識が重要であるが、そのような被写体認識部5に実際の被写体色を与えることにより、その認識精度が飛躍的に向上し、結果的にトラッキング精度が向上するという利点がある。   In the tracking process in which the actual color of the subject estimated and calculated in this way is used to track the target subject through sequentially received captured images, correct recognition of the target subject is important. By giving the actual subject color to 5, there is an advantage that the recognition accuracy is remarkably improved, and as a result, the tracking accuracy is improved.

前述した第1実施形態の変形例としての第3実施形態が図5に示されている。この第3実施形態における送信側画像処理システム1は、第1実施形態に較べて、撮影パラメータ取得部30が撮影パラメータとしてCCDカメラ10のレンズ11とCCD13の中心ズレ量を取得するように構成され、バーコードイメージ生成部41はレンズ11とCCD13の中心ズレ量をバーコードイメージに変換するように構成されていることで異なっている。これに対応して、この第3実施形態における受信側画像処理システム2では、バーコードデコーダ72がレンズ11とCCD13の中心ズレ量を出力するので、付加情報前処理部80がバーコードデコーダ72から出力された中心ズレ量に基づいてこの中心ズレを修正する修正データを生成して画像処理部90に与える修正データ生成部80として構成されている。   A third embodiment as a modification of the first embodiment described above is shown in FIG. The transmission-side image processing system 1 in the third embodiment is configured so that the shooting parameter acquisition unit 30 acquires the center shift amount between the lens 11 of the CCD camera 10 and the CCD 13 as a shooting parameter, as compared to the first embodiment. The barcode image generation unit 41 is different in that it is configured to convert the center shift amount between the lens 11 and the CCD 13 into a barcode image. Correspondingly, in the receiving-side image processing system 2 in the third embodiment, the barcode decoder 72 outputs the center shift amount between the lens 11 and the CCD 13, so that the additional information preprocessing unit 80 is connected to the barcode decoder 72. The correction data generation unit 80 is configured to generate correction data for correcting the center shift based on the output center shift amount and to supply the correction data to the image processing unit 90.

CCDカメラ10のレンズ11とCCD13の中心ズレは、図6(イ)に示されているように、レンズ11の中心とCCD13の中心が入射光軸に関して変位している状態を表している。このような中心ズレはCCD13による撮影画像としての画像データの中心とレンズ11の中心(カメラ中心)が一致しない現象を引き起こし(図6(ロ)参照)、そのような中心ズレは、画像データに基づいて車両走行の軌跡線や道路標示(センターラインなど)と車両との距離などを演算する際の誤差を導く。また、そのような中心ズレは、得られた画像データに対して種々のレンズ収差を補正する補正プログラムをかける際においても大きな補正誤差を生じさせることになる。このため、予めレンズ11とCCD13の中心ズレ量(ズレ方向とズレ距離)を測定しておいて、この中心ズレ量を画像処理装置側に送ってその中心ズレを修正することが重要である。この中心ズレ量はカメラの個体差として生じるものであることから、CCDカメラ10が複数搭載される場合や、CCDカメラ10が交換される可能性がある場合には、CCDカメラ10側から画像処理装置側に使用中CCDカメラ10の固有の中心ズレ量を送り込んで中心ズレ修正させることが高い精度の周辺監視装置の構築のために、特に重要である。また、このような中心ズレ量を画像処理装置側に送り込むことができるシステムでは、非常に安価な、つまりレンズ11とCCD13の位置精度が高くないCCDカメラ10を使用できるという利点も得られる。   The center misalignment between the lens 11 and the CCD 13 of the CCD camera 10 represents a state in which the center of the lens 11 and the center of the CCD 13 are displaced with respect to the incident optical axis, as shown in FIG. Such a center shift causes a phenomenon in which the center of image data as a captured image by the CCD 13 and the center of the lens 11 (camera center) do not coincide (see FIG. 6B). Based on this, an error in calculating the distance between the vehicle travel locus line or road marking (center line, etc.) and the vehicle is derived. Such a center shift also causes a large correction error when a correction program for correcting various lens aberrations is applied to the obtained image data. For this reason, it is important to measure the center shift amount (shift direction and shift distance) between the lens 11 and the CCD 13 in advance and send the center shift amount to the image processing apparatus to correct the center shift. Since this center shift amount is caused as an individual difference of the cameras, image processing is performed from the CCD camera 10 side when a plurality of CCD cameras 10 are mounted or when the CCD cameras 10 may be replaced. It is particularly important to construct a high-accuracy peripheral monitoring apparatus by feeding the center deviation amount inherent to the CCD camera 10 in use to the apparatus side and correcting the center deviation. Further, in a system that can send such a center shift amount to the image processing apparatus side, there is an advantage that a CCD camera 10 that is very inexpensive, that is, the positional accuracy of the lens 11 and the CCD 13 is not high can be used.

前述した第1実施形態の変形例としての第4実施形態が図7に示されている。この第3実施形態における送信側画像処理システム1は、第1実施形態に較べて、撮影パラメータ取得部30がいわゆる広義の撮影パラメータとしてのCCDカメラ10に発生した異常を示す異常情報をCCDカメラ10あるいはアナログフロントエンド部20から取得するように構成され、バーコードイメージ生成部41はこの異常情報をバーコードイメージに変換するように構成されていることで異なっている。これに対応して、この第2実施形態における受信側画像処理システム2では、バーコードデコーダ72が異常情報を出力するので、付加情報前処理部80がバーコードデコーダ72から出力された異常情報に基づいてCCDカメラ10あるいはアナログフロントエンド部20で発生している異常を認識する異常認識部80として構成されている。異常認識部80は、認識された異常に応じて、ブザーや表示器などの報知部6を通じて運転者に異常を報知するための報知駆動信号を出力する。さらに、異常認識部80で認識された異常情報は車両に搭載されているECU7に転送されると、そこで異常発生の対処プログラムが作動して、適切に対処される。つまり、この実施形態では、自己診断機能を有するCCDカメラ10からの診断結果データが撮影画像とともに送信することができる。   A fourth embodiment as a modification of the first embodiment described above is shown in FIG. Compared with the first embodiment, the transmission-side image processing system 1 according to the third embodiment displays abnormal information indicating abnormality that has occurred in the CCD camera 10 as a so-called wide-range imaging parameter by the imaging parameter acquisition unit 30. Or it is comprised so that it may acquire from the analog front end part 20, and the barcode image generation part 41 differs by being comprised so that this abnormality information may be converted into a barcode image. Correspondingly, in the receiving-side image processing system 2 in the second embodiment, since the barcode decoder 72 outputs abnormality information, the additional information preprocessing unit 80 adds the abnormality information output from the barcode decoder 72 to the abnormality information. On the basis of this, an abnormality recognition unit 80 for recognizing an abnormality occurring in the CCD camera 10 or the analog front end unit 20 is configured. The abnormality recognizing unit 80 outputs a notification driving signal for notifying the driver of the abnormality through the notification unit 6 such as a buzzer or a display in accordance with the recognized abnormality. Furthermore, when the abnormality information recognized by the abnormality recognizing unit 80 is transferred to the ECU 7 mounted on the vehicle, the countermeasure program for the occurrence of abnormality operates there to be appropriately dealt with. That is, in this embodiment, diagnostic result data from the CCD camera 10 having a self-diagnosis function can be transmitted together with the captured image.

以上に、本発明による画像処理システムの基本構成及び4つの実施形態例が説明されたが、各実施形態例は単独で適用されてもよいし、それらの任意の組み合わせで適用されてもよい。しかしながら本発明による画像処理システムの応用形態は上述した4つの実施形態に限定されるわけではない。本発明を決定づける特徴は、撮影映像の内の所定のフィールド画像を付加情報をイメージ化した情報画像によって置き換えて付加情報付き映像信号として伝送したり、そのような付加情報付き映像信号から映像を得るだけではなく、付加情報をも取り出しえ種々の目的に利用することである。この特徴がもたらす作用効果を有効に利用できるあらゆる映像伝送分野において本発明は適用可能である。
さらに、インターレース方式ではなくノンインターレース方式での映像伝送系に本発明を適用することも可能である。その場合、送信側では、図示されていないが、フィールド区分け部42に代えて、ノンインターレース方式での映像から1画面に対応する単位撮影画像を選択的に取り出し、その選択された単位撮影画像に少なくとも一部の領域(もちろん単位撮影画像まるごとでもよい)を区画する機能部を備え、その区画された領域に、バーコード方式などによりコードイメージ化された付加情報が映像生成部43によって割り当てられるように構成される。受信側では、フィールド区分け部71に代えて、単位撮影画像における付加情報が割り当てられた領域を切り出す機能部が備えられる。単位撮影画像において付加情報の割り当てのために区画される領域としては、伝送される映像が車外周辺の道路指標や対向車などを被写体とする車載カメラなどの場合目標となる被写体から外れた不要領域が少なくないので、この不要領域を利用するのが好都合である。
The basic configuration of the image processing system according to the present invention and the four exemplary embodiments have been described above. However, each exemplary embodiment may be applied singly or in any combination thereof. However, the application form of the image processing system according to the present invention is not limited to the above-described four embodiments. A feature that determines the present invention is that a predetermined field image in a photographed video is replaced by an information image obtained by imaging additional information and transmitted as a video signal with additional information, or a video is obtained from such a video signal with additional information. In addition, the additional information can be taken out and used for various purposes. The present invention can be applied to any video transmission field in which the effects provided by this feature can be effectively used.
Furthermore, it is possible to apply the present invention to a video transmission system using a non-interlace method instead of an interlace method. In that case, on the transmission side, although not shown, instead of the field segmentation unit 42, a unit captured image corresponding to one screen is selectively extracted from the non-interlaced video, and the selected unit captured image is displayed. A function unit that divides at least a part of the area (of course, the whole unit photographed image may be included) is provided, and additional information that is converted into a code image by a barcode method or the like is assigned by the video generation unit 43 to the divided area. Configured. On the receiving side, instead of the field segmentation unit 71, a function unit that cuts out an area to which additional information in the unit photographed image is allocated is provided. In the unit shot image, the area that is divided for allocation of additional information is an unnecessary area that is outside the target subject in the case of an in-vehicle camera etc. whose transmitted image is a road index around the outside of the vehicle or an oncoming vehicle. Therefore, it is convenient to use this unnecessary area.

本発明による画像処理システムの原理を示す基本構成図1 is a basic configuration diagram showing the principle of an image processing system according to the present invention. 第1実施形態における画像処理システムの構成図Configuration diagram of an image processing system in the first embodiment 奇数フィールド画像と偶数フィールド画像である撮影映像に撮影パラメータとしての情報画像を嵌め込んでいく様子を示す説明図Explanatory drawing which shows a mode that the information image as a photography parameter is inserted in the photography image which is an odd field image and an even field image 第2実施形態における画像処理システムの構成図Configuration diagram of image processing system in second embodiment 第3実施形態における画像処理システムの構成図Configuration diagram of image processing system in third embodiment レンズとCCDの中心ズレを説明する説明図で、(イ)はレンズとCCD面の中心ズレを示す説明図、(ロ)はレンズと撮影画像データの中心ズレを示す説明図FIGS. 2A and 2B are explanatory diagrams for explaining a center shift between the lens and the CCD, FIG. 1B is an explanatory diagram showing a center shift between the lens and the CCD surface, and FIG. 第4実施形態における画像処理システムの構成図Configuration diagram of image processing system in fourth embodiment

符号の説明Explanation of symbols

1:送信側画像処理システム
2:受信側画像処理システム
3:ディスプレイ
4:走行制御部
5:被写体認識部
6:報知部
7:ECU
10:CCDカメラ(カメラ)
30:付加情報取得部(撮影パラメータ取得部)
40:送信側映像処理手段
41:付加情報イメージ化部(バーコードイメージ生成部)
42:フィールド区分け部
43:映像生成部
50:ビデオ信号変換部(NTSCエンコーダ)
60:ビデオキャプチャ
70:受信側映像処理手段
71:フィールド区分け部
72:付加情報生成部(バーコードデコーダ)
73:撮影映像生成部
80:付加情報前処理部(被写体明度演算部;被写体色演算部;修正データ生成部;異常認識部)
90:画像処理部
1: Transmission-side image processing system 2: Reception-side image processing system 3: Display 4: Travel control unit 5: Subject recognition unit 6: Notification unit 7: ECU
10: CCD camera (camera)
30: Additional information acquisition unit (imaging parameter acquisition unit)
40: Transmission-side video processing means 41: Additional information imaging unit (barcode image generation unit)
42: Field division unit 43: Video generation unit 50: Video signal conversion unit (NTSC encoder)
60: Video capture 70: Receiving side video processing means 71: Field division unit 72: Additional information generation unit (barcode decoder)
73: Shooting image generation unit 80: Additional information preprocessing unit (subject brightness calculation unit; subject color calculation unit; correction data generation unit; abnormality recognition unit)
90: Image processing unit

Claims (8)

カメラを通じて取得されたインターレース方式の映像を処理する画像処理システムにおいて、
前記映像をフィールド単位の単位撮影画像に区分けするフィールド区分け部と、前記映像に関する付加情報をイメージ化して情報画像を生成する付加情報イメージ化部と、所定の前記単位撮影画像に代えて前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とからなる画像処理システム。
In an image processing system that processes interlaced video acquired through a camera,
A field dividing unit that divides the video into unit-captured images in field units, an additional information imaging unit that generates an information image by imaging additional information related to the video, and the information image instead of the predetermined unit-captured image An image processing system comprising: a video generation unit that generates a video with additional information assigned to the video signal; and a video signal conversion unit that converts the video with additional information into a video signal having a predetermined format and outputs the video signal.
前記付加情報が前記カメラの撮影パラメータである請求項1に記載の画像処理システム。   The image processing system according to claim 1, wherein the additional information is a shooting parameter of the camera. 前記情報画像がコードイメージである請求項1又は2に記載の画像処理システム。   The image processing system according to claim 1, wherein the information image is a code image. 前記映像生成部は奇数フィールド又は偶数フィールドの一方に前記単位撮影画像を割り当てるとともに奇数フィールド又は偶数フィールドの他方に前記情報画像を割り当てる請求項1に記載の画像処理システム。   The image processing system according to claim 1, wherein the video generation unit assigns the unit captured image to one of an odd field and an even field and assigns the information image to the other of the odd field and the even field. 所定の前記フィールドへの前記情報画像の割り当てを示す情報を垂直ブランキング期間内に挿入する請求項1に記載の画像処理システム。   The image processing system according to claim 1, wherein information indicating assignment of the information image to a predetermined field is inserted within a vertical blanking period. カメラを通じて取得された映像を構成するフィールド単位の単位撮影画像と所定フィールドに嵌め込まれた付加情報としての情報画像とからなる付加情報付き映像のビデオ信号を入力するビデオキャプチャと、前記ビデオキャプチャによって取得された付加情報付き映像から前記単位撮影画像をもつフィールドと前記情報画像をもつフィールドとに区分けするフィールド区分け部と、前記区分けされた単位撮影画像から撮影映像を構築する撮影映像生成部と、前記区分けされた情報画像から付加情報を生成する付加情報生成部とを有する画像処理システム。   Video capture that inputs a video signal of video with additional information consisting of unit-captured images of field units constituting video acquired through a camera and information images as additional information inserted in a predetermined field, and acquired by the video capture A field segmenting unit that divides the fielded image with additional information into a field having the unit captured image and a field having the information image; a captured image generating unit that constructs a captured image from the segmented unit captured image; An image processing system comprising: an additional information generation unit that generates additional information from the segmented information image. 前記付加情報生成部は所定フォーマットのコードイメージから付加情報を生成するデコーダである請求項6に記載の画像処理システム。   The image processing system according to claim 6, wherein the additional information generation unit is a decoder that generates additional information from a code image having a predetermined format. カメラを通じて取得された映像を処理する画像処理システムにおいて、
前記映像に関する付加情報をコードイメージ化して情報画像を生成する付加情報イメージ化部と、前記映像を構成する単位撮影画像の少なくとも一部の領域に前記情報画像を割り当てた付加情報付き映像を生成する映像生成部と、前記付加情報付き映像を所定フォーマットのビデオ信号に変換して出力するビデオ信号変換部とからなる画像処理システム。
In an image processing system that processes video acquired through a camera,
An additional information imaging unit that generates an information image by converting the additional information related to the video into a code image, and generates a video with additional information in which the information image is assigned to at least a part of a region of the unit photographed image constituting the video. An image processing system comprising: a video generation unit; and a video signal conversion unit that converts the video with additional information into a video signal having a predetermined format and outputs the video signal.
JP2005126386A 2005-04-25 2005-04-25 Image processing system Expired - Fee Related JP4513013B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005126386A JP4513013B2 (en) 2005-04-25 2005-04-25 Image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005126386A JP4513013B2 (en) 2005-04-25 2005-04-25 Image processing system

Publications (2)

Publication Number Publication Date
JP2006304171A true JP2006304171A (en) 2006-11-02
JP4513013B2 JP4513013B2 (en) 2010-07-28

Family

ID=37471893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005126386A Expired - Fee Related JP4513013B2 (en) 2005-04-25 2005-04-25 Image processing system

Country Status (1)

Country Link
JP (1) JP4513013B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233717A (en) * 2014-03-12 2016-12-14 罗伯特·博世有限公司 For transmitting the system and method for parameter based on video camera in the case of without dedicated reverse channel

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101871918B1 (en) * 2016-07-12 2018-07-13 (주)씨앤에스링크 Apparatus for checking image stored in blackbox

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04248784A (en) * 1991-02-05 1992-09-04 Toshiba Corp Television receiver
JPH1155639A (en) * 1997-02-24 1999-02-26 Nec Corp Encode system for digital data, electronic watermark insertion method and storage medium storing control program
JP2002171435A (en) * 2000-12-05 2002-06-14 Sharp Corp Image input device and image output device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04248784A (en) * 1991-02-05 1992-09-04 Toshiba Corp Television receiver
JPH1155639A (en) * 1997-02-24 1999-02-26 Nec Corp Encode system for digital data, electronic watermark insertion method and storage medium storing control program
JP2002171435A (en) * 2000-12-05 2002-06-14 Sharp Corp Image input device and image output device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233717A (en) * 2014-03-12 2016-12-14 罗伯特·博世有限公司 For transmitting the system and method for parameter based on video camera in the case of without dedicated reverse channel
JP2017515332A (en) * 2014-03-12 2017-06-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh System and method for transmitting camera-based parameters without using a dedicated back channel
US10027904B2 (en) 2014-03-12 2018-07-17 Robert Bosch Gmbh System and method for transmitting camera-based parameters without a dedicated back channel
CN106233717B (en) * 2014-03-12 2020-09-15 罗伯特·博世有限公司 System and method for transmitting camera-based parameters without a dedicated back channel

Also Published As

Publication number Publication date
JP4513013B2 (en) 2010-07-28

Similar Documents

Publication Publication Date Title
EP3343911B1 (en) Image signal processing method and system
US6819359B1 (en) Method and apparatus for controlling the processing of signals containing defective pixels in accordance with imaging operation mode
JP6319340B2 (en) Movie imaging device
KR101367637B1 (en) Monitoring apparatus
EP2833618A2 (en) Method for activating and deactivating an image correction function, camera system and motor vehicle
JP4851406B2 (en) Image display method for adjustment in multi-view imaging system and multi-view imaging system
JP2011188101A (en) Frame rate conversion processing apparatus
US20070091196A1 (en) Imaging apparatus
US11582401B2 (en) Image signal processing device, imaging device, flicker check method in imaging device, and server
JP2010088105A (en) Imaging apparatus and method, and program
JP2010050737A (en) Video imaging apparatus and exposure guide display method
JP2016208306A (en) Image processing device, imaging system having the same and image processing method
JP6354442B2 (en) Imaging apparatus, control method, and program
JP2018186514A (en) Image processing device, imaging system having the same and image processing method
JP2010199712A (en) Method and apparatus of supporting calibration of in-vehicle camera device, and in-vehicle camera device
EP3117603B1 (en) System and method for transmitting camera-based parameters without a dedicated back channel
JP4513013B2 (en) Image processing system
JP5256060B2 (en) Imaging device
JP2010206521A (en) Image capturing apparatus, method of correcting image, and program
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
US20180069998A1 (en) Imaging apparatus, imaging system, and vehicle
US8350924B2 (en) System and method for processing image signals based on interpolation
JP4797441B2 (en) Image processing apparatus for vehicle
JP5527639B2 (en) Imaging apparatus and method, and program
CN109936700B (en) Image series flow image quality processing system and image series flow image quality processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100428

R151 Written notification of patent or utility model registration

Ref document number: 4513013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees