JP2003303334A - Image processing unit - Google Patents
Image processing unitInfo
- Publication number
- JP2003303334A JP2003303334A JP2002106587A JP2002106587A JP2003303334A JP 2003303334 A JP2003303334 A JP 2003303334A JP 2002106587 A JP2002106587 A JP 2002106587A JP 2002106587 A JP2002106587 A JP 2002106587A JP 2003303334 A JP2003303334 A JP 2003303334A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- image processing
- area
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像センサから取
得した画像情報を利用し、目的の捜索、検出、識別等を
行うセンサシステムに使用する画像処理装置に関するも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus for use in a sensor system that utilizes image information acquired from an image sensor to perform a target search, detection, identification or the like.
【０００２】[0002]
【従来の技術】従来の画像処理装置について説明する。
図１０は、従来の画像処理装置を使用した画像センサシ
ステムの構成を表すブロック図である。図において、１
は画像センサ、２は画像処理装置、３は表示装置、５は
画像入力部、７は画像入力部で取り込んだ画像を処理す
る画像処理部、８は処理した画像を表示装置３に出力す
る画像出力部である。画像処理装置２は、上記画像入力
部５、画像処理部７、画像出力部８から構成されてい
る。2. Description of the Related Art A conventional image processing apparatus will be described.
FIG. 10 is a block diagram showing the configuration of an image sensor system using a conventional image processing device. In the figure, 1
Is an image sensor, 2 is an image processing device, 3 is a display device, 5 is an image input unit, 7 is an image processing unit that processes an image captured by the image input unit, and 8 is an image that outputs the processed image to the display device 3. It is an output part. The image processing device 2 includes the image input unit 5, the image processing unit 7, and the image output unit 8.
【０００３】次に、従来の画像処理装置の動作について
説明する。画像センサ１から取得した例えば、Ｎａｔｉ
ｏｎａｌ ＴＶ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔ
ｅｅ（日米で一般的に使われるテレビ映像信号方式。以
下、ＮＴＳＣと呼ぶ。）方式の画像信号は、画像処理装
置２に入力される。入力された画像信号は、画像入力部
５にて、フレーム毎に取り込まれ、処理しやすい画像デ
ータに変換される。このデータは全て画像処理部７に出
力され、この画像処理部７において、例えば、画像の視
認性を改善するため、ノイズ除去処理、コントラスト強
調処理といった画像処理が行われる。このように処理し
たデータは画像出力部８に出力され、画像出力部８にお
いて表示装置３の表示方法と適合した画像信号に変換さ
れ、表示装置３で画像を表示する。オペレータはこの表
示装置３で表示した処理画像を通して、目標の捜索、検
出、識別等を行う。Next, the operation of the conventional image processing apparatus will be described. For example, Nati obtained from the image sensor 1
onal TV Standards Committee
An image signal of the ee (a television image signal system generally used in Japan and the US; hereinafter referred to as NTSC) system is input to the image processing device 2. The input image signal is captured by the image input unit 5 for each frame and converted into image data that is easy to process. All of this data is output to the image processing unit 7, and the image processing unit 7 performs image processing such as noise removal processing and contrast enhancement processing in order to improve the visibility of the image. The data processed in this way is output to the image output unit 8, converted into an image signal compatible with the display method of the display device 3 in the image output unit 8, and the image is displayed on the display device 3. The operator searches for, detects, and identifies the target through the processed image displayed on the display device 3.
【０００４】以上のように、従来の画像入力部５で取り
込まれた画像データは、全て画像処理部７に出力され、
画像処理部７において予め設定されたノイズ除去やコン
トラスト強調といった処理をリアルタイムで行う対象と
なるため、目標の存在しない画像信号まで画像処理を行
っていたため効率が悪かった。特に、今後ＨｉｇｈＤｅ
ｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ（以下、ＨＤ
ＴＶと呼ぶ。）といった方式を採用する場合、ＮＴＳＣ
が５２５本の走査線であるのに対して、ＨＤＴＶでは１
１２５本または１２５０本と２倍近くの走査線を持つた
め画像データが大容量化して、従来の画像処理装置では
処理時間が長くかかり、リアルタイム処理を行う際の障
害となる。また、処理時間を短くするために、データを
分割し並列的に処理する場合は、装置規模が大きくなる
といった問題点があった。As described above, all the image data captured by the conventional image input unit 5 is output to the image processing unit 7,
In the image processing unit 7, preset processing such as noise removal and contrast enhancement is to be performed in real time, and image processing is performed even for image signals having no target, resulting in poor efficiency. Especially in the future HighDe
definition Television (hereinafter, HD
Call it TV. ) Is adopted, NTSC
Is 525 scanning lines, while HDTV has 1
Since the number of scanning lines is nearly double, that is, 125 or 1250, the image data has a large capacity, and the conventional image processing apparatus takes a long processing time, which is an obstacle in performing real-time processing. Further, when data is divided and processed in parallel in order to shorten the processing time, there is a problem that the device scale becomes large.
【０００５】[0005]
【発明が解決しようとする課題】本発明は、以上の問題
点を解決するためになされたものであり、目標が含まれ
る画像データのみを画像処理するため、処理効率のよい
画像処理装置を得ることを目的とする。SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and since only the image data including the target is image-processed, an image processing apparatus with high processing efficiency is obtained. The purpose is to
【０００６】[0006]
【課題を解決するための手段】本発明に係る画像処理装
置は、画像センサより画像信号が入力される画像入力部
と、前記画像センサからのセンサ制御情報と、外部から
の入力される目標情報を合わせて、前記画像信号のうち
目標が含まれると推定される領域を設定する領域設定部
と、当該領域設定部の設定に基き、前記画像入力部より
入力される画像信号の一部に画像処理を行う画像処理部
とを備えるものである。An image processing apparatus according to the present invention includes an image input unit to which an image signal is input from an image sensor, sensor control information from the image sensor, and target information input from the outside. Together, based on the setting of the area setting unit that sets the area of the image signal estimated to include the target, the image of a part of the image signal input from the image input unit based on the setting of the area setting unit. And an image processing unit that performs processing.
【０００７】前記目標情報は、目標方位、目標位置、目
標識別情報のいずれか一つまたは複数であるものであ
る。The target information is one or more of a target azimuth, a target position, and target identification information.
【０００８】前記センサ制御情報は、前記画像センサの
水平面内監視方向と垂直面内監視方向とセンサ倍率また
は視野角のいずれか一つまたは複数であるものである。The sensor control information is one or more of a horizontal in-plane monitoring direction of the image sensor, a vertical in-plane monitoring direction, a sensor magnification and a viewing angle.
【０００９】また、同一方向を向いた第一および第二の
画像センサと、前記第一の画像センサより取得された画
像信号から目標が存在する領域を判定する領域判定部
と、当該領域判定部の判定結果、および、前記第一およ
び第二の画像センサのセンサ倍率情報に基き、前記第二
の画像センサにより取得された画像信号のうち目標が含
まれると推定される領域を設定する領域設定部と、当該
領域設定部の設定に基き、前記第二の画像信号の一部に
画像処理を行う画像処理部とを備えるものである。Further, the first and second image sensors facing the same direction, an area determination section for determining the area where the target exists from the image signal acquired by the first image sensor, and the area determination section. Area setting for setting an area estimated to include a target in the image signal acquired by the second image sensor, based on the determination result of 1) and the sensor magnification information of the first and second image sensors. And an image processing unit that performs image processing on a part of the second image signal based on the setting of the area setting unit.
【００１０】また、同一方向を向いた第一および第二の
画像センサと、前記第一の画像センサより取得された画
像信号から目標が存在する領域を判定する第一の領域判
定部と、前記第二の画像センサより取得された画像信号
から目標が存在する領域を判定する第二の領域判定部
と、前記第一の領域判定部の判定結果と、前記第一およ
び第二の画像センサの倍率情報に基き、前記第二の画像
センサより取得された画像信号のうち目標が含まれると
推定される領域を設定し、また、前記第二の領域判定部
の判定結果と、前記第一および第二の画像センサの倍率
情報に基づき、前記第一の画像センサより取得された画
像信号のうち目標が含まれると推定される領域を設定す
る領域設定部と、前記領域設定部の設定に基き、前記第
一の画像信号の一部に画像処理を行う第一の画像処理部
と、前記領域設定部の設定に基き、前記第二の画像信号
の一部に画像処理を行う第二の画像処理部とを備えるも
のである。Further, first and second image sensors facing in the same direction, a first area determination section for determining an area where a target exists from the image signal acquired by the first image sensor, A second area determination unit that determines the area where the target exists from the image signal acquired from the second image sensor, the determination result of the first area determination unit, and the first and second image sensors Based on the magnification information, the area of the image signal acquired from the second image sensor is estimated to include the target is set, the determination result of the second region determination unit, the first and the Based on the magnification information of the second image sensor, based on the setting of the region setting unit that sets a region in the image signal acquired from the first image sensor is estimated to include the target , Part of the first image signal A first image processing unit that performs image processing, based on the setting of the area setting unit, in which and a second image processing unit that performs image processing on a part of the second image signal.
【００１１】[0011]
【発明の実施の形態】実施の形態１．本発明の実施の形
態１は、オペレータが画像を視認して目標の検出等を行
うための画像処理装置において、画面に表示する画像信
号のうち、目標が含まれると推定される領域にのみ画像
処理を施すことで、画像処理効率を向上させるものであ
る。BEST MODE FOR CARRYING OUT THE INVENTION Embodiment 1. Embodiment 1 of the present invention is an image processing apparatus for an operator to visually recognize an image to detect a target, etc., and an image is displayed only in a region of the image signal displayed on the screen that is estimated to include the target. By performing the processing, the image processing efficiency is improved.
【００１２】図１は本発明の実施の形態１に係る画像処
理装置の構成を表すブロック図である。図１において、
１は画像センサとして用いられるビデオカメラ、２は画
像処理装置、３は表示装置、４ａは電波センサ、５は画
像入力部、６は領域設定部、７は画像処理部、８は画像
出力部、１１はカメラ制御台、１２は方位角検出装置で
ある。FIG. 1 is a block diagram showing the configuration of an image processing apparatus according to the first embodiment of the present invention. In FIG.
1 is a video camera used as an image sensor, 2 is an image processing device, 3 is a display device, 4a is a radio wave sensor, 5 is an image input unit, 6 is an area setting unit, 7 is an image processing unit, 8 is an image output unit, Reference numeral 11 is a camera control stand, and 12 is an azimuth angle detection device.
【００１３】次に、動作について説明する。本実施の形
態１におけるビデオカメラ１は、カメラ制御台１１に固
定されており、カメラ制御台１１を駆動することで水平
面内の回転を行う。ビデオカメラ１はカメラ制御台１１
に設けられた方位角検出器１２によって現在向いている
方位を検出する。Next, the operation will be described. The video camera 1 according to the first embodiment is fixed to the camera control stand 11, and is rotated in the horizontal plane by driving the camera control stand 11. The video camera 1 is a camera control stand 11
The azimuth angle detector 12 provided at is used to detect the current azimuth.
【００１４】撮影時においては、ビデオカメラ１が向い
ている方位と撮影時の倍率に応じた視野角の可視画像を
取得し、可視画像信号を画像処理装置２内の画像入力部
５に出力する。画像入力部５では、表示装置３の画素数
等の表示形態に合わせて可視画像信号を画像データに変
換する。At the time of shooting, a visible image having a viewing angle corresponding to the direction in which the video camera 1 is facing and the magnification at the time of shooting is acquired, and the visible image signal is output to the image input unit 5 in the image processing apparatus 2. . The image input unit 5 converts the visible image signal into image data according to the display form such as the number of pixels of the display device 3.
【００１５】一方、方位角検出装置１２によって検出さ
れたビデオカメラ１が向いている方位情報と、撮影時の
倍率情報は、画像処理装置２内の領域設定部６に出力さ
れ、また、電波センサ４ａからは捕捉した目標の存在す
る方位、および航空機や船舶等の種別といった識別情報
を領域設定部６に出力される。On the other hand, the azimuth information on the direction in which the video camera 1 is detected by the azimuth angle detection device 12 and the magnification information at the time of photographing are output to the area setting section 6 in the image processing device 2 and the radio wave sensor. The identification information such as the azimuth of the captured target and the type of the aircraft or the ship is output from the area 4a to the area setting unit 6.
【００１６】領域設定部６ではこれらのビデオカメラ１
の方位情報、倍率情報、および電波センサ４ａからの目
標方位情報、識別情報を合わせて画像信号中目標が含ま
れる領域を推定し、画像処理を行う領域の座標を設定す
る。The area setting section 6 uses these video cameras 1
Azimuth information, magnification information, and target azimuth information and identification information from the radio wave sensor 4a are combined to estimate the area including the target in the image signal, and the coordinates of the area for image processing are set.
【００１７】図２に領域設定部６の内部処理のフローチ
ャートを示す。例えば、ビデオカメラ１の中央部が真北
を０度としたときの１００度の方向に向いている場合、
領域設定部６では、ビデオカメラ１から方位情報および
視野角といったセンサ情報を取得し（Ｓ１）、視野角を
決定する（Ｓ２）。このとき、ビデオカメラの倍率から
決まる視野角が±２０度だとすると、ビデオカメラ１か
ら取得される画像は８０度から１２０度の間を示してい
ることになる（Ｓ２）。FIG. 2 shows a flowchart of the internal processing of the area setting section 6. For example, when the central portion of the video camera 1 is oriented in the direction of 100 degrees when the true north is 0 degree,
The area setting unit 6 acquires sensor information such as azimuth information and viewing angle from the video camera 1 (S1) and determines the viewing angle (S2). At this time, if the viewing angle determined by the magnification of the video camera is ± 20 degrees, the image acquired from the video camera 1 indicates between 80 degrees and 120 degrees (S2).
【００１８】そして、電波センサ４ａからの目標方位情
報を取り込んだ結果（Ｓ３）、目標が水平角１０５度付
近に存在すると判明した場合、画像信号中の１０５度を
中心として、例えば±２度の範囲を画像処理する領域と
決定する（Ｓ４）。画像処理のための角度範囲は、オペ
レータがあらかじめ適当な値を設定してもよいし、電波
センサ４ａが有する角度誤差に基いて自動的に設定して
もよい。Then, as a result of taking in the target azimuth information from the radio wave sensor 4a (S3), when it is found that the target exists near the horizontal angle of 105 degrees, for example, ± 2 degrees centering on 105 degrees in the image signal. The range is determined as the area for image processing (S4). The angle range for image processing may be set in advance by an operator with an appropriate value, or may be automatically set based on the angle error of the radio wave sensor 4a.
【００１９】さらに、目標識別情報に従って垂直角の限
定を行う。目標が航空機であると識別した場合には、当
該目標識別情報に従って、ビデオカメラ１による監視方
向仰角０度以上の範囲のみに限定し（Ｓ５ａ、S６）、
また、目標が船舶であると識別した場合には、監視方向
仰角０度周辺（例えば、±２度の範囲）に限定して画像
処理すればよい（Ｓ５ｂ、S６）。この例では、識別情
報が航空機、船舶以外の場合は特に垂直角の限定は行わ
ないものとしたが、航空機、船舶以外であっても、目標
の種類が特定できれば、その種類に応じて垂直角を決定
するようにしてもよい。Further, the vertical angle is limited according to the target identification information. When the target is identified as an aircraft, according to the target identification information, the range is limited to only the range of elevation angle 0 degree or more by the video camera 1 (S5a, S6),
Further, when the target is identified as a ship, the image processing may be performed only in the vicinity of the observation direction elevation angle of 0 degree (for example, a range of ± 2 degrees) (S5b, S6). In this example, if the identification information is not an aircraft or a ship, the vertical angle is not particularly limited, but if the target type can be specified even if the identification information is other than an aircraft or a ship, the vertical angle is determined according to the type. May be determined.
【００２０】このようにして決定した水平角および垂直
角をもとに画像処理を行う領域に含まれる画素の座標を
決定する。図３は、表示装置３に表示される画像処理後
の可視画像である。１３は表示画像、１４は目標、１５
は画像処理領域である。表示装置３の画素が水平方向に
１９２０個、垂直方向に１０８０個あるとすると、上記
の例では、水平方向について１０３度から１０７度の範
囲とは１１０４番目から１２９６番目の画素のことであ
り、垂直方向については仰角０度以上となる範囲に含ま
れる画素（例えば、０番目から８００番目の画素である
とする）を画像処理領域１５と決定し（Ｓ７）、この画
像処理領域１５に含まれる画面上一番左上に表示される
画素の座標と、縦横の幅を画像処理部７に出力する。今
の場合、左上の画素点Ｂの座標は（０，１１０４）で、
縦横の幅はそれぞれ８００画素と１９２画素である。Based on the horizontal angle and the vertical angle thus determined, the coordinates of the pixels included in the area for image processing are determined. FIG. 3 is a visible image displayed on the display device 3 after image processing. 13 is a display image, 14 is a target, 15
Is an image processing area. Assuming that the display device 3 has 1920 pixels in the horizontal direction and 1080 pixels in the vertical direction, in the above example, the range of 103 ° to 107 ° in the horizontal direction is the 1104th to 1296th pixels. Pixels (for example, 0th to 800th pixels) included in a range having an elevation angle of 0 degrees or more in the vertical direction are determined as the image processing area 15 (S7), and are included in the image processing area 15. The coordinates of the pixel displayed at the top left of the screen and the horizontal and vertical widths are output to the image processing unit 7. In this case, the coordinates of the upper left pixel point B is (0,1104),
The horizontal and vertical widths are 800 pixels and 192 pixels, respectively.
【００２１】画像処理部７では、領域設定部６から出力
された座標情報に基づき、画像入力部５から入力される
可視画像信号の一部にのみ平滑化処理やコントラスト強
調、鮮明化処理といった画像処理を行い、これら処理を
した部分としない部分を合わせて画像出力部８に出力す
る。In the image processing section 7, based on the coordinate information output from the area setting section 6, only a part of the visible image signal input from the image input section 5 is subjected to an image such as a smoothing process, a contrast enhancement or a sharpening process. Processing is performed, and the portions that have undergone these processing and the portions that do not undergo processing are combined and output to the image output unit 8.
【００２２】図４に画像処理部７の内部処理のフローチ
ャートを示す。例えば、図３のように画像処理領域１５
が、点Ｂ（この例では、座標が（ＸＢ，ＹＢ）＝（０，
１１０４）であるとする）からＸ方向にＭ（この例では
１９２画素）、Ｙ方向にＮ（この例では８００画素）だ
けずれた画素点までを含むとする。当該画像処理領域１
５の情報を取り込んだ画像処理部７は（Ｓ１０）、一番
左上に位置する画素点Ａ（座標が（０，０））から画像
処理領域１５に含まれる画素か否かの走査を開始し（Ｓ
１１）、含まれない画素については画像処理を行わない
（Ｓ１７）。一方、画像処理領域１５に含まれる画素に
ついては、まず平滑化の処理を行う（Ｓ１２）。平滑化
は、画像に含まれる様々な雑音にフィルタをかけるもの
であり、一般的なものとしては注目画素とその近傍画素
の濃度値を参照して、それらの平均値を注目画素の濃度
値として更新する処理である。FIG. 4 shows a flow chart of the internal processing of the image processing section 7. For example, as shown in FIG. 3, the image processing area 15
However, the point B (in this example, the coordinates are (X B , Y B ) = (0,
1104)) and pixel points shifted by M (192 pixels in this example) in the X direction and N (800 pixels in this example) in the Y direction. Image processing area 1
The image processing unit 7 that has acquired the information of 5 (S10) starts scanning whether the pixel point A (coordinates is (0,0)) located at the uppermost left corner is a pixel included in the image processing area 15. (S
11), image processing is not performed on pixels that are not included (S17). On the other hand, the pixels included in the image processing area 15 are first subjected to smoothing processing (S12). Smoothing is to filter various noises contained in an image. Generally, the density value of a pixel of interest and its neighboring pixels is referred to, and the average value thereof is used as the density value of the pixel of interest. This is the process of updating.
【００２３】１画素について平滑化処理を行ってから、
隣りの画素に移って処理をするために、処理画素のＹ座
標の更新を行い（Ｓ１３）、更新後の座標が画像処理領
域１５に含まれるかをチェックする（Ｓ１４）。含まれ
るならば、同様にＳ１２に戻って平滑化処理を行い、含
まれないならば、隣りの画素列に移るためＸ座標の更新
を行い（Ｓ１５）、更新後の座標が画像処理領域に含ま
れるかをチェックする（Ｓ１６）。当該座標が画像処理
領域１５に含まれるならば同様にＳ１２に戻り平滑化処
理を行い、含まれない場合には画像処理領域１５の全領
域が平滑化処理されたことになるので処理を終了する。After performing smoothing processing for one pixel,
In order to move to the adjacent pixel for processing, the Y coordinate of the processing pixel is updated (S13), and it is checked whether the updated coordinate is included in the image processing area 15 (S14). If included, the process similarly returns to S12 to perform the smoothing process. If not included, the X coordinate is updated to move to the adjacent pixel column (S15), and the updated coordinate is included in the image processing area. It is checked (S16). If the coordinates are included in the image processing area 15, the process similarly returns to S12 to perform the smoothing processing. If not, it means that the entire area of the image processing area 15 has been subjected to the smoothing processing, so the processing ends. .
【００２４】その他、コントラスト強調、鮮明化処理に
ついても同様のプロセスで領域を限定して各画像処理演
算を行えばよい。In addition, for contrast enhancement and sharpening processing, each image processing calculation may be performed by limiting the area in the same process.
【００２５】画像出力部８では、表示装置３の表示形態
と適合するよう画像処理後の画像信号をＤＡ変換等を行
い、変換した画像信号を表示装置３に出力する。表示装
置３では、処理した画像を表示し、オペレータはこの表
示装置３において表示した処理画像から目標の捜索等を
行う。The image output section 8 performs DA conversion or the like on the image signal after image processing so as to match the display form of the display device 3, and outputs the converted image signal to the display device 3. The display device 3 displays the processed image, and the operator searches for a target from the processed image displayed on the display device 3.
【００２６】以上の例では、ビデオカメラ１が水平面内
方向にしか回転しない場合について説明したが、垂直方
向のみ、もしくは水平方向および垂直方向に回転する構
成としてもよい。その場合でも、領域設定部が、電波セ
ンサ４の検出した目標方位と、ビデオカメラ１が取得し
た画像データとの相関をとって、画像データの画像処理
をすべき領域を設定し、その座標を画像処理部７に出力
する。In the above example, the case where the video camera 1 rotates only in the horizontal plane has been described, but it may be configured to rotate only in the vertical direction or in the horizontal direction and the vertical direction. Even in that case, the area setting unit sets the area where the image processing of the image data is to be performed by correlating the target direction detected by the radio wave sensor 4 and the image data acquired by the video camera 1, and sets the coordinates. It is output to the image processing unit 7.
【００２７】以上のように、本実施の形態１では、画像
処理装置に領域設定部を備え、画像センサが取得した画
像データの一部のみに画像処理を行うこととしたため、
処理効率のよい画像処理装置を得ることができ、処理時
間の短縮も図れる。As described above, in the first embodiment, the image processing apparatus is provided with the area setting unit, and the image processing is performed only on a part of the image data acquired by the image sensor.
An image processing apparatus with high processing efficiency can be obtained, and the processing time can be shortened.
【００２８】実施の形態２．次に、本発明の実施の形態
２について説明する。本実施の形態２では、上記実施の
形態１の画像処理装置に加え、画像センサに自己の位置
を検出する位置検出器を備え、また、他センサは目標の
方位のみならず距離も測定し、当該他センサからの目標
の方位および距離を含んだ目標位置情報を用いて画像処
理を行う画像データ領域を決定するため、より正確に目
標の含まれる画像データ領域を限定することができ、処
理効率のよい画像処理装置を得るものである。Embodiment 2. Next, a second embodiment of the present invention will be described. In the second embodiment, in addition to the image processing apparatus of the first embodiment, the image sensor is provided with a position detector for detecting its own position, and other sensors measure not only the direction of the target but also the distance. Since the image data area to be subjected to image processing is determined by using the target position information including the direction and distance of the target from the other sensor, the image data area including the target can be more accurately limited, and the processing efficiency can be improved. A good image processing device is obtained.
【００２９】図５は、本実施の形態２に係る画像処理装
置の装置構成を表すブロック図である。図において、図
１と同じ構成要素には同じ符号を付す。４ｂは目標の方
位および距離を測定する他センサ、１６はビデオカメラ
１のカメラ制御台１１に設けられた位置検出器である。FIG. 5 is a block diagram showing the device configuration of the image processing device according to the second embodiment. In the figure, the same components as those in FIG. 1 are designated by the same reference numerals. Reference numeral 4b is a sensor for measuring the direction and distance of the target, and 16 is a position detector provided on the camera control stand 11 of the video camera 1.
【００３０】次に、動作について説明する。ビデオカメ
ラ１は、カメラ制御台１１に固定されており、カメラ制
御台１１を駆動することで水平面内の回転を行う。ビデ
オカメラ１はカメラ制御台１１に設けられた方位角検出
器１２によって現在向いている方位を検出し、また、位
置検出器１６によって現在の自己の位置を検出する。位
置検出にはＧＰＳ等の既存の方法を用いる。撮影時にお
いては、ビデオカメラ１が向いている方位と撮影時の倍
率に応じた視野角の可視画像を取得し、可視画像信号を
画像処理装置２内の画像入力部５に出力する。Next, the operation will be described. The video camera 1 is fixed to the camera control stand 11, and is rotated in a horizontal plane by driving the camera control stand 11. The video camera 1 detects the azimuth currently facing by the azimuth angle detector 12 provided on the camera control stand 11, and detects the current position of itself by the position detector 16. An existing method such as GPS is used for position detection. At the time of shooting, a visible image having a viewing angle corresponding to the direction in which the video camera 1 is facing and the magnification at the time of shooting is acquired, and a visible image signal is output to the image input unit 5 in the image processing apparatus 2.
【００３１】その際、方位角検出装置１２によって検出
されたビデオカメラ１が向いている方位情報と、撮影時
の倍率情報、および位置検出器１６によって検出した自
己位置が画像処理装置２内の領域設定部６に入力され
る。また、衛星または地上レーダ等の外部の他センサ４
ｂで測定された目標の３次元的な位置情報が領域設定部
６に入力される。At this time, the azimuth information on the direction of the video camera 1 detected by the azimuth angle detection device 12, the magnification information at the time of photographing, and the self-position detected by the position detector 16 are the areas within the image processing device 2. It is input to the setting unit 6. In addition, other external sensors such as satellites or ground radars 4
The three-dimensional position information of the target measured in b is input to the area setting unit 6.
【００３２】領域設定部６ではこれらのビデオカメラ１
の位置情報、倍率情報、および他センサ４ｂからの目標
位置情報を合わせて画像信号中目標が含まれる領域を推
定し、画像処理を行う領域の座標を設定する。The area setting section 6 uses these video cameras 1
The position information, the magnification information, and the target position information from the other sensor 4b are combined to estimate the area including the target in the image signal, and the coordinates of the area where the image processing is performed are set.
【００３３】図６は本実施の形態２に係る領域設定部６
の内部処理のフローチャートである。まず、ビデオカメ
ラ１から方位情報および視野角といったセンサ情報を取
得し（Ｓ２０）、視野角を決定する（Ｓ２１）。次い
で、位置検出装置１６から３次元的な自己位置情報を取
り込み（Ｓ２２）、他センサ４ｂから目標位置の取り込
みを行う（Ｓ２３）。この取り込んだ自己位置と目標位
置から自己に対して目標がどの方向に存在するかを算出
し、算出した方向から画面上のどの画素範囲にあたるか
を計算し、座標を画像処理部７に出力する（Ｓ２４）。
このとき算出した方向の画像処理を行う角度範囲は、オ
ペレータがあらかじめ適当な値を設定してもよい。FIG. 6 shows an area setting section 6 according to the second embodiment.
3 is a flowchart of the internal processing of FIG. First, sensor information such as azimuth information and viewing angle is acquired from the video camera 1 (S20), and the viewing angle is determined (S21). Next, the three-dimensional self-position information is fetched from the position detection device 16 (S22), and the target position is fetched from the other sensor 4b (S23). The direction in which the target exists with respect to the self is calculated from the captured self-position and the target position, which pixel range on the screen is calculated from the calculated direction, and the coordinates are output to the image processing unit 7. (S24).
The operator may set an appropriate value in advance for the angle range in which the image processing of the calculated direction is performed.
【００３４】画像処理部７では、上記実施の形態１と同
様に、この座標情報に基づき可視画像信号の一部にのみ
画像処理を行い、これら処理をした部分としない部分を
合わせて画像出力部８を介して表示装置３に出力する。
表示装置３では、処理した画像を表示し、オペレータは
この表示装置３において表示した処理画像から目標の捜
索等を行う。Similar to the first embodiment, the image processing unit 7 performs image processing on only a part of the visible image signal based on the coordinate information, and combines the processed and unprocessed parts with the image output unit. It outputs to the display device 3 via 8.
The display device 3 displays the processed image, and the operator searches for a target from the processed image displayed on the display device 3.
【００３５】以上のように、本実施の形態２では、画像
センサに自己の位置を検出する位置検出器を備え、ま
た、他センサは目標の方位のみならず距離も測定し、当
該他センサからの目標の方位だけでなく距離から目標位
置情報を算出し、３次元的な自己位置および目標位置を
用いて画像処理を行う画像データ領域を決定するため、
より正確に目標の含まれる画像データ領域を限定するこ
とができ、処理効率のよい画像処理装置を得るものであ
る。As described above, in the second embodiment, the image sensor is provided with the position detector for detecting its own position, and other sensors measure not only the direction of the target but also the distance, and the other sensor The target position information is calculated not only from the target azimuth but also from the distance, and the three-dimensional self position and the target position are used to determine the image data area for image processing.
It is possible to more accurately limit the image data area including the target and obtain an image processing apparatus with high processing efficiency.
【００３６】実施の形態３．本実施の形態３では、画像
センサとして、可視画像を取得するビデオカメラの他に
赤外線カメラを用い、当該赤外線カメラで取得された画
像信号の中から特異な範囲を検出し、当該特異な範囲に
合わせてビデオカメラで取得された可視画像の領域を限
定して画像処理を行う。Embodiment 3. In the third embodiment, as an image sensor, an infrared camera is used in addition to a video camera that acquires a visible image, a unique range is detected from the image signal acquired by the infrared camera, and the unique range is detected. In addition, image processing is performed by limiting the region of the visible image acquired by the video camera.
【００３７】赤外線画像は物体の温度に比例して放射さ
れる赤外線エネルギーの画像記録であって、夜間の場合
など可視画像では識別しにくい目標であっても発見が可
能である。また、赤外線画像は、可視画像に比べて処理
すべきデータ量が少ないため、この赤外線画像であらか
じめ目標が含まれる画像範囲を推定し、当該目標が含ま
れると推定された部分の可視画像信号のみに画像処理を
行うことで、可視画像信号について効率のよい画像処理
装置を得る。An infrared image is an image record of infrared energy radiated in proportion to the temperature of an object, and even a target which is difficult to identify in a visible image such as at night can be found. In addition, since the infrared image has a smaller amount of data to be processed than the visible image, the image range in which the target is included in this infrared image is estimated in advance, and only the visible image signal of the portion in which the target is estimated to be included is estimated. By performing the image processing on the image processing apparatus, an efficient image processing apparatus for the visible image signal is obtained.
【００３８】図７は、本実施の形態３に係る画像処理装
置の装置構成を表すブロック図である。図において、図
１と同じ構成要素には同じ符号を付す。３ａは可視画像
信号用の表示装置、３ｂは赤外線画像信号用の表示装
置、５ａは可視画像信号用の画像入力部、５ｂは赤外線
画像信号用の画像入力部、８ａは可視画像信号用の画像
出力部、８ｂは赤外線画像信号用の画像出力部、１８は
ビデオカメラ１のカメラ制御台１１に設けられた赤外線
カメラ、１９は赤外線画像から鮮明化処理を行い目標を
識別する領域判定部である。FIG. 7 is a block diagram showing the arrangement of the image processing apparatus according to the third embodiment. In the figure, the same components as those in FIG. 1 are designated by the same reference numerals. 3a is a display device for visible image signals, 3b is a display device for infrared image signals, 5a is an image input unit for visible image signals, 5b is an image input unit for infrared image signals, and 8a is an image for visible image signals. An output unit, 8b is an image output unit for an infrared image signal, 18 is an infrared camera provided on the camera control stand 11 of the video camera 1, and 19 is a region determination unit for performing sharpening processing from the infrared image and identifying a target. .
【００３９】次に、動作について説明する。ビデオカメ
ラ１および赤外線カメラ１８は、カメラ制御台１１に同
じ方向を向くよう固定されており、カメラ制御台１１を
駆動することで水平面内の回転を行う。撮影時において
は、ビデオカメラ１および赤外線カメラ１８の各撮影時
の倍率に応じた視野角の可視画像および赤外線画像を取
得し、可視画像信号を画像処理装置２内の画像入力部５
ａに、また赤外線画像は画像入力部５ｂに出力する。Next, the operation will be described. The video camera 1 and the infrared camera 18 are fixed to the camera control base 11 so as to face the same direction, and by driving the camera control base 11, they rotate in a horizontal plane. At the time of shooting, a visible image and an infrared image having a viewing angle corresponding to the magnification of each of the video camera 1 and the infrared camera 18 at the time of shooting are acquired, and a visible image signal is input to the image input unit 5 in the image processing apparatus 2.
a, and the infrared image is output to the image input unit 5b.
【００４０】取得した赤外線画像は画像入力部５ｂで表
示装置３ｂの画素数等の表示形態に合わせて変換され、
領域判定部１９に出力される。領域判定部１９では、隣
接する画素間に一定階調以上の輝度の差がある画素群が
閉曲線を形成しているかを判別するエッジ検出を行い、
当該エッジ検出により閉曲線が発見された場合には、こ
れを目標として領域設定部６に出力する。エッジ検出の
前段階に、コントラスト強調や、鮮明化処理などの画像
処理を行うようにしてもよい。その場合は、処理時間は
長くなるが、より正確な目標検出を行うことができる。The acquired infrared image is converted by the image input section 5b in accordance with the display form such as the number of pixels of the display device 3b,
It is output to the area determination unit 19. The area determination unit 19 performs edge detection to determine whether a pixel group having a brightness difference of a certain gradation or more between adjacent pixels forms a closed curve.
When a closed curve is found by the edge detection, it is output to the area setting unit 6 with this as a target. Image processing such as contrast enhancement and sharpening processing may be performed before the edge detection. In that case, the processing time becomes long, but more accurate target detection can be performed.
【００４１】領域設定部６では、ビデオカメラ１および
赤外線カメラ１８の倍率情報が入力され、各カメラにつ
いて視野角が判明すると、ビデオカメラ１と赤外線カメ
ラ１８の視野角の関係から、赤外線画像において検出さ
れた目標の閉曲線の座標が、可視画像のどの範囲にあた
るかを算出し、その座標情報を可視画像の画像処理部７
に出力する。In the area setting unit 6, when the magnification information of the video camera 1 and the infrared camera 18 is input and the viewing angle of each camera is known, it is detected in the infrared image from the relationship between the viewing angles of the video camera 1 and the infrared camera 18. The range of the visible image in which the coordinates of the target closed curve is calculated is calculated, and the coordinate information thereof is used as the visible image processing unit 7.
Output to.
【００４２】図８に本実施の形態３の領域設定部６の内
部処理のフローチャートを示す。また、図９に本実施の
形態３に係る画像処理領域の決定方法を示す。図９
（ａ）は領域判定部１９の赤外線画像信号のエッジ検出
結果である。図９（ｂ）は可視画像信号と赤外線画像信
号の各々の倍率情報に従って定められる画像の重複部分
を表す図である。図９（ｃ）は可視画像信号において定
められる画像処理を行う領域を表す図である。FIG. 8 shows a flow chart of the internal processing of the area setting unit 6 of the third embodiment. Further, FIG. 9 shows a method of determining an image processing area according to the third embodiment. Figure 9
(A) is an edge detection result of the infrared image signal of the area determination unit 19. FIG. 9B is a diagram showing an overlapping portion of images determined according to magnification information of each of the visible image signal and the infrared image signal. FIG. 9C is a diagram showing an area for performing image processing defined in the visible image signal.
【００４３】まず、領域判定部１９より図９（ａ）に示
されたようなエッジ検出による検出結果の座標を取り込
む（Ｓ３０）。さらに、可視画像信号の倍率情報（Ｓ３
１）および、赤外線画像信号の倍率情報を取り込んで
（Ｓ３２）、各画像の視野角が決定される（Ｓ３３）。
そして、図９（ｂ）のように赤外線画像信号におけるエ
ッジが、可視画像信号においてどこに対応するかを識別
し、図９（ｃ）のように可視画像信号における座標を計
算する（Ｓ３４）。図９（ｂ）においては赤外線画像が
可視画像に比べて倍率が高い場合である。以上のプロセ
スを経て算出した座標を画像処理部７に出力する。First, the coordinates of the detection result obtained by the edge detection as shown in FIG. 9A are fetched from the area determination section 19 (S30). Further, the magnification information of the visible image signal (S3
1) and the magnification information of the infrared image signal are fetched (S32), and the viewing angle of each image is determined (S33).
Then, as shown in FIG. 9B, it is identified where the edge in the infrared image signal corresponds to in the visible image signal, and the coordinates in the visible image signal are calculated as shown in FIG. 9C (S34). In FIG. 9B, the infrared image has a higher magnification than the visible image. The coordinates calculated through the above process are output to the image processing unit 7.
【００４４】そして、この座標情報に基づき、実施の形
態１、２と同様に、画像入力部５から入力される可視画
像信号の一部にのみ画像処理を行い、これら処理をした
部分としない部分を合わせて表示装置３に出力する。表
示装置３では、処理した画像を表示し、オペレータはこ
の表示装置３において表示した処理画像から目標の捜索
等を行う。Then, based on this coordinate information, as in the first and second embodiments, image processing is performed only on a part of the visible image signal input from the image input unit 5, and a part that does not perform these processes and a part that does not. Are also output to the display device 3. The display device 3 displays the processed image, and the operator searches for a target from the processed image displayed on the display device 3.
【００４５】以上では、赤外線画像信号を分析して得ら
れた領域を可視画像信号の処理を行う領域を決定した
が、逆に、可視画像信号から赤外線画像信号の処理を行
う領域を決定しても、また、互いに処理を行う領域を他
の画像信号中の特異な部分とする構成としてもよい。In the above, the region obtained by analyzing the infrared image signal is determined as the region for processing the visible image signal, but conversely, the region for processing the infrared image signal from the visible image signal is determined. Alternatively, the regions to be mutually processed may be configured to be a unique portion in another image signal.
【００４６】図１０は、互いに処理を行う領域を決定す
る構成とした画像処理装置の構成を表すブロック図であ
る。図５と同じ構成要素には同じ符号を付す。図におい
て、７ａは可視画像信号の画像処理部、７ｂは赤外線画
像信号の画像処理部、１９ａは可視画像信号の領域判定
部、１９ｂは赤外線画像信号の領域判定部である。FIG. 10 is a block diagram showing the configuration of an image processing apparatus configured to determine areas to be mutually processed. The same components as those in FIG. 5 are designated by the same reference numerals. In the figure, 7a is an image processing unit for visible image signals, 7b is an image processing unit for infrared image signals, 19a is a region determining unit for visible image signals, and 19b is a region determining unit for infrared image signals.
【００４７】図１０に示したように、領域判定部１９ｂ
において赤外線画像信号からエッジ検出して目標が含ま
れる範囲を判定する以外に、領域判定部１９ａにおいて
可視画像信号からもエッジ検出をして目標が含まれる範
囲を判定して、その判定結果を赤外線画像の画像処理に
用いる構成としてもよい。その結果、可視および赤外線
画像両方の画像処理範囲を限定して画像処理を行うため
効率がよい。As shown in FIG. 10, the area determination section 19b
In addition to the edge detection from the infrared image signal to determine the range including the target, the area determination unit 19a also detects the edge from the visible image signal to determine the range including the target, It may be configured to be used for image processing of an image. As a result, image processing is performed with a limited image processing range for both visible and infrared images, which is efficient.
【００４８】以上のように、本実施の形態３では、ビデ
オカメラおよび赤外線カメラにより同一方向を撮影し、
赤外線画像であらかじめ目標が含まれる画像範囲を推定
し、当該目標が含まれると推定された部分の可視画像信
号のみに画像処理を行うことで、可視画像信号について
効率のよい画像処理装置を得る。As described above, in the third embodiment, the video camera and the infrared camera photograph the same direction,
By estimating the image range in which the target is included in the infrared image in advance and performing image processing only on the visible image signal of the portion estimated to include the target, an efficient image processing device for the visible image signal is obtained.
【００４９】[0049]
【発明の効果】以上のように、本発明に係る画像処理装
置は、画像センサで取得された画像信号が入力される画
像入力部と、前記画像センサからのセンサ制御情報と、
外部からの入力される目標情報を合わせて、前記画像信
号のうち目標が含まれると推定される領域を設定する領
域設定部と、当該領域設定部の設定に基き、前記画像入
力部より入力される画像信号の一部に画像処理を行う画
像処理部とを備えたため、目標が含まれる領域に限定し
て画像処理することで、処理効率のよい画像処理装置を
得る。As described above, the image processing apparatus according to the present invention includes an image input section to which an image signal acquired by an image sensor is input, sensor control information from the image sensor,
A region setting unit that sets a region of the image signal in which the target is estimated to be included together with target information input from the outside, and is input from the image input unit based on the setting of the region setting unit. Since an image processing unit that performs image processing on a part of the image signal is provided, the image processing is limited to the area including the target to obtain an image processing apparatus with high processing efficiency.
【００５０】また、前記目標情報は、目標方位、目標位
置、目標識別情報のいずれか一つまたは複数であるた
め、目標が含まれる領域に限定して画像処理するため、
処理効率のよい画像処理装置を得る。Since the target information is one or more of the target azimuth, the target position, and the target identification information, image processing is limited to the area including the target.
An image processing apparatus with high processing efficiency is obtained.
【００５１】前記センサ制御情報は、前記画像センサの
水平面内監視方向と垂直面内監視方向とセンサ倍率また
は視野角のいずれか一つまたは複数であるため、目標が
含まれる領域に限定して画像処理するため、処理効率の
よい画像処理装置を得る。Since the sensor control information is one or more of the horizontal in-plane monitoring direction of the image sensor, the vertical in-plane monitoring direction, the sensor magnification and the viewing angle, the image is limited to an area including the target. Since the processing is performed, an image processing device with high processing efficiency is obtained.
【００５２】また、同一方向を向いた第一および第二の
画像センサと、前記第一の画像センサより取得された画
像信号から目標が存在する領域を判定する領域判定部
と、当該領域判定部の判定結果、および、前記第一およ
び第二の画像センサのセンサ倍率情報に基き、前記第二
の画像センサにより取得された画像信号のうち目標が含
まれると推定される領域を設定する領域設定部と、当該
領域設定部の設定に基き、前記第二の画像信号の一部に
画像処理を行う画像処理部とを備えたため、目標が含ま
れる領域に限定して画像処理することで、処理効率のよ
い画像処理装置を得る。Further, the first and second image sensors facing in the same direction, an area determination section for determining the area where the target exists from the image signal acquired by the first image sensor, and the area determination section. Area setting for setting an area estimated to include a target in the image signal acquired by the second image sensor, based on the determination result of 1) and the sensor magnification information of the first and second image sensors. Section and an image processing section that performs image processing on a part of the second image signal based on the setting of the area setting section, so that the image processing is performed by limiting the image processing to the area including the target. To obtain an efficient image processing device.
【００５３】また、同一方向を向いた第一および第二の
画像センサと、前記第一の画像センサより取得された画
像信号から目標が存在する領域を判定する第一の領域判
定部と、前記第二の画像センサより取得された画像信号
から目標が存在する領域を判定する第二の領域判定部
と、前記第一の領域判定部の判定結果と、前記第一およ
び第二の画像センサの倍率情報に基き、前記第二の画像
センサより取得された画像信号のうち目標が含まれると
推定される領域を設定し、また、前記第二の領域判定部
の判定結果と、前記第一および第二の画像センサの倍率
情報に基づき、前記第一の画像センサより取得された画
像信号のうち目標が含まれると推定される領域を設定す
る領域設定部と、前記領域設定部の設定に基き、前記第
一の画像信号の一部に画像処理を行う第一の画像処理部
と、前記領域設定部の設定に基き、前記第二の画像信号
の一部に画像処理を行う第二の画像処理部とを備えたた
め、目標が含まれる領域に限定して画像処理すること
で、処理効率のよい画像処理装置を得る。Further, first and second image sensors facing in the same direction, a first area determination section for determining an area where a target exists from the image signal acquired by the first image sensor, A second area determination unit that determines the area where the target exists from the image signal acquired from the second image sensor, the determination result of the first area determination unit, and the first and second image sensors Based on the magnification information, the area of the image signal acquired from the second image sensor is estimated to include the target is set, the determination result of the second region determination unit, the first and the Based on the magnification information of the second image sensor, based on the setting of the region setting unit that sets a region in the image signal acquired from the first image sensor is estimated to include the target , Part of the first image signal The target is included because the first image processing unit that performs image processing and the second image processing unit that performs image processing on a part of the second image signal based on the setting of the region setting unit are included. By performing the image processing only in the area, an image processing apparatus with high processing efficiency is obtained.
【図１】 本発明の実施の形態１に係る画像処理装置の
構成を表すブロック図である。FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention.
【図２】 本発明の実施の形態１に係る画像処理装置の
画像処理領域を表す図である。FIG. 2 is a diagram showing an image processing area of the image processing apparatus according to the first embodiment of the present invention.
【図３】 本発明の実施の形態１の画像処理前の可視画
像である。FIG. 3 is a visible image before image processing according to the first embodiment of the present invention.
【図４】 本発明の実施の形態１に係る画像処理部７の
内部処理のフローチャートである。FIG. 4 is a flowchart of internal processing of the image processing unit 7 according to the first embodiment of the present invention.
【図５】 本発明の実施の形態２に係る画像処理装置の
構成を表すブロック図である。FIG. 5 is a block diagram showing a configuration of an image processing device according to a second embodiment of the present invention.
【図６】 本発明の実施の形態２に係る領域設定部６の
内部処理のフローチャートである。FIG. 6 is a flowchart of internal processing of the area setting unit 6 according to the second embodiment of the present invention.
【図７】 本発明の実施の形態３に係る画像処理装置の
構成を表すブロック図である。FIG. 7 is a block diagram showing a configuration of an image processing apparatus according to a third embodiment of the present invention.
【図８】 本発明の実施の形態３の領域設定部６の内部
処理のフローチャートである。FIG. 8 is a flowchart of internal processing of the area setting unit 6 according to the third embodiment of the present invention.
【図９】 （ａ）領域判定部１９の赤外線画像信号のエ
ッジ検出結果である。（ｂ）可視画像信号と赤外線画像
信号の各々の倍率情報に従って定められる画像の重複部
分を表す図である。（ｃ）可視画像信号において定めら
れる画像処理を行う領域を表す図である。9A is an edge detection result of the infrared image signal of the area determination unit 19. FIG. (B) It is a figure showing the overlapping part of the image defined according to the magnification information of each of a visible image signal and an infrared image signal. (C) It is a figure showing the area | region which performs the image processing defined in a visible image signal.
【図１０】 本発明の実施の形態３に係る画像処理装置
の構成の一例を表すブロック図である。FIG. 10 is a block diagram showing an example of a configuration of an image processing apparatus according to a third embodiment of the present invention.
【図１１】 従来の画像処理装置の構成を表すブロック
図である。FIG. 11 is a block diagram showing a configuration of a conventional image processing apparatus.
１ ビデオカメラ、 ２ 画像処理装置、 ３、３
ａ、３ｂ 表示装置、４ａ 電波センサ、 ４ｂ 他
センサ、 ５、５ａ、５ｂ 画像入力部、６ 領域設
定部、７、７ａ，７ｂ 画像処理部、８、８ａ、８ｂ
画像出力部、 １１ カメラ制御台、１２ 方位角検
出装置、 １３ 表示画像、 １４ 目標、１５
画像処理領域、 １６ 位置検出器、 １７ 目標
情報処理装置、１８ 赤外線カメラ、１９、１９ａ、１
９ｂ 領域判定部、２０ 赤外線画像。1 video camera, 2 image processing device, 3, 3
a, 3b display device, 4a radio wave sensor, 4b other sensor, 5, 5a, 5b image input unit, 6 area setting unit, 7, 7a, 7b image processing unit, 8, 8a, 8b
Image output unit, 11 camera control stand, 12 azimuth angle detection device, 13 display image, 14 target, 15
Image processing area, 16 position detector, 17 target information processing device, 18 infrared camera, 19, 19a, 1
9b area determination part, 20 infrared image.
Claims (5)
される目標情報とを合わせて、前記画像センサにより取
得された画像信号のうち目標が含まれると推定される領
域を設定する領域設定部と、 当該領域設定部の設定に基き、前記画像センサにより取
得された画像信号の一部に画像処理を行う画像処理部と
を備えることを特徴とする画像処理装置。1. An image sensor, sensor control information from the image sensor, and target information input from the outside are combined to estimate that a target is included in the image signals acquired by the image sensor. An image processing apparatus comprising: an area setting unit that sets an area; and an image processing unit that performs image processing on a part of an image signal acquired by the image sensor based on the setting of the area setting unit.
目標識別情報のいずれか一つまたは複数であることを特
徴とする請求項１記載の画像処理装置。2. The target information includes a target orientation, a target position,
The image processing apparatus according to claim 1, wherein the target identification information is one or more of the target identification information.
の水平面内監視方向と垂直面内監視方向とセンサ倍率ま
たは視野角のいずれか一つまたは複数であることを特徴
とする請求項１または２記載の画像処理装置。3. The sensor control information is one or more of a horizontal in-plane monitoring direction of the image sensor, a vertical in-plane monitoring direction, a sensor magnification, and a viewing angle. The image processing device described.
センサと、 前記第一の画像センサより取得された画像信号から目標
が存在する領域を判定する領域判定部と、 当該領域判定部の判定結果、および、前記第一および第
二の画像センサのセンサ倍率情報に基き、前記第二の画
像センサにより取得された画像信号のうち目標が含まれ
ると推定される領域を設定する領域設定部と、 当該領域設定部の設定に基き、前記第二の画像信号の一
部に画像処理を行う画像処理部とを備えることを特徴と
する画像処理装置。4. A first and a second image sensor facing in the same direction, an area determination section for determining an area where a target exists from an image signal acquired by the first image sensor, and the area determination section. Area setting for setting an area estimated to include a target in the image signal acquired by the second image sensor, based on the determination result of 1) and the sensor magnification information of the first and second image sensors. And an image processing unit that performs image processing on a part of the second image signal based on the setting of the area setting unit.
センサと、 前記第一の画像センサより取得された画像信号から目標
が存在する領域を判定する第一の領域判定部と、 前記第二の画像センサより取得された画像信号から目標
が存在する領域を判定する第二の領域判定部と、 前記第一の領域判定部の判定結果と、前記第一および第
二の画像センサの倍率情報に基き、前記第二の画像セン
サより取得された画像信号のうち目標が含まれると推定
される領域を設定し、また、前記第二の領域判定部の判
定結果と、前記第一および第二の画像センサの倍率情報
に基づき、前記第一の画像センサより取得された画像信
号のうち目標が含まれると推定される領域を設定する領
域設定部と、 前記領域設定部の設定に基き、前記第一の画像信号の一
部に画像処理を行う第一の画像処理部と、 前記領域設定部の設定に基き、前記第二の画像信号の一
部に画像処理を行う第二の画像処理部とを備えることを
特徴とする画像処理装置。5. A first and a second image sensor facing in the same direction, a first region determination unit for determining a region in which a target exists from an image signal acquired by the first image sensor, A second area determination unit that determines the area where the target exists from the image signal acquired from the second image sensor, the determination result of the first area determination unit, and the first and second image sensor Based on the magnification information, the area of the image signal acquired from the second image sensor is estimated to include the target is set, the determination result of the second region determination unit, the first and the Based on the magnification information of the second image sensor, based on the setting of the region setting unit that sets a region of the image signal acquired from the first image sensor is estimated to include the target , Part of the first image signal An image comprising a first image processing unit that performs image processing, and a second image processing unit that performs image processing on a part of the second image signal based on the setting of the area setting unit Processing equipment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002106587A JP3807338B2 (en) | 2002-04-09 | 2002-04-09 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002106587A JP3807338B2 (en) | 2002-04-09 | 2002-04-09 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003303334A true JP2003303334A (en) | 2003-10-24 |
| JP3807338B2 JP3807338B2 (en) | 2006-08-09 |
Family
ID=29390865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002106587A Expired - Fee Related JP3807338B2 (en) | 2002-04-09 | 2002-04-09 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3807338B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005184523A (en) * | 2003-12-19 | 2005-07-07 | Matsushita Electric Ind Co Ltd | On-vehicle monitoring camera apparatus |
| JP2014059710A (en) * | 2012-09-18 | 2014-04-03 | Toshiba Corp | Object detection device and object detection method |
| JP2015164187A (en) * | 2014-02-05 | 2015-09-10 | ラム リサーチ コーポレーションＬａｍ Ｒｅｓｅａｒｃｈ Ｃｏｒｐｏｒａｔｉｏｎ | Method of calculating power input to array of thermal control elements to achieve two-dimensional temperature output profile |
-
2002
- 2002-04-09 JP JP2002106587A patent/JP3807338B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005184523A (en) * | 2003-12-19 | 2005-07-07 | Matsushita Electric Ind Co Ltd | On-vehicle monitoring camera apparatus |
| JP2014059710A (en) * | 2012-09-18 | 2014-04-03 | Toshiba Corp | Object detection device and object detection method |
| JP2015164187A (en) * | 2014-02-05 | 2015-09-10 | ラム リサーチ コーポレーションＬａｍ Ｒｅｓｅａｒｃｈ Ｃｏｒｐｏｒａｔｉｏｎ | Method of calculating power input to array of thermal control elements to achieve two-dimensional temperature output profile |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3807338B2 (en) | 2006-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9762871B2 (en) | Camera assisted two dimensional keystone correction | |
| EP2998778B1 (en) | Multi-camera laser scanner | |
| CN109100363B (en) | Method and system for distinguishing defects of attached foreign matters from dust | |
| JP3994217B2 (en) | Abnormal point detection system by image processing | |
| US7821676B2 (en) | Method of processing and operating video surveillance system | |
| CN106650682A (en) | Method and device for face tracking | |
| JP6460700B2 (en) | Method for diagnosing whether there is a defect on the inner wall of the tunnel and a program for diagnosing the presence of a defect on the inner wall of the tunnel | |
| JP2004354257A (en) | Calibration slippage correction device, and stereo camera and stereo camera system equipped with the device | |
| CN109155062A (en) | Analysis on cracks device and method | |
| JP2018182593A (en) | Image processing apparatus and image processing method | |
| US10395403B1 (en) | Cylindrical panorama | |
| JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
| JP6860445B2 (en) | Object distance detector | |
| JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
| JP3807338B2 (en) | Image processing device | |
| CN115326835B (en) | Cylinder inner surface detection method, visualization method and detection system | |
| JP2008286648A (en) | Distance measuring device, distance measuring system, and distance measuring method | |
| JP6444981B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR102050418B1 (en) | Apparatus and method for alignment of images | |
| EP3564917A1 (en) | A method for detecting motion in a video sequence | |
| JP3427230B2 (en) | Image processing device | |
| JPH09145368A (en) | Moving and tracing method for object by stereoscopic image | |
| JP2000234915A (en) | Method and device for inspection | |
| JPH11196320A (en) | Moving image processor, its method and computer readable storage medium | |
| JPH11112966A (en) | Moving object detector, moving object detection method and computer-readable storage medium thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060117 |
|
| A521 | Written amendment |
Effective date: 20060224 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Effective date: 20060328 Free format text: JAPANESE INTERMEDIATE CODE: A911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20060425 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 5 Free format text: PAYMENT UNTIL: 20110526 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20120526 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20120526 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |