JP2006033418A - Image pickup system - Google Patents

Image pickup system Download PDF

Info

Publication number
JP2006033418A
JP2006033418A JP2004209343A JP2004209343A JP2006033418A JP 2006033418 A JP2006033418 A JP 2006033418A JP 2004209343 A JP2004209343 A JP 2004209343A JP 2004209343 A JP2004209343 A JP 2004209343A JP 2006033418 A JP2006033418 A JP 2006033418A
Authority
JP
Japan
Prior art keywords
image
imaging
monitor
displayed
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004209343A
Other languages
Japanese (ja)
Inventor
Toyohiko Hayashi
豊彦 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2004209343A priority Critical patent/JP2006033418A/en
Publication of JP2006033418A publication Critical patent/JP2006033418A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To display an object with perspective as an image picked up from the front in a system for monitoring a deep object such as a train from an oblique direction. <P>SOLUTION: An object image is extracted from the inside of a screen. An image picked up from the front is displayed after automatically generating it by magnifying and processing every part of the object image. The object image is stored with image quality higher than the displaying and storing image quality. Only an partially magnified image is displayed or recorded. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は監視システムに係り、特に、列車や駅のプラットホーム等の奥行きのある監視領域を撮像装置によって撮像し、取得した画像を録画するシステムに関わる。   The present invention relates to a monitoring system, and more particularly, to a system for imaging a monitoring area having a depth such as a train or a platform of a station with an imaging device and recording the acquired image.

従来、列車など奥行きのある監視領域に存在する被写体をテレビジョンカメラ等の撮像装置(以下、カメラと称する)で撮像し、取得した画像をモニタ等で見ることによって監視するシステムの場合、モニタ等の画面に表示された列車、プラットホーム(以下、ホームと称する。)、及び乗客や駅員等の画像は、画面手前が大きく、画面奥が小さく映し出されていた(特許文献1参照。)。従って奥になるほど乗降客等の視認や安全の確認が困難となる。   Conventionally, in the case of a system in which a subject existing in a deep monitoring area such as a train is imaged by an imaging device (hereinafter referred to as a camera) such as a television camera and the acquired image is viewed on a monitor or the like, a monitor or the like The images of trains, platforms (hereinafter referred to as “homes”), passengers, station staff, and the like displayed on the screen are large in front of the screen and small in the back of the screen (see Patent Document 1). Therefore, it becomes more difficult to visually confirm passengers and to confirm safety as they go deeper.

乗降客がホームと列車間に挟まったり、列車への飛び込み、ホームから線路への転落などが無いかを監視するためには、迅速な確認を必要とする。特に、ワンマン車両のように運転者が乗降監視等の列車運行上の安全を確認するようなシステムにおいては、迅速かつ確実な視認性が特に強く要求される。   In order to monitor whether passengers get caught between the platform and the train, jump into the train, or fall from the platform to the track, it is necessary to make a quick check. In particular, in a system in which a driver confirms safety in train operation such as boarding / exiting monitoring like a one-man vehicle, quick and reliable visibility is particularly strongly required.

またこのようなシステムにおいては、画像の表示だけではなく、監視画像を記録装置に録画して一定時間保存しておくことが通常行われているが、録画したい部分のみを拡大して録画するといった処理は行われていない。   In such a system, not only the display of the image but also the monitoring image is usually recorded on the recording device and stored for a certain period of time, but only the portion to be recorded is enlarged and recorded. No processing has been performed.

また、デジタルカメラ等で取得された画像については、奥行きのある被写体を、正面から捕らえた画像に変換する技術(遠近補正)として、画像加工用ソフトウェアを使って拡大したい画像領域を手動で指定して拡大する方法が存在する。しかし、監視カメラで取得した画像のような動画をハードウェアでリアルタイムに画像処理して自動的に被写体の奥行きを認識して拡大表示する方法はない。   For images acquired with a digital camera, etc., manually specify the image area to be enlarged using image processing software as a technology for converting a deep subject into an image captured from the front (perspective correction). There is a way to enlarge. However, there is no method for enlarging and displaying a subject's depth by automatically processing a moving image such as an image acquired by a surveillance camera in real time using hardware.

また従来、監視領域内を撮像して取得した画像を記録装置に録画する場合は、カメラが取得した画像をそのまま保存していた。記録装置は、外部から設定しなおさない限り録画及び再生される画像の画質は固定である。従って記録装置に録画された画像を再生し、画像処理によって画像の見たい部分領域(画像領域)を拡大する場合には、画質が劣化する。   Conventionally, when an image acquired by imaging the inside of a monitoring area is recorded on a recording device, the image acquired by the camera is stored as it is. In the recording apparatus, the image quality of recorded and reproduced images is fixed unless re-set from the outside. Therefore, when an image recorded in the recording device is reproduced and a partial area (image area) that the image is desired to be viewed is enlarged by image processing, the image quality deteriorates.

図1によって、従来の奥行きのある監視領域を監視する監視システムを更に説明する。図1は、鉄道のプラットホームの状況の監視や列車への乗降等の状況の監視など、奥行きのある監視領域を監視するシステムの略構成とモニタ画面の表示例を示す図である。図1(a) はホームを上方から見たシステムの略構成を示し、1-1 と 1-2 はカメラ、2-1 〜 2-4 は列車の車両を示す。カメラ、ホーム、及び車両は一部を示しているだけで、全ては表示していない。また、乗降客等、ホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるために省略している。ここで、モニタや記録装置は図1に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、カメラ 1-1 と 1-2 と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段(図示しない、例えば、無線 LAN( Local Area Network )、光通信等によって結合されている。   A conventional monitoring system for monitoring a monitoring area having a depth will be further described with reference to FIG. FIG. 1 is a diagram illustrating a schematic configuration of a system for monitoring a monitoring area having a depth, such as monitoring of the status of a railway platform and monitoring of the status of getting on and off a train, and a display example of a monitor screen. Fig. 1 (a) shows the schematic configuration of the system as seen from above. 1-1 and 1-2 are cameras, and 2-1 to 2-4 are train vehicles. The camera, home, and vehicle only show some, not all. Also, illustrations of other objects that should be on the platform and the train, such as passengers, are omitted to avoid complexity. Here, the monitor and recording device are not shown in FIG. 1, but are installed in, for example, a driver's seat, a conductor's seat, a station office, or a monitoring center, and either cameras 1-1 and 1-2, wireless or wired, or These are combined by well-known transmission means (not shown, for example, a wireless local area network (LAN), optical communication, or the like.

また図1(b) は、図1(a) に示すカメラ 1-1 と 1-2 が取得した画像のモニタ画面への表示の一例を示す図で、10 と 20 はモニタ画面の表示例、10-1 はモニタ画面の表示例 10 中に表示された画像、20-1 と 20-2 は表示例 20 中に表示された画像である。また、カメラやモニタは、ホームの長さ、形状、障害物、乗降客数、予算等の必要性に応じて、台数が変わるものである。   Fig. 1 (b) shows an example of the display on the monitor screen of the images acquired by cameras 1-1 and 1-2 shown in Fig. 1 (a). 10-1 is the image displayed in display example 10 on the monitor screen, and 20-1 and 20-2 are the images displayed in display example 20. In addition, the number of cameras and monitors varies depending on the needs of home length, shape, obstacles, number of passengers, budget, and the like.

鉄道のホームは、幅が狭く、ホーム内には、乗客、柱、案内板、時計、広告、信号灯等が障害となって列車の車両の乗降口を撮像するために最適な位置にカメラを設置するためには多くの制限が存在するうえ、ホームがまっすぐに延びているとは限らないし、斜面上にあったり段差があったりする場合もある。このため、カメラの視野方向は、天井付近から下方を俯瞰するように設置することはもとより、列車車両の進行方向とほぼ平行な向きに設置せざるを得ない上、設置するカメラの数も制限される。   The railroad platform is narrow, and a camera is installed in the platform in an optimal position to capture the train entrance and exit due to obstacles such as passengers, pillars, guide boards, clocks, advertisements, signal lights, etc. There are many restrictions to do this, and the home is not always straight, and may be on a slope or have a step. For this reason, the viewing direction of the camera must be installed in a direction almost parallel to the traveling direction of the train car, as well as being installed so as to look down from the ceiling, and the number of cameras to be installed is also limited. Is done.

従って、図1(a) のカメラ 1-1 と 1-2 と伝送手段で結合され、カメラ 1-1 と 1-2 の取得した画像を表示しているモニタには、図1(b) の表示例 10 、20 に示すように、カメラ 1-1 と 1-2 の手前の車両は大きく映り、奥の車両は小さく映る。   Therefore, the cameras 1-1 and 1-2 in FIG. 1 (a) are connected by the transmission means, and the monitor displaying the images acquired by the cameras 1-1 and 1-2 is shown in FIG. 1 (b). As shown in Display Examples 10 and 20, the vehicle in front of Cameras 1-1 and 1-2 appears large, and the vehicle in the back appears small.

図1(b) の上段に示すように、カメラ 1-1 と 1-2 で撮像した画像を合成した画像 10-1 を表示する単画面の場合(カメラが1台の場合には合成しない)の表示例 10 では、乗降口付近だけでなく、ホームの内側まで監視できるが、画面奥(主に、列車乗降口や車側灯)が小さくなり画面奥が見難い。また、図1(b) の下段に示す表示例 20 の画像(分割画像)のように、カメラ 1-1 と 1-2 で撮像した画像 20-1 と 20-2 を別々に表示した場合や、合成した後、例えば、車両ごとに分割して表示した場合は、画面奥にもカメラが設けられていることで車両奥まで視認できるがホームの内側がカットされるし、画面が全体的に見難くい。   As shown in the upper part of Fig. 1 (b), in the case of a single screen that displays an image 10-1 that is a combination of images taken by cameras 1-1 and 1-2 (not combined when there is only one camera) In display example 10 of, it is possible to monitor not only near the entrance / exit but also the inside of the platform, but the depth of the screen (mainly the train entrance / exit and the car side lights) is small, making it difficult to see the back of the screen. In addition, as shown in the lower part of Fig. 1 (b), the image 20-1 and 20-2 captured by the cameras 1-1 and 1-2 are displayed separately as shown in the display example 20 (split image). After the composition, for example, when divided and displayed for each vehicle, the camera is also provided at the back of the screen, so it can be seen to the back of the vehicle, but the inside of the home is cut, and the screen is entirely It's hard to see.

また、通常のカメラで撮影した画像について、特に監視が必要な部分(例えば、特に混雑した乗降口付近)を電子ズームで拡大処理した場合には、画質が劣化してしまい、特に監視が必要な部分は拡大されるものの、解像度が悪いため視認性は向上しない。このため、高解像のカメラ(例えば、メガピクセルカメラ)を用いて撮像して画像を拡大表示しても画質が劣化しないようにしても、記録装置に録画される画像及び再生される画像の画質が固定なので、記録装置から録画された画像を再生し、画像処理によって画像の見たい部分領域(画像領域)を拡大する場合には、画質が劣化する。
特開平11−124036号公報
In addition, when an image captured by a normal camera is enlarged with an electronic zoom on a portion that needs to be monitored (for example, particularly in the vicinity of a crowded entrance / exit), the image quality deteriorates and monitoring is particularly necessary. Although the portion is enlarged, the visibility is not improved due to the poor resolution. For this reason, even if an image is captured using a high-resolution camera (for example, a megapixel camera) and the image is enlarged and displayed without deterioration of the image quality, the image recorded and reproduced Since the image quality is fixed, the image quality deteriorates when an image recorded from the recording device is reproduced and a partial area (image area) to be viewed of the image is enlarged by image processing.
Japanese Patent Application Laid-Open No. 11-124036

上述の従来技術では、迅速で確実に安全の確認ができない欠点があった。また、録画された画像を再生することによって、事故の状況や原因の調査、または安全性の確認を行う場合には、見たい画像部分を拡大しても画質が劣化するため、調査や確認ができない欠点があった。   The above-described prior art has a drawback that safety cannot be confirmed quickly and reliably. Also, when investigating the situation and cause of an accident or confirming safety by playing back recorded images, the image quality deteriorates even if the image portion you want to view is enlarged. There was a drawback that could not be done.

本発明の目的は、上記のような欠点を除去し、モニタ画面での視認性を向上させた監視システムを提供することにある。
また、本発明の他の目的は、上記のような欠点を除去し、記録装置に録画する際にモニタ画面での視認性を向上させた画質で保存することによって、録画された画像についても、見たい部分の画質が劣化しない監視システムを提供することにある。
An object of the present invention is to provide a monitoring system that eliminates the above-described drawbacks and improves the visibility on a monitor screen.
In addition, another object of the present invention is to remove the above-mentioned drawbacks and save the recorded image with an image quality that improves the visibility on the monitor screen when recording on the recording device. The object is to provide a monitoring system in which the image quality of the part to be viewed does not deteriorate.

被写体の奥行きを自動的に検出して、小さく映し出された画面奥の部分を拡大処理して擬似的に被写体を正面から捕らえた画像を生成することで、被写体奥を被写体手前と同等か均一に監視でき、視認性を向上させることを目的とする。   By automatically detecting the depth of the subject and enlarging the back part of the screen, which is displayed in a small size, and generating an image that virtually captures the subject from the front, the depth of the subject is equal to or equal to the front of the subject. The purpose is to monitor and improve visibility.

また、この画像を記録装置に録画する場合、録画画質より予め高画質で画像フレームをメモリしておき、被写体を部分拡大することで、画質を劣化させず見たい部分のみを録画することができる。   Also, when recording this image on a recording device, it is possible to record only the portion that is desired to be viewed without degrading the image quality by storing the image frame in advance with a higher image quality than the recording image quality and enlarging the subject part. .

上記目的を達成するため本発明の撮像システムは、被写体奥の画像を拡大し被写体手前と同等の大きさにモニタ表示するために、手前から奥に行くに従って画素の拡大率を変えて被写体全体が正面から見たように均一になるように拡大することを特徴とする。   In order to achieve the above object, the image pickup system of the present invention enlarges the image of the back of the subject and displays it on the monitor in the same size as the front of the subject. It is characterized by being enlarged so as to be uniform as seen from the front.

上記目的を達成するため本発明の撮像システムは、望ましくは、被写体の奥行きを2次元で認識するために、被写体の境界(エッジ)検出、被写体と背景の輝度差を検知して画面内の被写体の形状を捉えて、被写体が画面全体に均一に表示するように自動的に拡大処理を行うことを特徴とする。   In order to achieve the above object, the imaging system of the present invention desirably detects the boundary (edge) of the subject and detects the luminance difference between the subject and the background to recognize the subject depth in two dimensions. And the enlargement process is automatically performed so that the subject is uniformly displayed on the entire screen.

上記目的を達成するため本発明の撮像システムは、望ましくは、記録装置によって撮像された画像を記憶する撮像システムであって、画面の部分拡大をした場合でも画質を劣化しないように、予め高精細で画像フレームをメモリしておき、画像処理によって必要な部分を拡大して録画することを特徴とする。   In order to achieve the above object, the imaging system of the present invention is preferably an imaging system that stores an image captured by a recording device, and has a high definition in advance so as not to deteriorate the image quality even when the screen is partially enlarged. The image frame is stored in memory, and a necessary part is enlarged and recorded by image processing.

上記目的を達成するため本発明の撮像システムの画面拡大方法は、望ましくは、列車車両単位の画像を複数モニタで監視する鉄道向けホーム画像撮像システムであって、モニタ画像を車両部分のみ部分拡大し、列車を正面から捕らえた画像を自動生成して複数モニタに車両順に表示することを特徴とする。   In order to achieve the above object, the image enlarging method of the imaging system of the present invention is preferably a railway home image capturing system that monitors images of a train car unit with a plurality of monitors, and the monitor image is partially enlarged only in the vehicle portion. An image obtained by capturing a train from the front is automatically generated and displayed on a plurality of monitors in the order of vehicles.

上記目的を達成するため本発明の撮像システムの画像処理技術は、望ましくは、デジタルカメラ写真における奥行きのある建物などの静物を自動的に部分拡大し、正面から捕らえた画像を自動生成することを特徴とする。   In order to achieve the above object, the image processing technology of the imaging system of the present invention desirably automatically enlarges a still life such as a building with a depth in a digital camera photograph and automatically generates an image captured from the front. Features.

上記目的を達成するため、本発明の撮像システムは、視野内を撮像する撮像装置と、撮像装置によって撮像された画像を処理し所定の表示形式で出力する画像処理装置と、画像処理装置が出力した画像を表示するモニタとを備え、奥行きのある物体を斜め方向から撮像する撮像システムにおいて、撮像装置によって撮像された物体の画像の奥の部分の画像と手前の部分の画像とを同等の大きさにして上記モニタに表示するものである。   In order to achieve the above object, an imaging system of the present invention includes an imaging device that captures an image within a field of view, an image processing device that processes an image captured by the imaging device and outputs the image in a predetermined display format, and an output from the image processing device. In an imaging system that captures an object with a depth from an oblique direction, an image of a deep part and an image of a front part of the image of the object imaged by the imaging device are equivalent in size. It is displayed on the monitor.

上記目的を達成するため、本発明の撮像システムは、望ましくは、撮像装置によって撮像された物体の画像の奥の部分の画像を拡大し、または手前の部分の画像を縮小するか少なくともいずれか1つによって、奥の部分の画像と手前の部分の画像とを同等の大きさにしてモニタに表示するものである。   In order to achieve the above object, the imaging system of the present invention desirably enlarges the image of the back part of the image of the object imaged by the imaging device, or reduces the image of the front part. Thus, the image of the back part and the image of the front part are made the same size and displayed on the monitor.

上記目的を達成するため、本発明の撮像システムは、更に、画像処理装置に画像フレームメモリを備え、画像フレームメモリにモニタに表示される画像より高精細の画像を記憶し、予め指定された所定の部分の画像を拡大して出力するものである。   In order to achieve the above object, the imaging system of the present invention further includes an image frame memory in the image processing apparatus, stores a higher-definition image than the image displayed on the monitor in the image frame memory, and has a predetermined specified value. The image of the portion is enlarged and output.

上記目的を達成するため、本発明の撮像システムは、望ましくは、更に記録装置を備え、記録装置にモニタに表示される画像または画像フレームメモリに記憶された画像の少なくとも1つを記憶するものである。   In order to achieve the above object, the imaging system of the present invention preferably further includes a recording device, and stores at least one of an image displayed on the monitor and an image stored in the image frame memory. is there.

上記目的を達成するため、本発明の撮像システムは、望ましくは、撮像装置を複数台備え、複数台の撮像装置が撮像した画像のそれぞれまたは合成した画像をモニタに表示するものである。   In order to achieve the above object, the imaging system of the present invention desirably includes a plurality of imaging devices, and displays each of the images captured by the plurality of imaging devices or a synthesized image on a monitor.

上記目的を達成するため、本発明の撮像システムは、望ましくは、視野内を撮像する撮像装置と、撮像装置によって撮像された画像を処理し所定の表示形式で出力する画像処理装置と、画像処理装置が出力した画像を表示するモニタとを備え、駅構内の列車車両を撮像する撮像システムであって、撮像装置によって撮像された列車の画像の車両部分のみ部分拡大し、列車の乗降口や車側灯を正面から捕らえた画像をモニタに表示するものである。   In order to achieve the above object, an imaging system of the present invention desirably includes an imaging device that captures an image within a field of view, an image processing device that processes an image captured by the imaging device and outputs the image in a predetermined display format, and image processing An image pickup system for picking up an image of a train vehicle in a station premises, wherein only a vehicle portion of a train image picked up by the image pickup device is enlarged, and a train entrance / exit An image capturing the side lamp from the front is displayed on the monitor.

上記目的を達成するため、本発明の撮像システムは、望ましくは、視野内を撮像する撮像装置と、撮像装置によって撮像された画像を処理し所定の表示形式で出力する画像処理装置と、画像処理装置が出力した画像を表示するモニタとを備え、奥行きのある物体を斜め方向から撮像する撮像システムであって、撮像装置によって撮像された物体の画像の奥の部分の画像を拡大し、または手前の部分の画像を縮小するか少なくともいずれか1つによって、物体を正面から捕らえた画像に変換して出力するものである。   In order to achieve the above object, an imaging system of the present invention desirably includes an imaging device that captures an image within a field of view, an image processing device that processes an image captured by the imaging device and outputs the image in a predetermined display format, and image processing An imaging system for imaging an object having a depth from an oblique direction, and enlarging an image of a deep part of the image of the object imaged by the imaging device, or in front The image of this part is reduced or at least one of them is converted into an image captured from the front and output.

本発明によれば、監視カメラの設置環境が狭く設置位置が制限される場合や、大きな被写体を複数のカメラで監視するような場合に、被写体の空間的な奥行きを自動的に検出して、画面奥の画像を段階的に拡大表示させることが可能で、1つのカメラで被写体を正面から撮像したような映像を提供することができる。   According to the present invention, when the installation environment of the monitoring camera is narrow and the installation position is limited, or when a large subject is monitored by a plurality of cameras, the spatial depth of the subject is automatically detected, The image at the back of the screen can be enlarged and displayed step by step, and a video as if the subject was imaged from the front with one camera can be provided.

例えば、鉄道向けワンマン運転用ホーム監視システムのような、列車の運行にカメラが使用され、視認性の向上が強く要求されるシステムにおいて、本発明は環境に起因する空間的な広がりを感じさせること無く均一に対象物や監視領域を監視することが可能なため、運転手によるワンマン監視業務をより支援することができる。   For example, in a system where a camera is used for train operation such as a one-man operation home monitoring system for railways, and the improvement of visibility is strongly required, the present invention makes it possible to feel the spatial spread caused by the environment. Since the object and the monitoring area can be monitored uniformly without any problems, one-man monitoring work by the driver can be further supported.

また、メガピクセルカメラ等の高解像度を有する撮像装置で撮像した映像を高精細なメモリ画像として画像フレームメモリに記憶し、記憶された高精細のメモリ画像を用いて拡大処理を行うため、画質を劣化させることなく、モニタに表示することや記録装置に録画することが可能である。   In addition, video captured by a high-resolution imaging device such as a megapixel camera is stored in the image frame memory as a high-definition memory image, and enlargement processing is performed using the stored high-definition memory image. It can be displayed on a monitor or recorded on a recording device without deterioration.

以下、本発明の実施の形態について説明する。
本発明は、列車等、奥行きのある監視領域内に存在する重要監視点を監視する監視システムに関して、監視領域内を撮像して得られた画像の注目する部分を画像領域内から抽出して拡大する。拡大は、手前から奥に行くに従って画素の拡大率を変えて、例えば、撮像された列車の乗降口付近や車側灯付近の画像をあたかも乗降口や車側灯を正面から撮像したと同じ画像に変換処理することで、列車を真横から見ている画像(例えば、乗降口を正面から捕らえた画像)を自動生成し、拡大部分を表示するものである。このような重要監視点は、例えば駅ホームでの車両乗降口や車側灯のように、通常、複数存在し、類似の形状を有し、所定の間隔で並んでいることが多い。
Hereinafter, embodiments of the present invention will be described.
The present invention relates to a monitoring system that monitors important monitoring points existing in a deep monitoring area, such as a train, and extracts and enlarges a noticed portion of an image obtained by imaging the monitoring area from the image area. To do. For enlargement, change the pixel enlargement ratio as you go from the front to the back.For example, the image near the entrance / exit of the train and the vicinity of the car side light are the same as if the entrance / exit and the car side light were imaged from the front. By performing the conversion process, an image in which the train is viewed from the side (for example, an image in which the entrance / exit is captured from the front) is automatically generated, and an enlarged portion is displayed. There are usually a plurality of such important monitoring points, such as a vehicle entrance / exit and a vehicle side light at a station platform, which have a similar shape and are often arranged at a predetermined interval.

また、本発明は、被写体の画像の奥行きを二次元で認識するために、被写体の境界(エッジ)検出、被写体の画像と背景画像との輝度値の差を検出して被写体画像の形状を認識して、被写体画像(例えば、乗降口や車側灯)を均一に表示するように自動的に拡大処理するものである。   In addition, the present invention recognizes the shape of the subject image by detecting the boundary (edge) of the subject and detecting the difference in luminance value between the subject image and the background image in order to recognize the depth of the subject image in two dimensions. Thus, the enlargement process is automatically performed so as to uniformly display the subject image (for example, the entrance / exit or the vehicle side light).

また、本発明は、この変換処理された画像を記録装置に録画することによって、部分拡大した画像のみを録画することによって、画像を予め高画質で録画する録画方法に関するものである。これによって、録画画像を拡大しても画質が劣化しない。   The present invention also relates to a recording method for recording an image with high image quality in advance by recording only the partially enlarged image by recording the converted image on a recording device. As a result, the image quality does not deteriorate even if the recorded image is enlarged.

また、本発明は、例えば、画像を複数のモニタで監視する駅ホーム画像監視システムのように、奥行きのある領域を監視する監視システムであって、複数のモニタに表示された画像を、例えば列車の車両単位で別々のモニタ画面に表示する。そして、撮像画像の乗降口部分のみ部分拡大し、列車の乗降口を真正面から捕らえた画像を自動生成して複数モニタに表示する。真正面とは、例えば、列車の車両の進行方向と直角または略直角な方向である。このとき、1台のモニタについて、1台の車両の画像を表示するようにしても良いし、モニタの設置位置と車両の配置順とを一致させるようにしても良い。   In addition, the present invention is a monitoring system that monitors an area having a depth, such as a station home image monitoring system that monitors images on a plurality of monitors, and images displayed on a plurality of monitors, for example, a train Are displayed on separate monitor screens for each vehicle. And only the entrance / exit part of a captured image is expanded partially, the image which caught the entrance / exit of the train from the front is automatically generated, and it displays on multiple monitors. The straight front is, for example, a direction perpendicular or substantially perpendicular to the traveling direction of the train vehicle. At this time, the image of one vehicle may be displayed for one monitor, or the installation position of the monitor and the arrangement order of the vehicles may be matched.

また、乗降口だけでなく、車側灯を同時にまたは近傍(例えば、乗降口の表示枠の上、等)に表示しても良い.
本発明の実施の形態について説明する。
Further, not only the entrance / exit but also the vehicle side light may be displayed simultaneously or in the vicinity (for example, on the display frame of the entrance / exit).
Embodiments of the present invention will be described.

図2は、本発明の一実施例の監視システムを示すブロック図である。図2は、被写体の画像の部分拡大処理を行うための画像処理装置と記録装置を使用したシステム系統図である。21 はカメラ、22 は画像処理装置、22-1 は画像処理装置 22 内の画像フレームメモリ、23 は記録装置、4 はモニタである。また、25 ,26 ,27 は映像信号である。記録装置は、例えば、デジタルレコーダである。カメラ 21 は、例えば、有効画素数が 120 万画素以上のメガピクセルカメラである。   FIG. 2 is a block diagram showing a monitoring system according to an embodiment of the present invention. FIG. 2 is a system diagram using an image processing apparatus and a recording apparatus for performing partial enlargement processing of an image of a subject. 21 is a camera, 22 is an image processing device, 22-1 is an image frame memory in the image processing device 22, 23 is a recording device, and 4 is a monitor. Reference numerals 25, 26, and 27 are video signals. The recording device is, for example, a digital recorder. The camera 21 is, for example, a megapixel camera having an effective pixel count of 1.2 million pixels or more.

図2において、カメラ 21 は、監視領域、例えば、ホームに停車した列車の車両を撮影し、映像信号 25 を画像処理装置 22 に出力する。画像処理装置 22 は、入力された映像信号 25 を1フレーム毎に、SXGA サイズ( 1280 × 1024 画素)で画像処理装置 22 内の画像フレームメモリ 22-1 に記憶する。   In FIG. 2, the camera 21 captures a vehicle in a monitoring area, for example, a train stopped at the platform, and outputs a video signal 25 to the image processing device 22. The image processing device 22 stores the input video signal 25 in the image frame memory 22-1 in the image processing device 22 in an SXGA size (1280 × 1024 pixels) for each frame.

画像処理装置 22 は、画像フレームメモリ 22-1 に記憶された画像を、被写体の画像の奥行きや形状に基づいて部分的に拡大し、部分的な拡大画像を映像信号 26 として記録装置 23 に出力する。記録装置 23 は、入力された映像信号 26 の画像を予め選択された画質モードで録画する。   The image processing device 22 partially enlarges the image stored in the image frame memory 22-1 based on the depth and shape of the subject image, and outputs the partially enlarged image as the video signal 26 to the recording device 23. To do. The recording device 23 records the image of the input video signal 26 in a previously selected image quality mode.

この予め選択された画質で録画された画像は、記録装置 23 から映像信号 27 として読み出され、再生画像としてモニタ 24 に出力される。モニタ 24 は、入力された映像信号 27 の再生画像を画面に表示する。   The image recorded with the preselected image quality is read out from the recording device 23 as a video signal 27 and output to the monitor 24 as a reproduced image. The monitor 24 displays the playback image of the input video signal 27 on the screen.

上記実施例では、画像を拡大処理しても画質が劣化しないことを特徴としている。しかし、画像処理装置 22 で拡大した画像が、拡大しないで録画された通常の録画画像より画質の劣化がないようにするためには、画素の拡大率と、記録装置 23 の録画画質に注意しなければならない。   The above embodiment is characterized in that the image quality does not deteriorate even when the image is enlarged. However, in order to prevent the image magnified by the image processing device 22 from degrading the image quality compared to a normal recorded image recorded without being magnified, pay attention to the pixel enlargement rate and the recording image quality of the recording device 23. There must be.

例えば、記録装置 23 が VGA( 640 × 480 画素)で録画するなら、画素の拡大率は、縦、横ともに最大で2倍まで画質を落とさずに拡大することが可能である。
また例えば、QVGA( 320 × 240 )で録画するなら、画素の拡大率は、縦、横ともに最大で4倍までなら画質を落とさずに拡大することが可能である。
For example, if the recording device 23 records with VGA (640 × 480 pixels), the enlargement ratio of the pixels can be enlarged up to twice as much as the vertical and horizontal without reducing the image quality.
Also, for example, when recording in QVGA (320 × 240), if the pixel enlargement ratio is up to 4 times both vertically and horizontally, it is possible to enlarge without degrading the image quality.

図3は、本発明の一実施例の画像処理装置 22 の機能ブロックの一例を示す図である。31 は画像フレームメモリ、32 はエッジ検出部、33 は輝度差検出部、34 は被写体形状検出部、35 は拡大処理部である。また図4は、図3の画像処理装置 22 内の各構成部( 31 〜 35 )での画像の様子を模式的に示す図である。41 は画像フレームメモリ 31 に記憶された画像、42 はエッジ検出部 32 で検出されたエッジ検出画像、43 は輝度差検出部 33 で検出された輝度差検出画像、44 は、被写体形状検出部 34 で検出された形状検出画像、45 は拡大処理部 35 が出力する拡大画像である。   FIG. 3 is a diagram illustrating an example of functional blocks of the image processing apparatus 22 according to an embodiment of the present invention. 31 is an image frame memory, 32 is an edge detector, 33 is a luminance difference detector, 34 is a subject shape detector, and 35 is an enlargement processor. FIG. 4 is a diagram schematically showing the state of an image in each component (31 to 35) in the image processing apparatus 22 of FIG. 41 is an image stored in the image frame memory 31, 42 is an edge detection image detected by the edge detection unit 32, 43 is a luminance difference detection image detected by the luminance difference detection unit 33, and 44 is a subject shape detection unit 34. , 45 is an enlarged image output from the enlargement processing unit 35.

図3において、画像処理装置 22 に入力された映像信号 25 は、画像フレームメモリ 31 に高画質(例えば、SXGA サイズ)の画像データ(画像 41 )として記憶される。画像フレームメモリ 31 は、記憶された画像 41 を、エッジ検出部 32 と輝度差検出部 33 に出力する。   In FIG. 3, the video signal 25 input to the image processing device 22 is stored in the image frame memory 31 as high-quality (for example, SXGA size) image data (image 41). The image frame memory 31 outputs the stored image 41 to the edge detection unit 32 and the luminance difference detection unit 33.

エッジ検出部 32 は、入力された画像データの画像のエッジ抽出を行い、抽出されたエッジ検出画像 42 を被写体形状検出部 34 に出力する。例えば、ホームの列車の画像の場合、列車がホームに入線した状態の列車外枠をエッジとして検出する。   The edge detection unit 32 performs edge extraction of the image of the input image data, and outputs the extracted edge detection image 42 to the subject shape detection unit 34. For example, in the case of an image of a home train, a train outer frame in a state where the train enters the home is detected as an edge.

また、輝度差検出部 33 は、入力された画像 41 と背景画像との輝度値の差を算出し、算出された輝度値の差を輝度値とした画像(輝度差検出画像 43 )を生成し、生成された輝度差検出画像 43 を被写体形状検出部 34 に出力する。例えば、ホームの列車の画像の場合、列車表面が背景より明るいことを利用して列車と背景とを分離し、列車の画像領域のみを抽出する。なお、背景画像は、例えば、予め列車が入線していない時に監視視野領域を撮像して取得し、例えば画像処理装置 22 内の所定のメモリに記憶しておく。また輝度値の差の算出は、例えば画素毎に実行する。   In addition, the luminance difference detection unit 33 calculates a luminance value difference between the input image 41 and the background image, and generates an image (luminance difference detection image 43) using the calculated luminance value difference as a luminance value. The generated luminance difference detection image 43 is output to the subject shape detection unit 34. For example, in the case of an image of a home train, the train and the background are separated using the fact that the train surface is brighter than the background, and only the image area of the train is extracted. Note that the background image is obtained by, for example, capturing the monitoring visual field region in advance when the train is not in the line, and storing it in a predetermined memory in the image processing device 22, for example. Further, the calculation of the difference in luminance value is executed for each pixel, for example.

被写体形状検出部 34 は、入力されたエッジ検出画像 42 と輝度差検出画像 43 とから、相関性の高い部分領域を列車の画像として確定し、確定した領域の画像(形状検出画像 44 )を拡大処理部 35 に出力する。   The object shape detection unit 34 determines a highly correlated partial area as a train image from the input edge detection image 42 and the luminance difference detection image 43, and enlarges the image of the determined area (shape detection image 44). Output to processing unit 35.

拡大処理部 35 は、被写体形状検出部 34 で確定された形状検出画像 44 の画素領域について、各々の画素についての画素サイズの拡大率を決定する。そして、決定された拡大率を各々の画素のサイズに乗じて、被写体を擬似的に正面から見た拡大画像 45 を生成し、映像信号 26 としてモニタ 24 に出力する。なお、拡大率の算出は、ホームの入線列車や建物構内など、背景の変化や動体の無い条件で(例えば、上記背景画像によって)行う。   The enlargement processing unit 35 determines the enlargement ratio of the pixel size for each pixel in the pixel region of the shape detection image 44 determined by the subject shape detection unit 34. Then, the determined enlargement ratio is multiplied by the size of each pixel to generate an enlarged image 45 in which the subject is viewed from the front in a pseudo manner, and is output as a video signal 26 to the monitor 24. Note that the enlargement ratio is calculated under conditions where there is no change in the background and no moving object, such as an incoming train on the platform or a building premises (for example, based on the background image).

また、乗降口付近の乗客の乗り降りを監視するためには、乗降口だけではなくその周囲も監視しなければならないため、列車の画像として確定された画像領域に、更にホーム側数十 cm 以上内側までの画像を拡大処理するようにしても良い。   In addition, in order to monitor passengers getting on and off near the entrance, it is necessary to monitor not only the entrance and exit but also the surrounding area. You may make it enlarge an image until.

以上のように、動画をリアルタイムで監視するために、図3における処理は、全てハードウェアで構成している。
しかし、画像処理装置を FPGA で構成して図5に示すフローチャートのように処理することもできる。図5は、本発明の一実施例の画像処理方法の処理動作例を説明するためのフローチャートである。
As described above, in order to monitor a moving image in real time, the processes in FIG. 3 are all configured by hardware.
However, the image processing apparatus can be configured with an FPGA and processed as shown in the flowchart of FIG. FIG. 5 is a flowchart for explaining a processing operation example of the image processing method according to the embodiment of the present invention.

図5において、ステップ 501 では、予め基準とする背景画像を決定し、記憶する。
ステップ 502 では、背景画像によって画素毎の拡大率の算出を行う。
ステップ 51 では、映像信号 25 を画像フレームメモリ 31 に記憶する。
In FIG. 5, in step 501, a reference background image is determined and stored in advance.
In step 502, the enlargement ratio for each pixel is calculated based on the background image.
In step 51, the video signal 25 is stored in the image frame memory 31.

ステップ 52 では、記憶された映像信号 25 のエッジ抽出を行い、エッジ検出画像 42 を抽出する。
ステップ 53 では、記憶された映像信号 25 と予め格納していた背景画像とを、例えば画素毎に輝度値の差分を算出し、輝度差検出画像 43 を検出する。
In step 52, the edge of the stored video signal 25 is extracted, and the edge detection image 42 is extracted.
In step 53, a difference in luminance value between the stored video signal 25 and the background image stored in advance is calculated for each pixel, for example, and a luminance difference detection image 43 is detected.

ステップ 54 では、エッジ検出画像 42 と輝度差検出画像 43 とから、相関性の高い部分領域を形状検出画像 44 として確定する。
ステップ 55-1 では、被写体形状検出部 34 で確定された形状検出画像 44 の画素領域について、各々の画素の画素サイズの拡大率を決定する。
In step 54, a highly correlated partial area is determined as the shape detection image 44 from the edge detection image 42 and the luminance difference detection image 43.
In step 55-1, for the pixel area of the shape detection image 44 determined by the subject shape detection unit 34, the enlargement ratio of the pixel size of each pixel is determined.

ステップ 55-2 では、決定された各画素毎の拡大率を各々の画素のサイズに乗じて、被写体を擬似的に正面から見た拡大画像 45 を生成する。
次に、図6によって本発明の拡大率の算出の手順を一例を説明する。図6は、本発明の一実施例の拡大率の算出の手順を説明するための図である。横軸を X 軸、縦軸を Y 軸とした XY 座標で表示している。また、一番左下の座標を原点( 0 ,0 )としている。(a) は、図1の表示例 10 の画像 10-1 、(b) は拡大前の画素のサイズ、(c) は拡大後の画素のサイズである。ただし、図6(a) の画像に比して、図6(b) と図6(c) は、図示している画素の大きさは大きく表している。
In step 55-2, the determined enlargement ratio for each pixel is multiplied by the size of each pixel to generate an enlarged image 45 in which the subject is viewed from the front in a pseudo manner.
Next, an example of the procedure for calculating the enlargement ratio according to the present invention will be described with reference to FIG. FIG. 6 is a diagram for explaining the procedure for calculating the enlargement ratio according to the embodiment of the present invention. It is displayed in XY coordinates with the horizontal axis as the X axis and the vertical axis as the Y axis. The coordinate at the bottom left is the origin (0, 0). (a) is the image 10-1 of display example 10 in FIG. 1, (b) is the size of the pixel before enlargement, and (c) is the size of the pixel after enlargement. However, as compared with the image of FIG. 6A, FIG. 6B and FIG. 6C show the size of the illustrated pixel larger.

図6において、画像 10-1 を X 、Y 座標で表し、画像 10-1 全体を( LH × LV )=( 1280 × 1024 )とする。
算出方法を一般化するために、以降のように変数を定める。
6, represents an image 10-1 X, in Y coordinate, image 10-1 overall (L H × L V) = a (1280 × 1024).
In order to generalize the calculation method, variables are defined as follows.

被写体形状検出により得られた形状検出画像 44 から、図6(a) のように lH 、lV1 、lV2 を定める。ここで、lH は形状検出画像 44 の左端の X 座標、lV1 は形状検出画像 44 の左下端の Y 座標、lV2 は形状検出画像 44 の左上端の Y 座標である。また、列車下部の直線を関数 F 1(X) 、列車上部の直線を関数 F 2(X) とする。 From shape detection image 44 obtained by subject shape detection, l H , l V1 , and l V2 are determined as shown in FIG. Here, l H is the X coordinate of the left end of the shape detection image 44, l V1 is the Y coordinate of the lower left end of the shape detection image 44, and l V2 is the Y coordinate of the upper left end of the shape detection image 44. The straight line at the bottom of the train is function F 1 (X), and the straight line at the top of the train is function F 2 (X).

このとき、関数 F 1(X) は、式(1) 、関数 F 2(X) は、式(2) のように求めることができる。 At this time, the function F 1 (X) can be obtained as shown in Expression (1) and the function F 2 (X) as shown in Expression (2).

また、元の画素の大きさを( gX × gY )、拡大画素の大きさを( GX × GY )、画素の Y 軸方向の拡大率をα(X) 、X 軸方向の拡大率をβ(X) とする。
このとき、GY は式(3) のように求めることができる。
Also, the size of the original pixel is (g X × g Y ), the size of the enlarged pixel is (G X × G Y ), the magnification rate of the pixel in the Y-axis direction is α (X), and the magnification in the X-axis direction is Let β (X) be the rate.
At this time, G Y can be obtained as shown in Equation (3).

次に、GX は、画素の X 軸方向の拡大率もα(X) として、拡大後の画像フレームの水平画素の和を S とすると、式(4) のように求めることができる。 Next, G X can be obtained as shown in Equation (4), where S is the sum of the horizontal pixels of the enlarged image frame, where α (X) is the enlargement ratio of the pixels in the X-axis direction.

以上より元の画素に X による変数である拡大率α(X) 、β(X) を乗じて各画素毎に拡大することで拡大画像が得られる。
以上の算出処理は、カメラ設置時に被写体を撮影した状態で行い、以降の通常監視時は、拡大率の算出は行わず、拡大率α(X) 、β(X) を定数として使用する。
As described above, an enlarged image can be obtained by multiplying the original pixel by the enlargement ratios α (X) and β (X), which are variables of X, and enlarging each pixel.
The above calculation processing is performed in a state where the subject is photographed when the camera is installed, and the magnification rate α (X) and β (X) are used as constants without calculating the magnification rate during subsequent normal monitoring.

本発明の他の実施例を、図7によって説明する。図7は、鉄道におけるホーム画像監視システムの本発明の一実施例を説明するための図である。図7(a) はホームを上方から見たシステムの略構成を示し、1-1 〜 1-4 はカメラ、2-1 〜 2-8 は列車の車両を示す。乗降客等、他のホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるために省略している。ここで、モニタや記録装置は図7に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、カメラ 1-1 〜 1-4 と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段(図示しない、例えば、無線 LAN( Local Area Network )、光通信等によって結合されている。   Another embodiment of the present invention will be described with reference to FIG. FIG. 7 is a diagram for explaining an embodiment of the present invention of a home image monitoring system in a railway. Fig. 7 (a) shows the schematic configuration of the system as seen from above. 1-1 to 1-4 are cameras, and 2-1 to 2-8 are train vehicles. Illustrations of other objects such as passengers and other platforms that should be on the train are omitted in order to avoid complexity. Here, although the monitor and the recording device are not shown in FIG. 7, for example, they are installed in a driver's seat, a conductor's seat, a station office, or a monitoring center, and either cameras 1-1 to 1-4 and either wireless or wired or These are combined by well-known transmission means (not shown, for example, a wireless local area network (LAN), optical communication, or the like.

また図7(b) は、図7(a) のカメラ 1-1 〜 1-4 が取得した映像を複数のモニタにそのまま表示した従来技術の表示例である。10′はモニタ画面の表示例、10′-1 はカメラ 1-1 が取得した映像をモニタの1つに表示した表示例、10′-2 はカメラ 1-2 が取得した映像をモニタの1つに表示した表示例、10′-3 はカメラ 1-3 が取得した映像をモニタの1つに表示した表示例、10′-4 はカメラ 1-4 が取得した映像をモニタの1つに表示した表示例である。   FIG. 7B is a display example of the prior art in which the images acquired by the cameras 1-1 to 1-4 in FIG. 7A are displayed as they are on a plurality of monitors. 10 'is a display example of the monitor screen, 10'-1 is a display example in which the video acquired by the camera 1-1 is displayed on one of the monitors, and 10'-2 is a video image acquired by the camera 1-2 on the monitor 1 10'-3 is a display example in which the video acquired by the camera 1-3 is displayed on one of the monitors, and 10'-4 is a video acquired by the camera 1-4 in one of the monitors. It is the example of a displayed display.

また図7(c) は、本発明の一実施例で、図7(a) のカメラ 1-1 〜 1-4 が取得した映像を複数のモニタに表示した例を示す図である。70 はモニタ画面の表示例、70-1 はカメラ 1-1 が取得した映像をモニタの1つに表示した表示例、70-2 はカメラ 1-2 が取得した映像をモニタの1つに表示した表示例、70-3 はカメラ 1-3 が取得した映像をモニタの1つに表示した表示例、70-4 はカメラ 1-4 が取得した映像をモニタの1つに表示した表示例である。   FIG. 7 (c) is a diagram showing an example in which images acquired by the cameras 1-1 to 1-4 in FIG. 7 (a) are displayed on a plurality of monitors according to an embodiment of the present invention. 70 is a display example of the monitor screen, 70-1 is a display example of displaying the image acquired by the camera 1-1 on one of the monitors, 70-2 is a display of the image acquired by the camera 1-2 on one of the monitors 70-3 is a display example in which the video acquired by camera 1-3 is displayed on one of the monitors, and 70-4 is a display example in which the video acquired by camera 1-4 is displayed on one of the monitors. is there.

図7の実施例では、1つの監視領域を複数のカメラで撮像し、複数のモニタに表示する。このため、例えば、図7(b) に示す従来例のように、手前と奥の画像が交互に表示されるため、非常に視認が困難になる。   In the embodiment of FIG. 7, one monitoring area is captured by a plurality of cameras and displayed on a plurality of monitors. For this reason, for example, as in the conventional example shown in FIG. 7B, the front and back images are alternately displayed, so that it is very difficult to visually recognize.

このような監視において、本発明では、複数のカメラで撮像した監視領域を、1つのカメラで正面から撮像したように擬似的に表示させる。これによって、視認性が向上する。
図8によって、本発明の別の実施例を説明する。図8は、本発明の一実施例のモニタ表示画面の一例を示す図である。図8は、本発明の一実施例の図7(c) が複数のモニタを有し、カメラ1台毎に1台のモニタを割当てて1台のカメラの取得した映像を割当てた1台のモニタに表示していることに対して、1台のモニタを複数の画面に分割して(図7では、4分割表示)表示し、モニタの数を減らしたものである。80 はモニタ画面の表示例、70-1 はカメラ 1-1 が取得した映像をモニタの1つに表示した表示例、70-2 はカメラ 1-2 が取得した映像をモニタの1つに表示した表示例、70-3 はカメラ 1-3 が取得した映像をモニタの1つに表示した表示例、70-4 はカメラ 1-4 が取得した映像をモニタの1つに表示した表示例である。
In such monitoring, in the present invention, a monitoring area captured by a plurality of cameras is displayed in a pseudo manner as if captured from the front by one camera. This improves the visibility.
FIG. 8 illustrates another embodiment of the present invention. FIG. 8 is a diagram showing an example of a monitor display screen according to an embodiment of the present invention. FIG. 8 (c) shows an embodiment of the present invention, in which FIG. 7 (c) has a plurality of monitors, one monitor is assigned to each camera, and one camera is assigned an image acquired by one camera. In contrast to the display on the monitor, one monitor is divided into a plurality of screens (in FIG. 7, four-divided display), and the number of monitors is reduced. 80 is a display example of the monitor screen, 70-1 is a display example of displaying the video acquired by the camera 1-1 on one of the monitors, 70-2 is a display of the video acquired by the camera 1-2 on one of the monitors 70-3 is a display example in which the video acquired by the camera 1-3 is displayed on one of the monitors, and 70-4 is a display example in which the video acquired by the camera 1-4 is displayed on one of the monitors. is there.

図9によって、本発明の別の実施例を説明する。図9は、本発明の一実施例のモニタ表示画面の一例を示す図である。図9は、本発明の一実施例の図7(c) の表示例 70-1 において、車両の外壁部分の撮像画像を表示せず、例えば白抜きとして、車両の乗降口から見える車内とホーム上の乗降者の撮像画像を表示するようにした表示例である。   With reference to FIG. 9, another embodiment of the present invention will be described. FIG. 9 is a diagram showing an example of a monitor display screen according to an embodiment of the present invention. FIG. 9 is a display example 70-1 of FIG. 7 (c) according to an embodiment of the present invention, in which the captured image of the outer wall portion of the vehicle is not displayed. It is the example of a display which displayed the upper passenger's picked-up image.

上記図9の実施例では、例えば、車両の両側に1つずつ設けられている乗降扉の開閉を知らせるランプ(例えば、車側灯)を認識し、画像処理によって、撮像画像中のランプが点灯したことを検知して、ランプの位置を元に乗降扉の位置を算出することによって実行することができる。   In the embodiment of FIG. 9 described above, for example, a lamp (for example, a car side lamp) that notifies opening / closing of a passenger door provided on each side of the vehicle is recognized, and the lamp in the captured image is turned on by image processing. It can be executed by detecting this and calculating the position of the passenger door based on the lamp position.

また、例えば、図4によって説明した形状検出画像 44 によって選択しても良い。
また更に、図5によって説明したステップ 54 での処理によって、形状検出画像 44 を求めても良い。
For example, the shape detection image 44 described with reference to FIG. 4 may be selected.
Furthermore, the shape detection image 44 may be obtained by the processing in step 54 described with reference to FIG.

尚、撮像された画像のどの部分を表示するかまたは表示しないかは、用途や目的に応じて設定することは自明である。
また、記録装置に記憶する画像は、表示画像と同じであってももとの画像であってもどちらでも良いし、それら両方であっても良い。
It is obvious that which part of the captured image is to be displayed or not to be set according to the application and purpose.
The image stored in the recording apparatus may be the same as the display image, the original image, or both.

従来の奥行きのある監視領域を監視するシステムの略構成とモニタ画面の表示例を示す図。The figure which shows the example of a general | schematic structure of the system which monitors the monitoring area | region with the conventional depth, and the display example of a monitor screen. 本発明の一実施例の監視システムを示すブロック図。The block diagram which shows the monitoring system of one Example of this invention. 本発明の一実施例の画像処理装置の機能ブロックの一例を示す図。1 is a diagram illustrating an example of functional blocks of an image processing apparatus according to an embodiment of the present invention. 図3の画像処理装置での画像の様子を模式的に示す図。The figure which shows typically the mode of the image in the image processing apparatus of FIG. 本発明の一実施例の画像処理方法の処理動作の一例を示すフローチャート。6 is a flowchart illustrating an example of a processing operation of an image processing method according to an embodiment of the present invention. 本発明の一実施例の拡大率の算出の手順を説明するための図。The figure for demonstrating the procedure of calculation of the expansion ratio of one Example of this invention. 鉄道におけるホーム画像監視システムの本発明の一実施例を説明するための図。The figure for demonstrating one Example of this invention of the home image monitoring system in a railway. 本発明の一実施例の表示例を示す図。The figure which shows the example of a display of one Example of this invention. 本発明の一実施例の表示例を示す図。The figure which shows the example of a display of one Example of this invention.

符号の説明Explanation of symbols

1-1〜1-4:カメラ、 2-1〜2-8:車両、 10,10′,20:表示例、 10-1,10′-1〜10′-4,20-1,20-2:画像、 21:カメラ、 22:画像処理装置、 22-1:画像フレームメモリ、 23:記録装置、 24:モニタ、 25〜27:映像信号、 31:画像フレームメモリ、 32:エッジ検出部、 33:輝度差検出部、 34:被写体形状検出部、 35:拡大処理部、 41:画像フレームメモリ 31 に記憶された画像、 42:エッジ検出画像、 43:輝度差検出画像、 44:形状検出画像、 45:拡大画像、 70-1〜70-4:画像、 70,80:表示例。

1-1 to 1-4: Camera, 2-1 to 2-8: Vehicle, 10, 10 ', 20: Display example, 10-1, 10'-1 to 10'-4, 20-1, 20- 2: Image, 21: Camera, 22: Image processing device, 22-1: Image frame memory, 23: Recording device, 24: Monitor, 25-27: Video signal, 31: Image frame memory, 32: Edge detection unit, 33: Luminance difference detection unit, 34: Subject shape detection unit, 35: Enlargement processing unit, 41: Image stored in the image frame memory 31, 42: Edge detection image, 43: Luminance difference detection image, 44: Shape detection image 45: Enlarged image, 70-1 to 70-4: Image, 70, 80: Display example.

Claims (7)

視野内を撮像する撮像装置と、該撮像装置によって撮像された画像を処理し所定の表示形式で出力する画像処理装置と、該画像処理装置が出力した画像を表示するモニタとを備え、奥行きのある物体を斜め方向から撮像する撮像システムにおいて、
上記画像処理装置は、上記撮像装置によって撮像された物体の画像の奥の部分の画像と手前の部分の画像とを同等の大きさにして上記モニタに表示することを特徴とする撮像システム。
An imaging device that captures an image within the field of view; an image processing device that processes an image captured by the imaging device and outputs the image in a predetermined display format; and a monitor that displays an image output by the image processing device. In an imaging system for imaging an object from an oblique direction,
The image processing apparatus is characterized in that an image of a deep part of an image of an object imaged by the image pickup apparatus and an image of a front part of the image are displayed on the monitor with the same size.
請求項1記載の撮像システムにおいて、
上記画像処理装置は、上記撮像装置によって撮像された物体の画像の奥の部分の画像を拡大し、または手前の部分の画像を縮小するか少なくともいずれか1つによって、奥の部分の画像と手前の部分の画像とを同等の大きさにして上記モニタに表示することを特徴とする撮像システム。
The imaging system according to claim 1.
The image processing device enlarges the image of the back portion of the image of the object imaged by the imaging device, or reduces the image of the front portion, or at least one of them, and thereby An image pickup system characterized in that an image of the portion is made the same size and displayed on the monitor.
請求項1または請求項2のいずれかに記載の撮像システムにおいて、上記画像処理装置は、画像フレームメモリを備え、
上記画像フレームメモリに上記モニタに表示される画像より高精細の画像を記憶し、予め指定された所定の部分の画像を拡大して出力することを特徴とする撮像装置。
The imaging system according to claim 1 or 2, wherein the image processing apparatus includes an image frame memory,
An image pickup apparatus, wherein an image of a higher definition than an image displayed on the monitor is stored in the image frame memory, and an image of a predetermined portion specified in advance is enlarged and output.
請求項1乃至請求項3のいずれか1つに記載の撮像システムにおいて、更に記録装置を備え、
上記記録装置に、上記モニタに表示される画像または上記画像フレームメモリに記憶された画像の少なくとも1つを記憶することを特徴とする撮像システム。
The imaging system according to any one of claims 1 to 3, further comprising a recording device,
An image pickup system, wherein at least one of an image displayed on the monitor or an image stored in the image frame memory is stored in the recording device.
請求項1乃至請求項4のいずれか1つに記載の撮像システムにおいて、
上記撮像装置を複数台備え、該複数台の撮像装置が撮像した画像のそれぞれまたは合成した画像を上記モニタに表示することを特徴とする撮像システム。
The imaging system according to any one of claims 1 to 4,
An imaging system comprising a plurality of the imaging devices and displaying each of the images captured by the plurality of imaging devices or a synthesized image on the monitor.
視野内を撮像する撮像装置と、該撮像装置によって撮像された画像を処理し所定の表示形式で出力する画像処理装置と、該画像処理装置が出力した画像を表示するモニタとを備え、駅構内の列車車両を撮像する撮像システムにおいて、
上記画像処理装置は、上記撮像装置によって撮像された列車の画像の車両部分のみ部分拡大し、列車の乗降口を正面から捕らえた画像を上記モニタに表示することを特徴とする撮像システム。
An image pickup device for picking up an image in the field of view, an image processing device for processing an image picked up by the image pickup device and outputting the image in a predetermined display format, and a monitor for displaying an image output from the image processing device In an imaging system for imaging train cars of
The said image processing apparatus expands only the vehicle part of the train image imaged by the said imaging device, and displays the image which caught the entrance / exit of the train from the front on the said monitor, The imaging system characterized by the above-mentioned.
視野内を撮像する撮像装置と、該撮像装置によって撮像された画像を処理し所定の表示形式で出力する画像処理装置と、該画像処理装置が出力した画像を表示するモニタとを備え、奥行きのある物体を斜め方向から撮像する撮像システムにおいて、
上記画像処理装置は、上記撮像装置によって撮像された物体の画像の奥の部分の画像を拡大し、または手前の部分の画像を縮小するか少なくともいずれか1つによって、上記物体を正面から捕らえた画像に変換して出力することを特徴とする撮像システム。

An imaging device that captures an image within the field of view; an image processing device that processes an image captured by the imaging device and outputs the image in a predetermined display format; and a monitor that displays an image output by the image processing device. In an imaging system for imaging an object from an oblique direction,
The image processing apparatus captures the object from the front by enlarging an image of a back part of an image of the object imaged by the imaging apparatus or reducing an image of a front part. An imaging system characterized by converting to an image and outputting the image.

JP2004209343A 2004-07-16 2004-07-16 Image pickup system Pending JP2006033418A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004209343A JP2006033418A (en) 2004-07-16 2004-07-16 Image pickup system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004209343A JP2006033418A (en) 2004-07-16 2004-07-16 Image pickup system

Publications (1)

Publication Number Publication Date
JP2006033418A true JP2006033418A (en) 2006-02-02

Family

ID=35899233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004209343A Pending JP2006033418A (en) 2004-07-16 2004-07-16 Image pickup system

Country Status (1)

Country Link
JP (1) JP2006033418A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250363A (en) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp Video monitoring device
JP2012134825A (en) * 2010-12-22 2012-07-12 Fujitsu Ten Ltd Image display system, image processing device, and image display method
JP2014225825A (en) * 2013-05-17 2014-12-04 オムロン株式会社 Image processing apparatus, image processing method, and image processing program
EP3663161A4 (en) * 2017-07-31 2021-06-23 Hitachi Kokusai Electric Inc. Video display system and video display method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250363A (en) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp Video monitoring device
JP2012134825A (en) * 2010-12-22 2012-07-12 Fujitsu Ten Ltd Image display system, image processing device, and image display method
JP2014225825A (en) * 2013-05-17 2014-12-04 オムロン株式会社 Image processing apparatus, image processing method, and image processing program
EP3663161A4 (en) * 2017-07-31 2021-06-23 Hitachi Kokusai Electric Inc. Video display system and video display method
US11394885B2 (en) 2017-07-31 2022-07-19 Hitachi Kokusai Electric Inc. Image display system and image display method

Similar Documents

Publication Publication Date Title
JP4685561B2 (en) Display method of camera system and camera system
US7212650B2 (en) Monitoring system and monitoring method
JP2011097309A (en) Centralized monitoring system and centralized monitoring method by multiple monitoring cameras
JP5128547B2 (en) Image processing program, image processing apparatus, and image processing method for monitoring system
US20140085463A1 (en) Monitoring camera for generating privacy mask and method of controlling the same
JP6955584B2 (en) Door image display system and monitor
JP2006033418A (en) Image pickup system
JP2011124879A (en) Imaging system for vehicle and in-vehicle imaging apparatus
JPH04274941A (en) External monitor of vehicle
JP2008035096A (en) Monitoring apparatus, monitoring method and program
JP2001043383A (en) Image monitoring system
JP3784796B2 (en) Mobile body-associated information display device
JP2008182456A (en) Monitoring device, detection setting method, and monitoring camera system
CN109328176B (en) Image display device for elevator
KR101080066B1 (en) Method Making Out A Number Plate Of Vehicle
JP2010141603A (en) Monitor display system
JP2019009615A (en) Monitoring camera device, monitoring video distribution method, and monitoring system
JP4540490B2 (en) Parking lot monitoring device
WO2017101348A1 (en) Method and device for deinterlacing interlaced videos
JP4825479B2 (en) Monitoring system and monitoring method
JP2005143052A (en) Monitoring apparatus including background image change detecting function
KR101462269B1 (en) part of picture storing method for high definition camera
JPH0783474B2 (en) Automatic tracking imaging device
US11501534B2 (en) Information processing apparatus, information processing system, information processing method, and storage medium
KR20010069800A (en) reconstruction device of the video data for a camera