JP2008034904A

JP2008034904A - Video display system

Info

Publication number: JP2008034904A
Application number: JP2006202747A
Authority: JP
Inventors: Susumu Ito; 享伊藤; Pascal Goge; パスカルゴゲ; Yuzo Kawahara; 雄三川原; Yoshihiro Tanigawa; 嘉浩谷川
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2006-07-26
Filing date: 2006-07-26
Publication date: 2008-02-14

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video display system capable of sharpening processing on the region of a display section where a human body image is displayed. <P>SOLUTION: The video display system provided with an imaging apparatus 11; a display section 21 for displaying an image imaged by the imaging apparatus 11; a video signal processing section 22 for applying video signal processing to the image imaged by the imaging apparatus 11 and applying output display of the processed image to the display section 21, and includes an image analysis section 23 that infers and detects the human body image 4 from the image displayed on the display section 21 by means of image processing and controls image sharpening processing applied to the display region of the human body image 4 detected. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本願発明は、表示された画像を鮮明化することが可能な映像表示システムに関するものである。 The present invention relates to a video display system capable of sharpening a displayed image.

従来から、特開２００４−１８０１６５号公報（特許文献１）に示されるように、鮮明化処理が可能な映像表示システムは知られている。この映像表示システムは、図４に示すように、露出の調整が可能な撮像装置９１と、撮像装置９１の各画素の出力をＡ／Ｄ変換するＡ／Ｄ変換手段９２と、Ａ／Ｄ変換手段９２の出力に基づいてヒストグラムを作成するヒストグラム作成手段９３と、ヒストグラムの一部を除去するヒストグラム端除去手段９４と、ヒストグラムの重心を算出する重心算出手段９５と、予め設定された基準範囲に対するヒストグラムの重心のずれの向きと大きさとを算出する比較手段９６と、基準範囲に対するヒストグラムの重心のずれの向きと大きさとに基づいてヒストグラムの重心が基準値に近付くように露出を制御する露出制御手段９７とを備えている。 Conventionally, as disclosed in Japanese Patent Application Laid-Open No. 2004-180165 (Patent Document 1), a video display system capable of sharpening processing is known. As shown in FIG. 4, the video display system includes an imaging device 91 capable of adjusting exposure, A / D conversion means 92 for A / D converting the output of each pixel of the imaging device 91, and A / D conversion. A histogram creating means 93 for creating a histogram based on the output of the means 92, a histogram edge removing means 94 for removing a part of the histogram, a centroid calculating means 95 for calculating the centroid of the histogram, and a preset reference range Comparing means 96 for calculating the direction and magnitude of the histogram centroid shift, and exposure control for controlling the exposure so that the histogram centroid approaches the reference value based on the histogram centroid shift direction and magnitude relative to the reference range. Means 97.

したがって、この場合には、撮像装置９１の露出を制御することで、表示部（不図示）全体の映像を鮮明化することができる。
特開２００４−１８０１６５号公報 Therefore, in this case, by controlling the exposure of the imaging device 91, the entire image of the display unit (not shown) can be sharpened.
JP 2004-180165 A

しかしながら、上記従来例である映像表示システムにあっては、表示部全体の映像を鮮明化するものであり、表示部における特定の領域を鮮明化させたい場合においては、有効な鮮明化処理を行えるシステムとはなっていなかった。例えば、テレビドアホン機器においては、表示部全体に鮮明化処理を行うという画像処理の負荷が必要であり、そのような負荷を容認して表示部全体に鮮明化処理を行っても、人体像が表示された領域が他の領域に比べてより鮮明化されるものではなく、背景光の強弱の差が大きければ依然として人体像がはっきりとしないままであろうと推測される。 However, in the conventional video display system described above, the video of the entire display unit is sharpened, and effective sharpening processing can be performed when it is desired to sharpen a specific area in the display unit. It was not a system. For example, in a TV door phone device, a load of image processing is necessary to perform a sharpening process on the entire display unit. Even if such a load is accepted and a sharpening process is performed on the entire display unit, a human body image is not displayed. It is assumed that the displayed area is not sharper than the other areas, and that the human body image will remain unclear if the difference in intensity of the background light is large.

本願発明は、上記背景技術に鑑みて発明されたものであり、その課題は、表示部における人体像が表示された領域を鮮明化処理することが可能な映像表示システムを提供することである。 The present invention has been invented in view of the above-described background art, and an object thereof is to provide a video display system capable of sharpening a region where a human body image is displayed on a display unit.

上記課題を解決するために、本願請求項１記載の発明では、撮像装置と、撮像装置により撮像された画像を表示する表示部と、撮像装置により撮像された画像を映像信号処理して表示部へと出力表示させる映像信号処理部とを備えた映像表示システムであって、表示部に表示する画像について画像処理により人体像の表示領域を推定して検出し、検出した人体像の表示領域に対して画像鮮明化処理の制御を行う画像分析部を備えたことを特徴としている。 In order to solve the above problem, in the invention according to claim 1 of the present application, an imaging device, a display unit that displays an image captured by the imaging device, and a display unit that performs video signal processing on the image captured by the imaging device. A video display system including a video signal processing unit that outputs and displays the image, and a human body image display region is estimated and detected by image processing for an image displayed on the display unit, and the detected human body image display region is displayed. On the other hand, an image analysis unit that controls image sharpening processing is provided.

又、本願請求項２記載の発明では、上記請求項１記載の検知器において、撮像装置の撮像画角範囲内に人体が映っていない状態だと推測される人体不在期間にて撮像装置により撮像された画像を記録するメモリを備えており、このメモリに記録された最新の画像と、撮像画角範囲内に人体が映っている現時点で撮像された画像とを比較することで、現時点での人体像の表示領域を推定して検出するようになしたことを特徴としている。 Further, in the invention according to claim 2 of the present application, in the detector according to claim 1, imaging is performed by the imaging device during a human absence period in which it is estimated that the human body is not reflected within the imaging field angle range of the imaging device. The latest image recorded in this memory is compared with the image captured at the present time in which the human body is shown within the imaging angle of view range. It is characterized in that the display area of the human body image is estimated and detected.

本願請求項１記載の映像表示システムにおいては、表示部に表示する画像について画像処理により人体像の表示領域を推定して検出し、検出した人体像の表示領域に対して画像鮮明化処理の制御を行うように構成したため、人体像が表示された領域のみを鮮明化して表示部に表示することができる。 In the video display system according to claim 1 of the present application, a human body image display area is estimated and detected by image processing for an image displayed on the display unit, and control of image sharpening processing is performed on the detected human body image display area. Therefore, only the area where the human body image is displayed can be sharpened and displayed on the display unit.

又、本願請求項２記載の映像表示システムによれば、請求項１に記載の映像表示システムにおいて、撮像装置の撮像画角範囲内に人体が映っていない状態だと推測される人体不在期間にて撮像装置により撮像された画像を記録するメモリを備えており、このメモリに記録された最新の画像と、撮像装置の撮像画角範囲内に人体が映っている状態だと推測される人体存在期間のうち現時点で撮像された画像とを比較することで、現時点での人体像の表示領域を推定して検出するようにしたので、人体像の表示領域を信頼性高く特定できる。 According to the video display system according to claim 2 of the present application, in the video display system according to claim 1, the human body is estimated to be in a state where the human body is not reflected within the imaging field angle range of the imaging device. A memory that records images taken by the imaging device, and the presence of a human body that is estimated to be in the state where the latest image recorded in this memory and the imaging field angle range of the imaging device are reflected Since the current human body image display area is estimated and detected by comparing it with the currently captured image during the period, the human body image display area can be identified with high reliability.

図１〜３は、本願発明の一実施形態である映像表示システムを示している。この映像表示システムは、撮像装置１１と、撮像装置１１により撮像された画像を表示する表示部２１と、撮像装置１１により撮像された画像を映像信号処理して表示部２１へと出力表示させる映像信号処理部２２とを備えた映像表示システムであって、表示部２１に表示する画像について画像処理により人体像４を推定して検出し、検出した人体像４の表示領域に対して画像鮮明化処理の制御を行う画像分析部２３を備えている。 1-3 have shown the video display system which is one Embodiment of this invention. This video display system includes an imaging device 11, a display unit 21 that displays an image captured by the imaging device 11, and a video that processes an image captured by the imaging device 11 for output display on the display unit 21. A video display system including a signal processing unit 22, which estimates and detects a human body image 4 by image processing for an image displayed on the display unit 21, and sharpens an image with respect to a display area of the detected human body image 4. An image analysis unit 23 that controls processing is provided.

又、撮像装置１１の撮像画角範囲内に人体が映っていない状態だと推測される人体不在期間にて撮像装置１１により撮像された画像を記録するメモリ２２ａを備えており、このメモリ２２ａに記録された最新の画像と撮像画角範囲内に人体が映っている現時点で撮像された画像とを比較することで、現時点での人体像の表示領域を推定して検出するようになしている。 In addition, a memory 22a is provided for recording an image captured by the imaging device 11 during a human absence period in which it is estimated that the human body is not reflected within the imaging field angle range of the imaging device 11, and the memory 22a includes the memory 22a. By comparing the latest recorded image with the image captured at the present time in which the human body is reflected within the imaging angle of view range, the display area of the current human image is estimated and detected. .

以下、この実施形態の映像表示システムを、より具体的詳細に説明する。この映像表示システムは、図２に示すように、宅外に設置されたドアホン子機１と、宅内に設置されドアホン子機１に建物内伝送線で接続される親機２とで構成され、親機２とドアホン子機１との間では音声信号及び映像信号が周波数変調方式により伝送されるものである。ただし、本実施形態では、映像信号はドアホン子機１から親機２への一方向にのみ伝送されるものとする。 Hereinafter, the video display system of this embodiment will be described in more detail. As shown in FIG. 2, this video display system is composed of a doorphone slave unit 1 installed outside the house and a master unit 2 installed in the house and connected to the doorphone slave unit 1 via a transmission line in the building. An audio signal and a video signal are transmitted between the master unit 2 and the doorphone slave unit 1 by a frequency modulation method. However, in the present embodiment, it is assumed that the video signal is transmitted from the doorphone slave unit 1 to the master unit 2 only in one direction.

ドアホン子機１は、複数の画素を有する撮像素子を具備した撮像装置１１を備えている。親機２は、図１に示すように、通信部２４と、映像信号処理部２２と、表示部２１と、音声信号処理部２５と、音声出入力部２８と、電源部２７と、制御部２６とを備えている。
通信部２４は、撮像装置１１とのあいだの通信インターフェースであり、伝送線から周波数多重伝送で送られてくる音声及び映像の周波数多重化信号を分離して、映像信号を映像信号処理部２２へ、受話音声信号を音声信号処理部２５へと、それぞれ伝送する。更に、通信部２４は音声信号処理部２５から送られてくる送話音声信号を、伝送線を介してドアホン子機１へと伝送する。なお、通信部２４は、撮像装置１１から伝送された各画素の出力をＡ／Ｄ変換して輝度データを生成し、映像信号の一部として制御部２６に伝送している。ここで、輝度データは、従来通り、ＲＧＢデータとともに、映像信号処理部２２で信号処理されて、制御部２６に伝送されるものであってもよい。 The intercom 1 is provided with an imaging device 11 that includes an imaging device having a plurality of pixels. As shown in FIG. 1, the base unit 2 includes a communication unit 24, a video signal processing unit 22, a display unit 21, an audio signal processing unit 25, an audio input / output unit 28, a power supply unit 27, and a control unit. 26.
The communication unit 24 is a communication interface between the imaging device 11 and separates a frequency multiplexed signal of audio and video sent from the transmission line by frequency multiplexing transmission, and sends the video signal to the video signal processing unit 22. The received voice signal is transmitted to the voice signal processing unit 25. Further, the communication unit 24 transmits the transmission voice signal sent from the voice signal processing unit 25 to the door phone slave unit 1 through the transmission line. The communication unit 24 A / D converts the output of each pixel transmitted from the imaging device 11 to generate luminance data, and transmits the luminance data to the control unit 26 as a part of the video signal. Here, the luminance data may be signal-processed by the video signal processing unit 22 and transmitted to the control unit 26 together with the RGB data, as is conventional.

映像信号処理部２２は、撮像装置１１により撮像された画像を映像信号処理して、映像信号として表示部２１、及び制御部２６へと伝送する。表示部２１は、伝送された映像信号をもとに撮像装置１１で撮像された画像を液晶パネル等の表示画面２１ａに表示している。 The video signal processing unit 22 performs video signal processing on the image captured by the imaging device 11 and transmits the processed video signal to the display unit 21 and the control unit 26 as a video signal. The display unit 21 displays an image captured by the imaging device 11 based on the transmitted video signal on a display screen 21a such as a liquid crystal panel.

又、映像信号処理部２２は、メモリ２２ａを具備しており、撮像された画像をメモリ２２ａに記録するようになっている。メモリ２２ａに記録する画像としては、撮像装置１１の撮像画角範囲内に人体が映っていない状態だと推測される人体不在期間にて撮像装置１１により撮像された、人体不在時の画像が、記録される。また別のメモリ（不図示）又は映像フレームバッファも別途用意されており、こちらには、撮像装置１１の撮像画角範囲内に人体が映っている状態だと推測される人体存在期間にて撮像装置１１により撮像された、人体在時の画像が、記録される。 The video signal processing unit 22 includes a memory 22a, and records a captured image in the memory 22a. As an image to be recorded in the memory 22a, an image at the time when the human body is absent, which is captured by the imaging device 11 in a human body absence period in which it is estimated that the human body is not reflected within the imaging field angle range of the imaging device 11, To be recorded. In addition, another memory (not shown) or a video frame buffer is prepared separately, and this is taken during the human body existence period in which it is assumed that the human body is reflected in the imaging field angle range of the imaging device 11. An image of the human body captured by the device 11 is recorded.

メモリ２２ａに記録される人体不在時の画像は、例えば、ドアホン子機１の呼出釦が押されていない来客のない状態で、親機２がドアホン子機１に定期的に給電し、給電を受けてドアホン子機１が静止画を撮像して親機２へ伝送することで、メモリ２２ａに記録される。なお、ドアホン子機１が撮った静止画を親機２が受信したら、親機２はドアホン子機１への給電を停止し、その後、所定時間経過したら再び親機２はドアホン子機１への給電を行ってドアホン子機１が静止画を撮像して親機２へ伝送するという定期的な給電および画像取得を行うものとする。 The image of the absence of the human body recorded in the memory 22a is, for example, when the master unit 2 periodically supplies power to the doorphone slave unit 1 in a state where no call button of the doorphone slave unit 1 is pressed. In response, the door phone slave unit 1 captures a still image and transmits it to the master unit 2, and is recorded in the memory 22 a. When the master unit 2 receives a still image taken by the door phone slave unit 1, the master unit 2 stops supplying power to the door phone slave unit 1, and then the master unit 2 returns to the door phone slave unit 1 again after a predetermined time. It is assumed that the door phone slave unit 1 performs periodic power supply and image acquisition such that the door phone slave unit 1 captures a still image and transmits it to the master unit 2.

メモリ２２ａ以外に記録される人体存在時の画像は、旧来どおり、ドアホン子機１の呼出釦が押された来客状態で親機２がドアホン子機１に給電し、来客が去るなど親機２がドアホン子機１への給電を停止するまでの間にドアホン子機１が定期的に撮った静止画を、親機２へ都度伝送することで、メモリ２２ａ以外の別のメモリ等である所定の記録先に、記録される。 The image recorded when the human body exists other than the memory 22a is, as before, the parent device 2 such as the parent device 2 supplying power to the door phone child device 1 while the call button of the door phone child device 1 is pressed, and the customer leaves. By transmitting the still image periodically taken by the doorphone slave unit 1 to the master unit 2 until the power supply to the doorphone slave unit 1 is stopped, a predetermined memory such as another memory other than the memory 22a is provided. Is recorded at the recording destination.

又、メモリ２２ａに記録される人体不在時の画像を撮像するタイミングは、上述のように定期的に行ってもかまわないが、これ以外に、例えば、人体熱線を感知する人体検知センサ（不図示）の人体検知反応が得られない状態であってもよいし、又、親機２に設けられたタイマー（不図示）の時刻情報をもとに決定してもよい。このようにすれば、背景光が変化しやすく撮像装置１１付近の来客の周囲の明るさが変化しやすい朝方或いは夕方の前後において画像を記録するように時間帯設定することもできるので、後述の本願発明の効果を充分に発揮できる。もちろん、親機２に設けられたタイマー（不図示）の時刻情報を可変に設定可能とすれば、任意の時間帯を指定することができる。 Further, the timing for capturing an image of the absence of the human body recorded in the memory 22a may be periodically performed as described above, but other than this, for example, a human body detection sensor (not shown) that senses human body heat rays. ) May not be obtained, or may be determined based on time information of a timer (not shown) provided in the master unit 2. In this way, it is possible to set the time zone so that images are recorded before or after the morning or evening when the brightness around the imaging device 11 is likely to change because the background light is likely to change. The effect of the present invention can be sufficiently exhibited. Of course, if the time information of a timer (not shown) provided in the base unit 2 can be set variably, an arbitrary time zone can be designated.

又、この人体不在時の画像を記録するタイミングは、親機２に設けられたタイマー（不図示）の時刻情報によるものでなくとも、別の方法で決定されるものであってもよく、例えば住戸内の住人が親機２に操作入力を行うときに人体不在時の画像を撮像させるものであってもよい。このようにすれば、住戸内の住人が来客のない状態を意識して、好みの時間帯における人体不在時の画像を撮像できる。 Further, the timing of recording the image when the human body is absent may be determined by another method, not by the time information of a timer (not shown) provided in the master unit 2, for example, When a resident in the dwelling unit performs an operation input to the base unit 2, an image when no human body is present may be captured. In this way, it is possible to take an image of the absence of a human body in a preferred time zone in consideration of a state in which a resident in the dwelling has no visitors.

音声信号処理部２５は、送話音声及び受話音声を音声信号処理して、マイク及びスピーカーを備えて音声出入力部２８に送受話音声信号を入出力するものであって、例えば音声スイッチやエコーキャンセラを備えてハンズフリー通話を実現するものである。又、電源部２７は親機２全体の動作電力を供給している一方で、ドアホン子機１への供給電源にも使われる。 The voice signal processing unit 25 performs voice signal processing on the transmitted voice and received voice and inputs / outputs the transmitted / received voice signal to / from the voice output / input unit 28 with a microphone and a speaker. A canceller is provided to realize hands-free calling. The power supply unit 27 supplies the operating power for the entire base unit 2, and is also used as a power supply for the door phone slave unit 1.

制御部２６は、音声および映像とは異なる周波数帯で周波数多重化されてドアホン子機１から送られてくる制御信号を受信すると、その制御信号の制御依頼内容に応じて、映像信号処理部２２又は音声信号処理部２５の種々の動作を制御する。又、制御部２６には、人体像検出アルゴリズムを有する画像分析部２３を具備している。 When the control unit 26 receives a control signal that is frequency-multiplexed in a frequency band different from that of audio and video and is sent from the door phone slave unit 1, the video signal processing unit 22 according to the control request content of the control signal. Alternatively, various operations of the audio signal processing unit 25 are controlled. In addition, the control unit 26 includes an image analysis unit 23 having a human body image detection algorithm.

画像分析部２３は、人体像検出アルゴリズムにより人体像４を推定して検出し、表示画面２１ａにおける人体像４が表示されていると推測された領域である人体像領域に対して鮮明化処理をかける制御を行っている。 The image analysis unit 23 estimates and detects the human body image 4 by the human body image detection algorithm, and performs a sharpening process on the human body image region that is the region where the human body image 4 is estimated to be displayed on the display screen 21a. Control is applied.

具体的な人体像検出方法は、メモリ２２ａに記録された人体不在時の画像のうち最新の画像を標準画像として、玄関のドアホン子機１に来客中である現時点で撮像された人体存在時の画像と差分をとることで、現時点の画像において標準画像から変化している部分を人体像４として推定し検出する。なお、人体像の２次元輪郭サンプル形状をあらわす輪郭サンプルデータを予め記憶しておき、検出された人体像４と、人体像の輪郭サンプルとを照合して、人体像４における顔画像を抽出し、顔画像の表示領域とおぼしき推定画像領域のみを鮮明化処理するようになしてもよい。 Specifically, the human body image detection method uses the latest image among the images recorded in the memory 22a when the human body is absent as a standard image, and is captured at the time when the human body imaged at the present time is visited by the doorphone slave unit 1 at the entrance. By taking the difference from the image, the part of the current image that has changed from the standard image is estimated and detected as the human body image 4. Note that contour sample data representing the two-dimensional contour sample shape of the human body image is stored in advance, and the detected human body image 4 and the contour sample of the human body image are collated to extract a face image in the human body image 4. Only the face image display area and the approximate estimated image area may be sharpened.

又、画像分析部２３の機能を有する回路が実装されるプリント基板には出力端子（不図示）が設けられており、この出力端子から、計測器のプローブ等により画像分析部２３から出力される画像鮮明化処理の出力信号を取り出せるようなっている。こうすることで、計測器によって出力信号を把握することが可能となり、施工時やメンテナンス時の動作確認用途において非常に有効である。 Further, an output terminal (not shown) is provided on a printed circuit board on which a circuit having the function of the image analysis unit 23 is mounted, and output from the image analysis unit 23 by a probe of a measuring instrument or the like from the output terminal. The output signal of the image sharpening process can be taken out. By doing so, it becomes possible to grasp the output signal by the measuring instrument, and it is very effective in the operation confirmation application at the time of construction and maintenance.

なお、これら映像、音声の各伝送の過程では、Ａ／Ｄ変換またはＤ／Ａ変換を施すのは従来の公知技術であるから、説明を省略する。 It should be noted that in these video and audio transmission processes, since A / D conversion or D / A conversion is a conventional publicly known technique, description thereof is omitted.

この映像表示システムは、例えば図２に示すように、集合住宅等に設置された場合、撮像装置１１の対面に位置する住戸入り口の照明器具３等、周囲光源を画面に納めてしまうことがある。この場合、撮像装置１１によって撮像された人体像４が、周囲光源により見え辛く表示されてしまうため、鮮明化処理を行うことが有効となる。 For example, as shown in FIG. 2, when this video display system is installed in an apartment house or the like, an ambient light source such as the lighting fixture 3 at the entrance of the dwelling unit located on the opposite side of the imaging device 11 may be stored on the screen. . In this case, the human body image 4 picked up by the image pickup device 11 is displayed with difficulty by the surrounding light source, and therefore it is effective to perform the sharpening process.

以下、図１、２より、この映像表示システムにおける鮮明化処理について説明する。住戸人は表示画像の鮮明化処理として、輝度平均化処理と露出補正の二通りの鮮明化処理方法を選択することが可能である。まず、輝度平均化処理について説明する。
輝度平均化処理を行う場合、画像分析部２３は、検出された人体像領域５に限定した輝度データを読み出し平均輝度を算出する。算出された平均輝度データは、鮮明化処理信号として制御部２６から映像信号処理部２２へと伝送され、表示部２１に表示される画像は、人体像領域５のみにおいて、算出された平均輝度で表示するように制御される。 Hereinafter, the sharpening process in the video display system will be described with reference to FIGS. The resident can select two types of sharpening processing methods, namely, brightness averaging processing and exposure correction, as the display image sharpening processing. First, the luminance averaging process will be described.
When performing the luminance averaging process, the image analysis unit 23 reads the luminance data limited to the detected human body image region 5 and calculates the average luminance. The calculated average luminance data is transmitted as a sharpening processing signal from the control unit 26 to the video signal processing unit 22, and an image displayed on the display unit 21 is calculated with the calculated average luminance only in the human body image region 5. Controlled to display.

なお、この輝度平均化処理は、撮像装置１１で撮像した映像の録画データを再生する場合においても利用することができるものである。したがって、例えば、撮像装置１１が留守中に不審者の映像を録画していた場合において、不審者の顔を鮮明化させて防犯に役立てることができる。 Note that this luminance averaging process can also be used when playing back video recording data captured by the imaging device 11. Therefore, for example, in the case where the image of the suspicious person is recorded while the imaging device 11 is away, the face of the suspicious person can be clarified and used for crime prevention.

次に、露出補正を行う場合は、画像分析部２３は、検出された人体像領域５の画素値データに限定して、輝度に対する画素数を示す輝度ヒストグラムを作成する。輝度ヒストグラムを作成した後、従来例（特開２００４−１８０１６５号公報）に示された方法と同様に、予め設定された輝度の最大値及び最小値から一定幅の範囲を輝度ヒストグラムから除去し、残った輝度ヒストグラムの重心、及び基準範囲と重心との差を算出する。 Next, when performing exposure correction, the image analysis unit 23 creates a luminance histogram indicating the number of pixels with respect to the luminance, limited to the detected pixel value data of the human body image region 5. After the luminance histogram is created, in the same manner as the method shown in the conventional example (Japanese Patent Laid-Open No. 2004-180165), a range of a certain width from the preset maximum and minimum luminance values is removed from the luminance histogram, The center of gravity of the remaining luminance histogram and the difference between the reference range and the center of gravity are calculated.

なお、算出に使われる計算式は従来例（特開２００４−１８０１６５号公報）と同じ式を用いているため、ここでは省略する。又、予め設定される輝度の最大値、最小値、及び基準範囲は、必要に応じてユーザーが設定変更できるようになっている。 The calculation formula used for the calculation is the same as that in the conventional example (Japanese Patent Laid-Open No. 2004-180165), and is omitted here. The maximum value, minimum value, and reference range set in advance can be changed by the user as necessary.

制御部２６は、画像分析部２３で作成された輝度ヒストグラム、算出した重心及び基準範囲と重心との差等の情報を、鮮明化処理信号として通信部２４に伝送し、算出された重心が基準範囲内におさまるように撮像装置１１の露出補正を行う。なお、露出補正は、撮像装置１１が自機の絞り量やシャッタースピードを調節することによって行う。 The control unit 26 transmits information such as the brightness histogram created by the image analysis unit 23, the calculated centroid and the difference between the reference range and the centroid to the communication unit 24 as a sharpening processing signal, and the calculated centroid is the reference. Exposure correction of the imaging device 11 is performed so as to fall within the range. Note that the exposure correction is performed by the imaging device 11 adjusting the aperture amount and shutter speed of the own device.

次に、この映像表示システムの映像処理についての動作を図３に示すフロー図により説明する。まず、訪問者がドアホン子機１から住戸人を呼び出すと（ステップS０１）、ドアホン子機１からの信号を受けた制御部２６の画像分析部２３において人体像４の検出がなされる（ステップS０２，S０３）。この際、訪問者が屈んでいたりして人体像４の検出に失敗した場合は、新たに撮像された画像を用いて再び人体像４の検出を行い、人体像４が正常に検出されるまでこの動作を繰り返す。ただし、一定時間経過しても人体像４が正常に検出されなかった場合は人体像４の検出を止め、検出できなかった旨を表示画面２１ａに表示するようになっている。 Next, the operation for video processing of this video display system will be described with reference to the flowchart shown in FIG. First, when a visitor calls a dweller from the doorphone slave unit 1 (step S01), the human body image 4 is detected by the image analysis unit 23 of the control unit 26 that has received a signal from the doorphone slave unit 1 (step S02). , S03). At this time, if the visitor is bent or the detection of the human body image 4 fails, the human body image 4 is detected again using the newly captured image until the human body image 4 is normally detected. This operation is repeated. However, if the human body image 4 is not normally detected even after a lapse of a certain time, the detection of the human body image 4 is stopped and a message indicating that the human body image 4 has not been detected is displayed on the display screen 21a.

正常に人体像４が検出され、訪問者の人体像領域５が特定された場合、制御部２６は、輝度平均化と露出補正のどちらの画像鮮明化処理を行うかを選択させる選択画面を表示画面２１ａに表示させる（ステップS０４）。最後に、住戸人が選択画面から一方の画像鮮明化処理を選択し（ステップS０５）、選択信号を受けた制御部２６によって人体像領域５の画像鮮明化処理がなされる（ステップS０６）。 When the human body image 4 is normally detected and the human body image area 5 of the visitor is specified, the control unit 26 displays a selection screen for selecting whether to perform image sharpening processing of luminance averaging or exposure correction. It is displayed on the screen 21a (step S04). Finally, the resident selects one image sharpening process from the selection screen (step S05), and the control unit 26 that receives the selection signal performs the image sharpening process on the human body image area 5 (step S06).

したがって、この実施形態の映像表示システムにおいては、人体像４を検出し、人体像領域５に対して画像鮮明化処理を行うことが可能なため、表示部２１における人体像４が表示された領域のみを鮮明化することができる。又、メモリ２２ａに記録された画像と、現時点で撮像された画像とを比較することで人体像４を検出しているため、人体像４の表示領域を推定して鮮明化することができる。 Therefore, in the video display system of this embodiment, since the human body image 4 can be detected and the image sharpening process can be performed on the human body image region 5, the region where the human body image 4 is displayed on the display unit 21. Only can be clarified. Further, since the human body image 4 is detected by comparing the image recorded in the memory 22a with the image captured at the present time, the display area of the human body image 4 can be estimated and sharpened.

又、人体像領域５を輝度平均化処理することが可能なため、一部突出した輝度をもつ領域があったとしても、選択した領域で平均化することで、突出した輝度に影響されることなく鮮明に画像を表示させることができる。又、撮像装置１１の露出補正を行うことで画像鮮明化処理をすることが可能なため、撮像装置１１に適切な条件で撮像させることができる。又、この映像表示システムは、上記二通りの鮮明化処理をすることが可能なため、必要に応じてどちらかの鮮明化処理を選択することができる。 In addition, since it is possible to perform luminance averaging processing on the human body image area 5, even if there is an area with a partly protruding luminance, it is affected by the protruding luminance by averaging in the selected area. It is possible to display an image clearly. In addition, since the image sharpening process can be performed by performing exposure correction of the imaging device 11, the imaging device 11 can capture an image under appropriate conditions. Further, since this video display system can perform the above-described two types of sharpening processing, one of the sharpening processing can be selected as necessary.

又、この映像表示システムを本実施形態の如くドアホン機器に利用した場合、住戸人は、撮像された訪問者が周囲光源等により見にくくなる場合においても、訪問者の人体像４が特定され、鮮明化処理により訪問者を際立たせて見やすくすることが可能となるため、より防犯に適したドアホン機器になるものである。 Further, when this video display system is used for a door phone device as in the present embodiment, the inhabitant can identify the visitor's human body image 4 even when the imaged visitor is difficult to see due to the ambient light source, etc. Since it becomes possible to make a visitor stand out and make it easy to see by the conversion process, it becomes a door phone device more suitable for crime prevention.

又、画像分析部２３は選択した領域について輝度ヒストグラムの作成等の演算処理をして露出補正を行うようになしているため、撮像した全領域について演算処理をする場合に比べて画面分析部における処理負荷をさらに軽減することができ、鮮明化処理を高速化することができる。 In addition, since the image analysis unit 23 performs an exposure correction by performing a calculation process such as creation of a luminance histogram for the selected region, the image analysis unit 23 is compared with the case of performing the calculation process for all the captured regions. The processing load can be further reduced, and the sharpening process can be speeded up.

したがって、明るさの変化への追従性が向上するため、特に、外乱光により明るさが変化しやすい環境に撮像装置１１を設置する場合において、有効なシステムになるものである。 Accordingly, since the followability to the change in brightness is improved, the system becomes an effective system particularly in the case where the imaging device 11 is installed in an environment in which the brightness is likely to change due to ambient light.

又、明るさの変化への追従性を従来と同等とする場合においても、追従性を維持しながらも従来用いられた演算装置よりも安価な低速の演算装置を用いることができ、メモリ２２ａを少なくすることもできるため、コストを下げることが可能となる。 Further, even when the followability to the change in brightness is made equal to the conventional one, it is possible to use a low-speed computing device that is less expensive than the conventionally used computing device while maintaining the followability. Since it can be reduced, the cost can be reduced.

本願発明の映像表示システムにおける親機のブロック図である。It is a block diagram of the main | base station in the video display system of this invention. 本願発明の映像表示システムを示す説明図である。It is explanatory drawing which shows the video display system of this invention. 同映像表示システムの動作を示すフロー図である。It is a flowchart which shows operation | movement of the video display system. 従来の通信システムを示すブロック図である。It is a block diagram which shows the conventional communication system.

Explanation of symbols

11 撮像装置
21 表示部
22 映像信号処理部
22a メモリ
23 画像分析部
４人体像 11 Imaging device
21 Display
22 Video signal processor
22a memory
23 Image Analysis Department 4 Human Body Image

Claims

An image display system including an imaging device, a display unit that displays an image captured by the imaging device, and a video signal processing unit that processes the image signal captured by the imaging device and outputs the signal to the display unit An image analysis unit is provided that estimates and detects a human body image display region by image processing for an image displayed on the display unit, and controls image sharpening processing on the detected human body image display region. A video display system characterized by

The latest image recorded in the memory is provided with a memory for recording an image captured by the imaging device during a human absence period in which it is assumed that the human body is not reflected within the imaging field angle range of the imaging device. And a display area of the human body image at the present time is estimated and detected by comparing the current captured image of the human body within the imaging angle of view range Item 2. The video display system according to Item 1.