JP2007243509A - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP2007243509A
JP2007243509A JP2006061995A JP2006061995A JP2007243509A JP 2007243509 A JP2007243509 A JP 2007243509A JP 2006061995 A JP2006061995 A JP 2006061995A JP 2006061995 A JP2006061995 A JP 2006061995A JP 2007243509 A JP2007243509 A JP 2007243509A
Authority
JP
Japan
Prior art keywords
display
image
image processing
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006061995A
Other languages
Japanese (ja)
Inventor
Miho Kobayashi
美保 小林
Chigiri Utsugi
契 宇都木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006061995A priority Critical patent/JP2007243509A/en
Publication of JP2007243509A publication Critical patent/JP2007243509A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system which can display an object to be displayed even if the object overlaps a non-display region in a two-dimensional display. <P>SOLUTION: An image processing device which is connected to a camera photographing a region and a display unit which displays the region, is provided with an object detecting unit which detects a photographed object by the camera; a position measuring unit which measures a three dimensional position coordinate of the object detected by the object detection unit; a non-display determination unit which determines whether non-display processing for the object is carried out or not, based on the three dimensional position coordinate measured by the position measuring unit when the region is displayed in the display unit; and an image processing unit which carries out non-display processing for the object determined to be subjected to the non-display processing by the non-display determination unit. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像処理を行う装置に関する。   The present invention relates to an apparatus that performs image processing.

監視、マーケティング、施設管理、テレビ会議、遠隔教育、福祉など、様々な用途でカメラ画像を表示するシステムが急増している。しかしカメラの設置や運用基準は撮影側のモラルに基づいていることが多く、被撮影者のプライバシ保護が大きな課題となっている。その課題に対して、画像を表示する際、表示すべきでない領域（以下、非表示領域と称する）に対して何らかの非表示処理を行う方法が提案されている。例えば、ユーザが画面に対して特定の領域を、非表示領域として登録し、カメラの監視領域を局所的に遮蔽する技術がある（特許文献１参照）。   Systems that display camera images for various purposes such as surveillance, marketing, facility management, video conferencing, distance learning, and welfare are rapidly increasing. However, camera installation and operation standards are often based on the morality of the photographing side, and privacy protection for the photographed person is a major issue. In order to solve the problem, there has been proposed a method for performing some non-display processing on an area that should not be displayed (hereinafter referred to as a non-display area) when displaying an image. For example, there is a technique in which a user registers a specific area on the screen as a non-display area and locally shields the monitoring area of the camera (see Patent Document 1).

特開２００５−１０９７２４号公報JP-A-2005-109724

特許文献１では、画像に対して２次元的に処理を行うことしか考慮されていない。従って、非表示領域よりもカメラ側に存在する表示すべき領域（以下、表示領域と称する）に存在する物体も、非表示領域と２次元的に重なり、表示されなくなる、という課題がある。そこで、本発明の目的は、２次元的には非表示領域と重なる物体であっても、表示すべき物体については表示することができるシステムを提供することにある。   In Patent Document 1, only two-dimensional processing is considered for images. Therefore, there is a problem that an object existing in an area to be displayed (hereinafter referred to as a display area) that is closer to the camera than the non-display area overlaps the non-display area in a two-dimensional manner and is not displayed. Therefore, an object of the present invention is to provide a system that can display an object to be displayed even if it is an object that overlaps a non-display area in a two-dimensional manner.

上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。   In order to solve the above problems, one of the desirable embodiments of the present invention is as follows.

領域を撮影するカメラと、領域を表示する表示装置に接続される画像処理装置は、カメラにより撮影された物体を検出する物体検出部と、物体検出部により検出された物体の3次元位置座標を測定する位置測定部と、表示装置に領域を表示する際、位置測定部により測定された3次元位置座標に基づいて、物体に対する非表示処理を行うか否かを判定する非表示判定部と、非表示判定部が非表示処理を行うと判定した物体に対して非表示処理を行う画像処理部を備える。   An image processing device connected to a camera that captures an area and a display device that displays the area includes an object detection unit that detects an object captured by the camera, and a three-dimensional position coordinate of the object detected by the object detection unit. A position measurement unit to measure, and a non-display determination unit that determines whether to perform a non-display process on an object based on the three-dimensional position coordinates measured by the position measurement unit when displaying an area on the display device; The non-display determining unit includes an image processing unit that performs non-display processing on an object determined to perform non-display processing.

本発明によれば、２次元的には非表示領域と重なる物体であっても、表示すべき物体については表示することができるシステムを提供することができる。   According to the present invention, it is possible to provide a system that can display an object to be displayed even if it is an object that overlaps a non-display area in two dimensions.

以下に本発明の実施の形態を説明する。   Embodiments of the present invention will be described below.

以下、本発明の実施形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、従来技術の課題を説明するための図である。ここでは、カメラ1の所有者が所有地内を監視するためにカメラ1を設置する場合を想定する（図1(A)）。このカメラ1の撮像範囲内は公共の空間や他者の所有地を含み、所有地以外の場所を非表示領域3、監視を行う所有地を表示領域5とする。非表示領域3については、図1(B)のように監視員の見る表示装置35（図3）の画面11上に表示されないものとしたい。   FIG. 1 is a diagram for explaining the problems of the prior art. Here, it is assumed that the camera 1 is installed by the owner of the camera 1 to monitor the property (FIG. 1 (A)). The imaging range of the camera 1 includes public spaces and other-owners' lands, and a place other than the lands is a non-display area 3 and a land to be monitored is a display area 5. It is assumed that the non-display area 3 is not displayed on the screen 11 of the display device 35 (FIG. 3) viewed by the supervisor as shown in FIG. 1 (B).

しかし、非表示マスク17（横線で表示）を前もって設定し（図1(C)）、これにより非表示とされた画像中の領域に対して非表示処理を行うと、人などの移動体13、15が空間内に存在する場合(図1(D))、図1(E)の画面11のように表示領域5に存在する移動体15も、非表示処理された領域18（縦線で表示）と２次元的には重なるため、非表示になる場合がある。ここで、非表示マスクとは、画像に対する２次元の表示領域と非表示領域を２値画像で示した情報を示す。   However, if the non-display mask 17 (displayed by a horizontal line) is set in advance (FIG. 1 (C)) and the non-display process is performed on the area in the image that is not displayed by this, the mobile object 13 such as a person is displayed. , 15 exists in the space (FIG. 1 (D)), the moving body 15 existing in the display area 5 as shown in the screen 11 of FIG. Display) and two-dimensionally overlap, and may not be displayed. Here, the non-display mask indicates information indicating a two-dimensional display area and a non-display area for an image as a binary image.

図２は、本発明における課題への対策を説明するための図である。   FIG. 2 is a diagram for explaining a countermeasure to the problem in the present invention.

そこで、対象空間に3次元座標9を設定し(図2(A))、物体の３次元位置を測定し、移動体15の領域20(図2(B))、及び非移動体7の領域21(図2(Ｃ))を含まない非表示マスク17(図2(Ｄ))を作成するという処理を各フレームの画像に対して逐次行う。これにより、図2(Ｅ)のように非表示領域3にある物体13を表示せず、表示領域5にある物体7、15を表示することができる。   Therefore, the three-dimensional coordinate 9 is set in the target space (FIG. 2 (A)), the three-dimensional position of the object is measured, the region 20 of the moving body 15 (FIG. 2 (B)), and the region of the non-moving body 7 A process of creating a non-display mask 17 (FIG. 2D) that does not include 21 (FIG. 2C) is sequentially performed on the image of each frame. Thereby, the objects 7 and 15 in the display area 5 can be displayed without displaying the object 13 in the non-display area 3 as shown in FIG.

図3は、画像処理システムの構成図である。   FIG. 3 is a configuration diagram of the image processing system.

本システムは、カメラ1、画像処理装置30、表示装置35、画像記憶装置36、操作端末37、及び位置測定装置38とからなり、これらは、ネットワーク39を介して接続される。尚、画像処理装置30以外の装置は、ネットワーク39を介さず、直接画像処理装置30に接続されてもよい。   This system includes a camera 1, an image processing device 30, a display device 35, an image storage device 36, an operation terminal 37, and a position measurement device 38, which are connected via a network 39. Note that devices other than the image processing device 30 may be directly connected to the image processing device 30 without going through the network 39.

位置測定装置38は、レーザを用いる装置、測量機器を用いる装置など、物体の３次元位置座標を測定できる装置であれば、何でもよい。   The position measuring device 38 may be any device that can measure the three-dimensional position coordinates of an object, such as a device using a laser or a device using a surveying instrument.

画像処理装置30は、記憶装置31、CPU32、メインメモリ33、及び通信処理装置34とからなり、これらは、それぞれ内部バス等により接続される。   The image processing device 30 includes a storage device 31, a CPU 32, a main memory 33, and a communication processing device 34, which are connected by an internal bus or the like.

記憶装置31は、カメラ1が撮影した画像310、キャリブレーション部315により得られたカメラ1の位置や姿勢を示すカメラパラメータ311、３次元座標を用いて指定された非表示領域312、非表示マスク313、位置測定部317により測定された物体（移動体及び非移動体を含む）の３次元の位置座標314、カメラパラメータ311を算出するキャリブレーション部315、画像中の物体が存在する領域を検出する物体検出部316、物体の３次元座標を測定する位置測定部317、閲覧ユーザの属性に応じて非表示処理を行うか否かを判定する非表示判定部318、画像に非表示処理を行う画像処理部319、及びユーザの認証を行う認証部320を格納する。尚、記憶装置31と画像記憶装置36は同一の装置であってもよい。   The storage device 31 includes an image 310 captured by the camera 1, a camera parameter 311 indicating the position and orientation of the camera 1 obtained by the calibration unit 315, a non-display area 312 specified using three-dimensional coordinates, and a non-display mask 313, a three-dimensional position coordinate 314 of an object (including a moving body and a non-moving body) measured by the position measurement unit 317, a calibration unit 315 that calculates a camera parameter 311, and a region where an object is present in an image is detected An object detection unit 316 that performs measurement, a position measurement unit 317 that measures the three-dimensional coordinates of the object, a non-display determination unit 318 that determines whether or not to perform a non-display process according to the attributes of the viewing user, and a non-display process for an image An image processing unit 319 and an authentication unit 320 that performs user authentication are stored. The storage device 31 and the image storage device 36 may be the same device.

CPU32は、315〜320のプログラムをメインメモリ33に読み込み、実行することにより、処理を行う。尚、これらプログラムが有する機能を、ハードウェアにより実現してもよい。又、これらのプログラムは、画像処理装置30に、ＣＤ−ＲＯＭ等の記憶媒体から移してもよいし、ネットワーク経由で他の装置からダウンロードしてもよい。   The CPU 32 performs processing by reading the programs 315 to 320 into the main memory 33 and executing them. Note that the functions of these programs may be realized by hardware. These programs may be transferred to the image processing apparatus 30 from a storage medium such as a CD-ROM, or may be downloaded from another apparatus via a network.

画像処理装置30の出力画像は、通信処理装置34を介して、ネットワーク39上に伝送される。ユーザは、操作端末37で非表示領域の指定や画像の閲覧などを行い、表示装置35で設定画面の確認及び画像の閲覧を行う。処理前の画像と処理後の画像の両方もしくはどちらか一方は、画像記憶装置36に格納される。   The output image of the image processing device 30 is transmitted over the network 39 via the communication processing device 34. The user designates a non-display area or browses an image on the operation terminal 37, and confirms a setting screen and browses an image on the display device 35. The image before and / or after processing is stored in the image storage device.

図4は、画像処理システムの他の構成図である。画像処理装置30に入力される画像は、画像処理装置30に直接接続するカメラ1や、ネットワーク上のネットワークカメラ40、画像記憶装置36に蓄積された画像などのいずれでもよい。画像処理装置30は、複数台のカメラ1やネットワークカメラ40からの入力に対応する。又、表示装置35は、画像処理装置30に接続するもの、画像記憶装置36に接続するもの、ネットワーク38に接続するものなどのいずれでもよい。操作端末37は、表示装置35に接続され、マウスやキーボードなどのインタフェースを備える。   FIG. 4 is another configuration diagram of the image processing system. The image input to the image processing device 30 may be any of the camera 1 directly connected to the image processing device 30, the network camera 40 on the network, the image stored in the image storage device 36, and the like. The image processing apparatus 30 supports input from a plurality of cameras 1 and network cameras 40. The display device 35 may be any one connected to the image processing device 30, one connected to the image storage device 36, or one connected to the network 38. The operation terminal 37 is connected to the display device 35 and includes an interface such as a mouse and a keyboard.

図5は、カメラ設置時の処理を示すフロー図である。尚、以下のフローにおいて、プログラムを主体として説明する場合もあるが、実際には、ＣＰＵが該プログラムを実行することにより処理を行うことはいうまでもない。   FIG. 5 is a flowchart showing processing at the time of camera installation. In the following flow, there is a case where the program is mainly described, but it goes without saying that the CPU actually executes the program by executing the program.

カメラ運用管理者等が、監視を行う場所にカメラ1を設置すると(ステップ51)、キャリブレーション部315は、カメラパラメータ311を取得する(ステップ52)。次に、認証部320は、管理権限ユーザの認証処理を行い(ステップ53)、認証に成功した場合、表示装置35は、画面11に非表示領域の設定画面を表示する(ステップ54)。ユーザが非表示領域を３次元座標により指定すると(ステップ55)、ＣＰＵ32は、記憶装置31に非表示領域312を格納する(ステップ56)。ここで、管理権限ユーザとは、カメラ運用管理者などを指す。   When a camera operation manager or the like installs the camera 1 at a place to be monitored (step 51), the calibration unit 315 acquires the camera parameter 311 (step 52). Next, the authentication unit 320 performs an authentication process for a management authority user (step 53), and when the authentication is successful, the display device 35 displays a non-display area setting screen on the screen 11 (step 54). When the user designates a non-display area using three-dimensional coordinates (step 55), the CPU 32 stores the non-display area 312 in the storage device 31 (step 56). Here, the management authority user refers to a camera operation manager or the like.

次に、位置測定部317は、カメラ1の撮影範囲内の非移動体に対して、３次元位置を測定していないものがあれば(ステップ57)、位置測定装置38を用いて、該非移動体の3次元位置を測定し(ステップ58)、記憶装置31に測定した3次元位置の情報を格納する(ステップ59)。ここで３次元位置とは、物体の重心点、又は物体のｘ軸、ｙ軸それぞれの値が最小値と最大値をとる４点、又はその４点の中心点、又は物体の代表的な頂点の座標等を指す（1つの物体に対して１点以上の座標が対応）。又、３次元位置を測定する方法は、レンズ焦点法、ステレオ法、光レーザ法、アクティブステレオ法、照度差ステレオ法、測量機器による測量、複数のカメラを用いて位置測定を行う方法、その他の任意の距離測定方法を含む。全ての非移動体について位置測定処理が終了した時点で処理を終了する。   Next, if there is an object that has not measured the three-dimensional position with respect to the non-moving body within the photographing range of the camera 1 (step 57), the position measuring unit 317 uses the position measuring device 38 to perform the non-moving operation. The three-dimensional position of the body is measured (step 58), and the measured three-dimensional position information is stored in the storage device 31 (step 59). Here, the three-dimensional position is the center of gravity of the object, or four points where the values of the x-axis and y-axis of the object take the minimum value and the maximum value, or the center point of the four points, or the representative vertex of the object. (The coordinates of one or more points correspond to one object). The three-dimensional position measurement method includes lens focus method, stereo method, optical laser method, active stereo method, photometric stereo method, surveying by surveying instrument, method of measuring position using multiple cameras, Includes any distance measurement method. When the position measurement process is completed for all non-moving objects, the process ends.

カメラ1を新設した場合、あるいは設置位置や撮影方向を変更した場合には、ステップ51から処理を開始する。但し、カメラ1の位置や方向には変更を加えずに非表示領域の変更のみを行う場合には、ステップ53から処理を開始する。   When the camera 1 is newly installed, or when the installation position or shooting direction is changed, the process starts from step 51. However, when only the non-display area is changed without changing the position and direction of the camera 1, the process starts from step 53.

図6は、ユーザの閲覧処理を示すフロー図である。ユーザが、表示装置35に対して、操作端末37を用いて閲覧操作を開始すると、認証部320は、閲覧権限を持つユーザの認証を行う(ステップ600)。認証に成功した場合、ユーザは、カメラ1の現在の画像310に対して閲覧を行うか、画像記憶装置36に記憶された過去の画像に対して閲覧を行うかを選択する(ステップ601)。現在の画像の場合、複数台のカメラが選択可能であれば、ユーザは、閲覧を行うカメラ1を選択する(ステップ602)。過去の画像の場合、記録されている画像の中から閲覧する画像を選択する(ステップ603)。ステップ603で選択された画像について、ＣＰＵ32は、非表示処理された画像が記録されているか否かを判定し(ステップ604)、非表示処理後の画像が記録されている場合、表示装置35は、非表示処理後の画像を順次、画面11に表示する(ステップ617、618)。但し、非表示後の画像が画像記憶装置36に記録されていない場合には、画像内の物体の３次元位置情報が記憶装置31に記録されているものとする。   FIG. 6 is a flowchart showing a user browsing process. When the user starts a browsing operation on the display device 35 using the operation terminal 37, the authentication unit 320 authenticates a user having browsing authority (step 600). If the authentication is successful, the user selects whether to browse the current image 310 of the camera 1 or to browse past images stored in the image storage device 36 (step 601). In the case of the current image, if a plurality of cameras can be selected, the user selects the camera 1 to be viewed (step 602). In the case of a past image, an image to be browsed is selected from the recorded images (step 603). For the image selected in step 603, the CPU 32 determines whether or not a non-display-processed image is recorded (step 604), and when the non-display-processed image is recorded, the display device 35 The images after the non-display process are sequentially displayed on the screen 11 (steps 617 and 618). However, when the non-displayed image is not recorded in the image storage device 36, it is assumed that the three-dimensional position information of the object in the image is recorded in the storage device 31.

ステップ602の後、又は、ステップ604でNOの場合、各フレームの画像に対して逐次非表示処理を行って表示する。まず、ＣＰＵ32は、読み込む画像に対応する非表示領域と非移動体の３次元位置の座標を、メインメモリ33に読み込む(ステップ605)。入力画像が与えられると(ステップ606)、物体検出部316が画像中の移動体を検出する(ステップ607)。位置測定部317は、検出された移動体に対して、３次元位置が未測定のものがあるか否かを調べ(ステップ608)、ある場合、該移動体の３次元位置を測定する(ステップ609)。全ての移動体の３次元位置を測定した後、非表示判定部319は、撮影範囲内に存在する全ての移動体と非移動体のリストを作成し、カメラ1に対して遠い物体から順に並び替え(ステップ610)、遠い物体から順に非表示領域内にあるか否かを判定する(ステップ611、612)。尚、非表示領域3と表示領域5に跨って存在する物体については、表示領域5側に存在すると判定する。   After step 602 or in the case of NO at step 604, the image of each frame is sequentially subjected to non-display processing and displayed. First, the CPU 32 reads the coordinates of the three-dimensional positions of the non-display area and the non-moving body corresponding to the image to be read into the main memory 33 (step 605). When an input image is given (step 606), the object detection unit 316 detects a moving body in the image (step 607). The position measuring unit 317 checks whether or not there is an unmeasured three-dimensional position for the detected moving object (step 608), and if there is, measures the three-dimensional position of the moving object (step 608). 609). After measuring the three-dimensional positions of all moving objects, the non-display determining unit 319 creates a list of all moving objects and non-moving objects existing in the imaging range, and arranges them in order from the object far from the camera 1. In step 610, it is determined whether or not the object is in the non-display area in order from the far object (steps 611 and 612). Note that an object that exists across the non-display area 3 and the display area 5 is determined to exist on the display area 5 side.

画像処理部319は、ステップ611において、物体が非表示領域に存在する場合、画像中の物体の領域を非表示マスク17に追加し(ステップ613)、表示領域5に存在する場合、その物体の領域を非表示マスク17から削除する(ステップ614)。全ての物体に対する判定が終了したら、画像処理部319は、記憶装置31に記憶されている非表示マスク17をメインメモリ33に読み込み、画像に非表示処理を行い(ステップ615)、通信処理装置34からネットワーク39を経由して表示装置35に送信し、表示装置35の画面11を更新する(ステップ616)。ここで、非表示処理とは、指定された領域に対して、単色で塗りつぶす、モザイクをかける、平滑化を行う、他の画像に置き換えるなど、元の画像中に含まれる情報（プライバシを損なう可能性のある情報等）を識別不可能にする処理をいう。ステップ616の後、次の画像がある場合はステップ606に戻り、ない場合は処理を終了する。   In step 611, the image processing unit 319 adds the region of the object in the image to the non-display mask 17 when the object exists in the non-display region (step 613). The area is deleted from the non-display mask 17 (step 614). When the determination for all objects is completed, the image processing unit 319 reads the non-display mask 17 stored in the storage device 31 into the main memory 33, performs the non-display processing on the image (step 615), and the communication processing device 34. To the display device 35 via the network 39 to update the screen 11 of the display device 35 (step 616). Here, the non-display processing is information contained in the original image, such as filling a specified area with a single color, applying a mosaic, smoothing, or replacing with another image (possible to compromise privacy) This refers to the process of making discriminating information or the like unrecognizable. After step 616, if there is a next image, the process returns to step 606, and if not, the process ends.

尚、撮影対象空間において、犯罪や事故などが起こった際には、非表示処理を行わずに表示する必要があるため、管理権限ユーザは非表示処理を行う前の画像も閲覧できる。   It should be noted that when a crime or accident occurs in the shooting target space, it is necessary to display the image without performing the non-display process, so that the management authority user can also browse the image before the non-display process.

図7は、管理権限ユーザが非表示処理前の画像を閲覧するときの処理を示すフロー図である。   FIG. 7 is a flowchart showing a process when the management authority user browses an image before the non-display process.

まず、認証部320は、管理権限ユーザに対する認証処理を行う(ステップ700)。その後、ユーザは、非表示処理を行う前の画像の閲覧を選択する(ステップ701)。ステップ702〜704は、それぞれステップ602〜604と同様である。ステップ704の後、ステップ705（ステップ606と同様）に進み、次の画像がある間は、画像に対して処理を加えずに表示装置35に表示し(ステップ706)、次の画像がなくなったら、処理を終了する。   First, the authentication unit 320 performs an authentication process for a management authority user (step 700). Thereafter, the user selects browsing of the image before the non-display process is performed (step 701). Steps 702 to 704 are the same as steps 602 to 604, respectively. After step 704, the process proceeds to step 705 (same as step 606). While there is a next image, the image is displayed on the display device 35 without being processed (step 706). The process is terminated.

図8と図9は、非表示領域を３次元座標により指定する方法（ステップ605）を説明するための図である。   FIG. 8 and FIG. 9 are diagrams for explaining a method (step 605) of designating a non-display area with three-dimensional coordinates.

非表示領域の３次元座標による指定方法とは、垂直面80を指定してその面よりカメラ1に対して奥側の領域81にある物体を表示しない方法(図8(A))、床面上に２次元領域83を指定してその真上の領域84にある物体を表示しない方法(図8(B))、垂直面上に２次元領域86を指定してその奥の領域87にある物体を表示しない方法(図8(C))、４点以上の頂点88を持つ立体図形89を指定してその内側にある物体を表示しない方法(図8(D))、及びその他の任意の方法を含む。図8(A)の場合、２点の座標を入力してその２点を通る面を、垂直面80として定義する。図8(B)及び(C)のように面上の２次元領域を指定する場合は、床面もしくは垂直面上の３点以上の頂点82、85等の座標を入力して領域83、86を定義する。図8(D)は、4点以上の頂点88の座標を入力して３次元領域89を定義する。   The designation method of the non-display area by the three-dimensional coordinates is a method in which the vertical plane 80 is designated and the object in the area 81 behind the camera 1 is not displayed (FIG. 8 (A)), the floor surface A method in which a two-dimensional region 83 is designated above and an object in the region 84 directly above it is not displayed (FIG. 8B), a two-dimensional region 86 is designated on the vertical plane and the object 87 is in the back region 87 A method of not displaying an object (Fig. 8 (C)), a method of specifying a solid figure 89 having four or more vertices 88 and not displaying an object inside it (Fig. 8 (D)), and any other arbitrary Including methods. In the case of FIG. 8 (A), the coordinates of two points are input and a plane passing through the two points is defined as a vertical plane 80. When specifying a two-dimensional area on the surface as shown in FIGS. 8B and 8C, the coordinates of the vertices 82, 85, etc. of three or more points on the floor surface or the vertical surface are input and the regions 83, 86 are input. Define In FIG. 8D, a three-dimensional area 89 is defined by inputting coordinates of four or more vertices 88.

ここで３次元座標を入力する方法として、撮影空間内に位置検出用のマーカ90を配置し、マーカ90の３次元位置を自動で認識する方法(図9(A))、頂点91、92、93の３次元座標を入力する方法(図9(B))、カメラ画像中の頂点94、95、96の２次元座標及びその点の３次元空間内におけるx軸、ｙ軸、ｚ軸のどれか一つの座標値を入力する方法(図9(C))等がある。   Here, as a method of inputting the three-dimensional coordinates, a marker 90 for position detection is arranged in the photographing space and the three-dimensional position of the marker 90 is automatically recognized (FIG. 9A), vertices 91, 92, A method of inputting 93 three-dimensional coordinates (FIG. 9B), two-dimensional coordinates of vertices 94, 95, and 96 in the camera image, and any of the x-axis, y-axis, and z-axis in the three-dimensional space of the point There is a method of inputting one coordinate value (FIG. 9C).

尚、本実施例では監視に用いる場合について述べたが、他の用途で利用してもよい。   In this embodiment, the case of using for monitoring has been described, but it may be used for other purposes.

従来技術の課題を説明するための図。The figure for demonstrating the subject of a prior art. 本発明における課題への対策を説明するための図。The figure for demonstrating the countermeasure to the subject in this invention. 画像処理システムの構成図。1 is a configuration diagram of an image processing system. 画像処理システムの他の構成図。The other block diagram of an image processing system. カメラ設置時の処理を示すフロー図。The flowchart which shows the process at the time of camera installation. ユーザの閲覧処理を示すフロー図。The flowchart which shows a user's browsing process. 管理権限ユーザが非表示処理前の画像を閲覧するときの処理を示すフロー図。The flowchart which shows a process when a management authority user browses the image before a non-display process. 非表示領域を３次元座標により指定する方法を説明するための図。The figure for demonstrating the method to designate a non-display area | region with a three-dimensional coordinate. 非表示領域を３次元座標により指定する方法を説明するための図。The figure for demonstrating the method to designate a non-display area | region with a three-dimensional coordinate.

符号の説明Explanation of symbols

1・・・カメラ、30・・・画像処理装置、31・・・記憶装置、32・・・CPU、33・・・メインメモリ、34・・・通信処理装置、35・・・表示装置、36・・・画像記憶装置、37・・・操作端末、38・・・位置測定装置。
1 ... Camera, 30 ... Image processing device, 31 ... Storage device, 32 ... CPU, 33 ... Main memory, 34 ... Communication processing device, 35 ... Display device, 36 ... Image storage device, 37 ... Operation terminal, 38 ... Position measuring device.

Claims (7)

領域を撮影するカメラと、前記領域を表示する表示装置に接続される画像処理装置において、
前記カメラにより撮影された物体を検出する物体検出部と、
前記物体検出部により検出された物体の3次元位置座標を測定する位置測定部と、
前記表示装置に前記領域を表示する際、前記位置測定部により測定された3次元位置座標に基づいて、前記物体に対する非表示処理を行うか否かを判定する非表示判定部と、
前記非表示判定部が非表示処理を行うと判定した物体に対して非表示処理を行う画像処理部を備える、画像処理装置。 In an image processing apparatus connected to a camera that captures an area and a display device that displays the area,
An object detection unit for detecting an object photographed by the camera;
A position measuring unit that measures the three-dimensional position coordinates of the object detected by the object detecting unit;
When displaying the area on the display device, based on the three-dimensional position coordinates measured by the position measurement unit, a non-display determination unit that determines whether to perform a non-display process on the object;
An image processing apparatus comprising: an image processing unit that performs a non-display process on an object that the non-display determination unit determines to perform a non-display process. 前記領域のうち、表示すべきでない非表示領域の３次元位置座標を更に備え、
前記非表示判定部は、前記物体が前記非表示領域の３次元位置座標の範囲内に属している場合、前記物体に対して非表示処理を行うと判定する、請求項１記載の画像処理装置。 Among the regions, further comprising three-dimensional position coordinates of a non-display region that should not be displayed,
The image processing apparatus according to claim 1, wherein the non-display determination unit determines to perform a non-display process on the object when the object belongs to a range of three-dimensional position coordinates of the non-display area. . 前記非表示領域は、画像を閲覧するユーザの属性に応じて定められる、請求項２記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the non-display area is determined according to an attribute of a user who browses an image. 前記非表示処理を行う前の第一の画像を格納する、請求項１記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the first image before the non-display process is stored. 前記表示装置は、ユーザの属性に応じて、前記第一の画像又は前記第一の画像に対して非表示処理が施された第二の画像のいずれかを表示する、請求項４記載の画像処理装置。   The image according to claim 4, wherein the display device displays either the first image or a second image obtained by performing a non-display process on the first image according to a user attribute. Processing equipment. 前記画像処理部は、現在の画像又は過去の画像の、いずれか選択された方の画像に非表示処理を行う、請求項１記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image processing unit performs a non-display process on an image selected from either a current image or a past image. 領域を撮影するカメラにより撮影された物体を検出するステップと、
前記検出された物体の3次元位置座標を測定するステップと、
前記測定された3次元位置座標に基づいて、前記物体に対する非表示処理を行うか否かを判定するステップと、
前記非表示判定部が非表示処理を行うと判定した物体に対して非表示処理を行うステップを備える、画像処理方法。
Detecting an object photographed by a camera photographing the region;
Measuring the three-dimensional position coordinates of the detected object;
Determining whether to perform a non-display process on the object based on the measured three-dimensional position coordinates; and
An image processing method comprising a step of performing a non-display process on an object determined by the non-display determination unit to perform a non-display process.
JP2006061995A 2006-03-08 2006-03-08 Image processing device Withdrawn JP2007243509A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006061995A JP2007243509A (en) 2006-03-08 2006-03-08 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006061995A JP2007243509A (en) 2006-03-08 2006-03-08 Image processing device

Publications (1)

Publication Number Publication Date
JP2007243509A true JP2007243509A (en) 2007-09-20

Family

ID=38588608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006061995A Withdrawn JP2007243509A (en) 2006-03-08 2006-03-08 Image processing device

Country Status (1)

Country Link
JP (1) JP2007243509A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124618A (en) * 2007-11-19 2009-06-04 Hitachi Ltd Camera apparatus, and image processing device
JP2010193227A (en) * 2009-02-19 2010-09-02 Hitachi Kokusai Electric Inc Video processing system
EP2248072A1 (en) * 2008-02-01 2010-11-10 Robert Bosch GmbH Masking module for a video monitoring system method for masking selected objects and computer programme
JP2011130271A (en) * 2009-12-18 2011-06-30 Canon Inc Imaging device and video processing apparatus
JP2012054891A (en) * 2010-09-03 2012-03-15 Nec Corp Image processing apparatus, method, and program
JP2014192784A (en) * 2013-03-28 2014-10-06 Secom Co Ltd Monitoring system
JP2017201745A (en) * 2016-05-02 2017-11-09 キヤノン株式会社 Image processing apparatus, image processing method, and program
US20180089972A1 (en) * 2016-09-26 2018-03-29 Mobotix Ag System and method for surveilling a scene comprising an allowed region and a restricted region
JP6748793B1 (en) * 2019-03-22 2020-09-02 Ｓｐｐテクノロジーズ株式会社 Maintenance support system, maintenance support method, program and method of generating processed image
WO2020235320A1 (en) * 2019-05-20 2020-11-26 株式会社Ihi Foreign body detection system and method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124618A (en) * 2007-11-19 2009-06-04 Hitachi Ltd Camera apparatus, and image processing device
US9058523B2 (en) 2008-02-01 2015-06-16 Robert Bosch Gmbh Masking module for a video surveillance system, method for masking selected objects, and computer program
EP2248072A1 (en) * 2008-02-01 2010-11-10 Robert Bosch GmbH Masking module for a video monitoring system method for masking selected objects and computer programme
JP2010193227A (en) * 2009-02-19 2010-09-02 Hitachi Kokusai Electric Inc Video processing system
JP2011130271A (en) * 2009-12-18 2011-06-30 Canon Inc Imaging device and video processing apparatus
JP2012054891A (en) * 2010-09-03 2012-03-15 Nec Corp Image processing apparatus, method, and program
JP2014192784A (en) * 2013-03-28 2014-10-06 Secom Co Ltd Monitoring system
JP2017201745A (en) * 2016-05-02 2017-11-09 キヤノン株式会社 Image processing apparatus, image processing method, and program
US20180089972A1 (en) * 2016-09-26 2018-03-29 Mobotix Ag System and method for surveilling a scene comprising an allowed region and a restricted region
JP6748793B1 (en) * 2019-03-22 2020-09-02 Ｓｐｐテクノロジーズ株式会社 Maintenance support system, maintenance support method, program and method of generating processed image
WO2020235320A1 (en) * 2019-05-20 2020-11-26 株式会社Ihi Foreign body detection system and method
JP2020190437A (en) * 2019-05-20 2020-11-26 株式会社Ihi Foreign body detection system and method
JP7292102B2 (en) 2019-05-20 2023-06-16 Ｉｈｉ運搬機械株式会社 Foreign object detection system and method

Similar Documents

Publication Publication Date Title
JP2007243509A (en) Image processing device
CN110427917B (en) Method and device for detecting key points
KR101871764B1 (en) Industrial infrastructure management platform building system based on virtual reality
US10726262B2 (en) Imaging support system, device and method, and imaging terminal
JP2007129709A (en) Method for calibrating imaging device, method for calibrating imaging system including arrangement of imaging devices, and imaging system
CN109816745A (en) Human body thermodynamic chart methods of exhibiting and Related product
US10755109B2 (en) Monitoring system, monitoring method, and non-transitory computer-readable storage medium
JP6712778B2 (en) Object detection device, object detection system, and object detection method
JP5525495B2 (en) Image monitoring apparatus, image monitoring method and program
JP6126501B2 (en) Camera installation simulator and its computer program
US20160098863A1 (en) Combining a digital image with a virtual entity
JP5183152B2 (en) Image processing device
CN105592301A (en) Image capturing apparatus, method of controlling the same, monitoring camera system
JP2009140402A (en) Information display device, information display method, information display program, and recording medium with recorded information display program
CN112802208B (en) Three-dimensional visualization method and device in terminal building
JP5714960B2 (en) Monitoring range detector
CN109785439A (en) Human face sketch image generating method and Related product
JP7021036B2 (en) Electronic devices and notification methods
CN113108919B (en) Human body temperature detection method, device and storage medium
EP4075789A1 (en) Imaging device, imaging method, and program
JP2019185475A (en) Specification program, specification method, and information processing device
JP2007274655A (en) Monitor video processing device and method therefor
JP5960471B2 (en) Image monitoring device
JP2017028688A (en) Image managing device, image managing method and program
CN112862976B (en) Data processing method and device and electronic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081222

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20100323