JP2020113951A - Information processing device, program, and image recognition marker - Google Patents

Information processing device, program, and image recognition marker Download PDF

Info

Publication number
JP2020113951A
JP2020113951A JP2019005322A JP2019005322A JP2020113951A JP 2020113951 A JP2020113951 A JP 2020113951A JP 2019005322 A JP2019005322 A JP 2019005322A JP 2019005322 A JP2019005322 A JP 2019005322A JP 2020113951 A JP2020113951 A JP 2020113951A
Authority
JP
Japan
Prior art keywords
image
marker
change
markers
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019005322A
Other languages
Japanese (ja)
Other versions
JP7191706B2 (en
Inventor
放 徐
Bang Hsu
放 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2019005322A priority Critical patent/JP7191706B2/en
Publication of JP2020113951A publication Critical patent/JP2020113951A/en
Application granted granted Critical
Publication of JP7191706B2 publication Critical patent/JP7191706B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To provide an information processing device, a program, and an image recognition marker capable of improving the robustness regarding a change in illuminance of a monitoring function regarding a change in posture of an imaging device.SOLUTION: In a monitoring system 1, an information processing device (monitoring device 20) includes a camera posture change measurement unit 203 that measures a change in posture of a camera 10 that captures an imaging range in which a plurality of markers are installed by measuring a time change of the positions of a plurality of markers in an image captured by the camera 10 on the basis of the plurality of captured images having mutually different exposure times, which are acquired at predetermined timings, in the camera 10. A image recognition marker includes a shape portion of an object of image recognition, and a change portion in which the appearance on the captured image changes according to the change in the exposure time of the camera 10.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置等に関する。 The present invention relates to an information processing device and the like.

例えば、工場や倉庫等に設置された撮像装置で取得される画像情報に基づき、工場や倉庫等の内部の物体（例えば、作業者、作業用機器、倉庫内の製品等）を認識しながら、工場や倉庫等の内部を監視するシステムが知られている（例えば、特許文献１参照）。 For example, based on image information acquired by an imaging device installed in a factory or warehouse, while recognizing objects inside the factory or warehouse (for example, workers, working equipment, products in the warehouse, etc.), A system for monitoring the inside of a factory, a warehouse, etc. is known (for example, refer to Patent Document 1).

特開２０１２−１７４２２３号公報JP2012-174223A

ところで、工場や倉庫等の場合、設置環境によっては、例えば、振動等の影響から撮像装置の姿勢が変化する可能性があるため、撮像装置の姿勢変化を監視し、姿勢変化が認識されると、例えば、物体認識に関するパラメータ補正が行われることが望ましい。よって、例えば、工場や倉庫等の内部の壁や柱等の固定部に所定のマーカを予め設置し、撮像装置の画像情報における当該マーカの位置や形状等の変化をモニタリングすることで、撮像装置の姿勢変化が監視される場合がある。 By the way, in the case of factories, warehouses, etc., depending on the installation environment, for example, the posture of the image pickup apparatus may change due to the influence of vibration, etc. For example, it is desirable that parameter correction relating to object recognition be performed. Therefore, for example, by installing a predetermined marker in advance on a fixed part such as a wall or a pillar inside a factory or a warehouse, and monitoring changes in the position or shape of the marker in the image information of the imaging device, the imaging device Posture changes may be monitored.

しかしながら、工場や倉庫等の環境によっては、例えば、窓から入る自然光の時間帯による変化や扉の開閉による扉から入る自然光の変化等により照度環境が大きく変化するため、画像情報からマーカの特徴を適切に認識することができない場合が生じうる。つまり、照度環境の大きな変化によって、撮像装置の姿勢変化の監視精度が低下する可能性がある。よって、撮像装置の姿勢変化に関する監視機能の照度環境の変化に対するロバスト性の向上が期待される。 However, depending on the environment of the factory, warehouse, etc., the illuminance environment may change significantly due to changes in the natural light entering through the windows depending on the time of day, or changes in the natural light entering through the doors, etc. There may be cases where it is not possible to recognize properly. That is, a large change in the illuminance environment may reduce the accuracy of monitoring the posture change of the imaging device. Therefore, it is expected that the monitoring function regarding the posture change of the image pickup apparatus is more robust against the change in the illuminance environment.

そこで、上記課題に鑑み、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することを目的とする。 In view of the above problems, it is an object of the present invention to provide an information processing device and the like that can improve the robustness of the monitoring function regarding the change in the posture of the imaging device regarding the change in illuminance.

上記目的を達成するため、本発明の一実施形態では、
複数のマーカが設置された撮像範囲を撮像する撮像装置の、相互に露光時間の異なる複数の撮像画像から生成される合成画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定部を備える、
情報処理装置が提供される。 In order to achieve the above object, in one embodiment of the present invention,
The time of the position of the plurality of markers in the imaged image of the imaging device, based on the composite image generated from the plurality of imaged images having different exposure times of the imaging device that captures the imaging range in which the plurality of markers are installed. An attitude change measurement unit that measures a change in the attitude of the imaging device by measuring the change is provided.
An information processing device is provided.

本発明の他の実施形態では、
情報処理装置に、
複数のマーカが設置された撮像範囲を撮像する撮像装置の、相互に露光時間の異なる複数の撮像画像から生成される合成画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラムが提供される。 In another embodiment of the invention,
In the information processing device,
The time of the position of the plurality of markers in the imaged image of the imaging device, based on a composite image generated from a plurality of imaged images having different exposure times of the imaging device that captures the imaging range in which the plurality of markers are installed. Performing a posture change measurement step of measuring a change in the posture of the imaging device by measuring the change,
The program is provided.

また、本発明の更に他の実施形態では、
画像認識の対象の形状部と、
撮像装置の露光時間の変化に応じて撮像画像上での見え方が変化する変化部と、を含む、
被画像認識用マーカが提供される。 Further, in still another embodiment of the present invention,
The shape part of the object of image recognition,
And a changing unit whose appearance on the captured image changes according to a change in the exposure time of the imaging device,
An image recognition marker is provided.

上述の実施形態によれば、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することができる。 According to the above-described embodiment, it is possible to provide an information processing device or the like capable of improving the robustness with respect to the illuminance change of the monitoring function regarding the posture change of the imaging device.

一実施形態に係る監視システムの一例の概要を示す図である。It is a figure showing an outline of an example of a surveillance system concerning one embodiment. 一実施形態に係る監視システムのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the monitoring system which concerns on one Embodiment. 一実施形態に係る監視システムの機能構成の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of a functional structure of the monitoring system which concerns on one Embodiment. マーカの第１例（マーカセット）を示す図である。It is a figure which shows the 1st example (marker set) of a marker. マーカの第２例を示す図である。It is a figure which shows the 2nd example of a marker. 監視装置による姿勢変化監視処理の一例を概略的に示すフローチャートである。It is a flow chart which shows roughly an example of posture change monitoring processing by a monitoring instrument. カメラにより取得される、相互に露光時間の異なる撮像画像群（複数の撮像画像）の一例を示す図である。It is a figure which shows an example of the captured image group (a plurality of captured images) from which a mutually different exposure time is acquired by the camera. 監視装置によるマーカ位置測定処理の一例を概略的に示すフローチャートである。It is a flow chart which shows an example of marker position measurement processing by a monitoring instrument roughly. 撮像画像からマーカ領域画像を抽出する過程を示す図である。It is a figure which shows the process of extracting a marker area|region image from a picked-up image. マーカ位置測定用画像の取得方法の第１例を説明する図である。It is a figure explaining the 1st example of the acquisition method of the image for marker position measurement. マーカ位置測定用画像の取得方法の第２例を説明する図である。It is a figure explaining the 2nd example of the acquisition method of the image for marker position measurement. 撮像画像上のマーカ位置の変化の一例を示す図である。It is a figure which shows an example of a change of the marker position on a captured image.

以下、図面を参照して発明を実施するための形態について説明する。 Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.

［監視システムの概要］
まず、図１を参照して、本実施形態に係る監視システム１の概要を説明する。 [Overview of the monitoring system]
First, an outline of the monitoring system 1 according to the present embodiment will be described with reference to FIG.

図１は、本実施形態に係る監視システムの一例（監視システム１）の概要を示す図である。 FIG. 1 is a diagram showing an outline of an example (monitoring system 1) of the monitoring system according to the present embodiment.

図１に示すように、本実施形態に係る監視システム１は、カメラ１０と、監視装置２０を含む。 As shown in FIG. 1, the monitoring system 1 according to the present embodiment includes a camera 10 and a monitoring device 20.

カメラ１０（撮像装置の一例）は、例えば、工場や倉庫等の所定の監視空間１００の天井や壁等の相対的に高い位置等に取り付けられる。カメラ１０は、監視空間１００内の所定の監視対象を監視するための画像を撮像し、カメラ１０の撮像画像に基づき、監視空間１００内の監視対象を監視する機能（以下、「空間監視機能」）を有する所定の外部装置に出力する。監視対象は、例えば、作業者、車両、作業機械（例えば、クレーン、フォークリフト）、出荷待ちの製品等が含まれうる。 The camera 10 (an example of an imaging device) is attached to a relatively high position such as a ceiling or a wall of a predetermined monitoring space 100 such as a factory or a warehouse. The camera 10 has a function of capturing an image for monitoring a predetermined monitoring target in the monitoring space 100 and monitoring the monitoring target in the monitoring space 100 based on the captured image of the camera 10 (hereinafter, “space monitoring function”). ) Is output to a predetermined external device. The monitoring target may include, for example, a worker, a vehicle, a work machine (for example, a crane, a forklift), a product waiting to be shipped, or the like.

また、カメラ１０は、例えば、通信ケーブルを通じて監視装置２０と通信可能に接続され、監視装置２０の制御下で、監視空間１００の様子を撮像し、撮像画像を監視装置２０に出力する。また、カメラ１０は、所定の無線通信（例えば、基地局を末端とする移動体通信網に基づく移動体通信や、ＷｉＦｉ或いはブルートゥース（共に、登録商標）等の近距離通信）によって、監視装置２０と通信可能に接続されてもよい。 Further, the camera 10 is communicatively connected to the monitoring device 20 via a communication cable, for example, and under the control of the monitoring device 20, captures a state of the monitoring space 100 and outputs the captured image to the monitoring device 20. In addition, the camera 10 uses a predetermined wireless communication (for example, mobile communication based on a mobile communication network having a base station as an end, short-range communication such as WiFi or Bluetooth (both are registered trademarks)), and the monitoring device 20. May be communicatively connected to.

監視空間１００において、カメラ１０の撮像範囲には、固定的に複数のマーカ３０が設置される。例えば、複数のマーカ３０は、監視空間１００の壁や柱等の移動しない物体（固定部）に設置される。つまり、カメラ１０の撮像画像には、複数のマーカ３０が含まれる（つまり、映っている）。 In the monitoring space 100, a plurality of markers 30 are fixedly installed in the imaging range of the camera 10. For example, the plurality of markers 30 are installed on an immovable object (fixed part) such as a wall or a pillar of the surveillance space 100. That is, the captured image of the camera 10 includes (i.e., appears in) the plurality of markers 30.

監視装置２０（情報処理装置の一例）は、カメラ１０の撮像画像に含まれる複数のマーカ３０の時間変化をモニタリングすることで、カメラ１０の姿勢変化を監視する。以下、監視装置２０によるカメラ１０の姿勢変化を監視する機能を「カメラ姿勢変化監視機能」と称する場合がある。監視装置２０は、監視空間１００が存在する建物或いは当該建物の周辺の建物に設置されてもよいし、監視空間１００が存在する建物から相対的に遠く離れた遠隔地に設置されてもよい。監視装置２０は、例えば、デスクトップ型或いはラップトップ型のコンピュータ端末である。また、監視装置２０は、例えば、監視空間１００に対応する工場や倉庫等の施設の遠隔に配置されるサーバ装置であってもよい。 The monitoring device 20 (an example of an information processing device) monitors the change in posture of the camera 10 by monitoring the change over time of the plurality of markers 30 included in the image captured by the camera 10. Hereinafter, the function of monitoring the posture change of the camera 10 by the monitoring device 20 may be referred to as a “camera posture change monitoring function”. The monitoring device 20 may be installed in a building in which the monitoring space 100 exists or a building around the building, or may be installed in a remote place relatively far from the building in which the monitoring space 100 exists. The monitoring device 20 is, for example, a desktop or laptop computer terminal. In addition, the monitoring device 20 may be, for example, a server device that is remotely located in a facility such as a factory or a warehouse corresponding to the monitoring space 100.

尚、監視装置２０は、空間監視機能を有していてもよい。つまり、空間監視機能とカメラ姿勢変化監視機能は、異なる装置により実現されてもよいし、共通の装置により実現されてもよい。 The monitoring device 20 may have a space monitoring function. That is, the space monitoring function and the camera attitude change monitoring function may be realized by different devices or may be realized by a common device.

［監視システム（監視装置）の構成］
次に、図１に加えて、図２、図３を参照して、本実施形態に係る監視システム１（監視装置）の構成について説明する。 [Configuration of monitoring system (monitoring device)]
Next, with reference to FIG. 2 and FIG. 3 in addition to FIG. 1, the configuration of the monitoring system 1 (monitoring device) according to the present embodiment will be described.

図２は、監視装置２０のハードウェア構成の一例を示す図である。図３は、監視システム１の機能構成の一例を示す機能ブロック図である。 FIG. 2 is a diagram illustrating an example of the hardware configuration of the monitoring device 20. FIG. 3 is a functional block diagram showing an example of the functional configuration of the monitoring system 1.

監視装置２０の機能は、任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。図２Ｂに示すように、例えば、監視装置２０は、ドライブ装置２１と、補助記憶装置２２と、メモリ装置２３と、ＣＰＵ２４と、インタフェース装置２５と、表示装置２６と、入力装置２７を含み、それぞれがバスＢ２で接続される。 The function of the monitoring device 20 may be realized by arbitrary hardware or a combination of hardware and software. As shown in FIG. 2B, for example, the monitoring device 20 includes a drive device 21, an auxiliary storage device 22, a memory device 23, a CPU 24, an interface device 25, a display device 26, and an input device 27. Are connected by a bus B2.

監視装置２０の各種機能を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、或いは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体２１Ａによって提供される。プログラムが記録された記録媒体２１Ａが、ドライブ装置２１にセットされると、プログラムが記録媒体２１Ａからドライブ装置２１を介して補助記憶装置２２にインストールされる。また、プログラムは、通信ネットワークを介して他のコンピュータからダウンロードされ、補助記憶装置２２にインストールされてもよい。 The program that realizes various functions of the monitoring device 20 is, for example, a portable type such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), or a USB (Universal Serial Bus) memory. Of the recording medium 21A. When the recording medium 21A in which the program is recorded is set in the drive device 21, the program is installed in the auxiliary storage device 22 from the recording medium 21A via the drive device 21. Further, the program may be downloaded from another computer via the communication network and installed in the auxiliary storage device 22.

補助記憶装置２２は、インストールされた各種プログラムを格納すると共に、必要なファイルやデータ等を格納する。 The auxiliary storage device 22 stores various installed programs, and also stores necessary files and data.

メモリ装置２３は、プログラムの起動指示があった場合に、補助記憶装置２２からプログラムを読み出して格納する。 The memory device 23 reads the program from the auxiliary storage device 22 and stores the program when an instruction to activate the program is given.

ＣＰＵ２４は、メモリ装置２３に格納された各種プログラムを実行し、プログラムに従って監視装置２０に係る各種機能を実現する。 The CPU 24 executes various programs stored in the memory device 23 and realizes various functions of the monitoring device 20 according to the programs.

インタフェース装置２５は、通信ネットワーク（例えば、通信ネットワークＮＷ１，ＮＷ２）に接続するためのインタフェースとして用いられる。 The interface device 25 is used as an interface for connecting to a communication network (for example, the communication networks NW1 and NW2).

表示装置２６は、例えば、ＣＰＵ２４で実行されるプログラムに従って、ＧＵＩ（Graphical User Interface）を表示する。 The display device 26 displays a GUI (Graphical User Interface) according to a program executed by the CPU 24, for example.

入力装置２７は、監視装置２０に関する様々な操作指示を監視装置２０の作業者や管理者等に入力させるために用いられる。 The input device 27 is used to input various operation instructions regarding the monitoring device 20 to an operator or a manager of the monitoring device 20.

監視装置２０は、例えば、補助記憶装置２２にインストールされる一以上のプログラムをＣＰＵ２４上で実行することにより実現される機能部として、撮像制御部２０１と、マーカ位置測定部２０２と、カメラ姿勢変化測定部２０３と、エラー検出部２０４を含む。 The monitoring device 20, for example, as a functional unit realized by executing one or more programs installed in the auxiliary storage device 22 on the CPU 24, an imaging control unit 201, a marker position measuring unit 202, and a camera posture change. The measuring unit 203 and the error detecting unit 204 are included.

撮像制御部２０１は、カメラ１０に制御指令を出力し、カメラ１０に撮像画像を取得させる。 The imaging control unit 201 outputs a control command to the camera 10 and causes the camera 10 to acquire a captured image.

マーカ位置測定部２０２は、カメラ１０の撮像画像上における複数のマーカ３０の位置を測定する。具体的には、マーカ位置測定部２０２は、カメラ１０の撮像画像上におけるマーカ３０の所定の代表位置（例えば、形状部の中心位置）を測定する。 The marker position measuring unit 202 measures the positions of the plurality of markers 30 on the captured image of the camera 10. Specifically, the marker position measuring unit 202 measures a predetermined representative position (for example, the center position of the shape part) of the marker 30 on the captured image of the camera 10.

カメラ姿勢変化測定部２０３（姿勢変化測定部の一例）は、マーカ位置測定部２０２により測定される、カメラ１０の撮像画像上における複数のマーカ３０の位置の時間変化に基づき、カメラ１０の姿勢の変化を測定する。 The camera posture change measurement unit 203 (an example of a posture change measurement unit) measures the posture of the camera 10 based on the time change of the positions of the plurality of markers 30 on the captured image of the camera 10 measured by the marker position measurement unit 202. Measure the change.

空間監視機能が監視装置２０により実現される場合、カメラ姿勢変化測定部２０３は、測定結果を空間監視機能に関する構成要素（機能部）に送信する。これにより、空間監視機能に関する構成要素は、測定結果に基づき、カメラ１０の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。 When the space monitoring function is realized by the monitoring device 20, the camera posture change measurement unit 203 transmits the measurement result to the component (functional unit) related to the space monitoring function. As a result, the component relating to the space monitoring function needs to determine whether or not it is necessary to correct the parameter when monitoring the monitoring target based on the image captured by the camera 10 based on the measurement result, or to perform the correction. In some cases, correction can be made.

また、空間監視機能が監視装置２０以外の外部装置により実現される場合、カメラ姿勢変化測定部２０３は、測定結果を当該外部装置に送信する。これにより、外部装置は、測定結果に基づき、カメラ１０の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。 Further, when the space monitoring function is realized by an external device other than the monitoring device 20, the camera posture change measuring unit 203 transmits the measurement result to the external device. Thereby, the external device determines whether or not it is necessary to correct the parameter for monitoring the monitoring target based on the image captured by the camera 10 based on the measurement result, and when the correction is necessary, the correction is performed. You can

エラー検出部２０４は、カメラ姿勢変化測定機能に関する所定のエラー（例えば、カメラ１０の姿勢変化を測定することができない測定不能エラーや、カメラ１０の姿勢変化の測定精度が相対的に低下している測定精度低下エラー等）を検出する。 The error detection unit 204 has a predetermined error related to the camera posture change measurement function (for example, an unmeasurable error in which the posture change of the camera 10 cannot be measured, or the measurement accuracy of the posture change of the camera 10 is relatively low. (Measurement accuracy degradation error, etc.) is detected.

［マーカの具体例］
次に、図４（図４Ａ、図４Ｂ）を参照して、マーカ３０の具体例について説明する。 [Specific examples of markers]
Next, a specific example of the marker 30 will be described with reference to FIG. 4 (FIGS. 4A and 4B).

＜マーカの第１例＞
まず、図４Ａを参照して、マーカ３０の第１例について説明する。 <First example of marker>
First, a first example of the marker 30 will be described with reference to FIG. 4A.

図４Ａは、マーカ３０の第１例を示す図である。 FIG. 4A is a diagram showing a first example of the marker 30.

図４Ａに示すように、マーカ３０は、二つのマーカ３０Ａ，３０Ｂを含む。つまり、マーカ３０は、一組のマーカ３０Ａ，３０Ｂにより構成される。以下、本例のマーカ３０を便宜的に「マーカセット３０」と称する。 As shown in FIG. 4A, the marker 30 includes two markers 30A and 30B. That is, the marker 30 is composed of a pair of markers 30A and 30B. Hereinafter, the marker 30 of this example is referred to as a “marker set 30” for convenience.

マーカ３０Ａは、形状部３０Ａａと、背景部３０Ｂｂを含む。 The marker 30A includes a shape portion 30Aa and a background portion 30Bb.

形状部３０Ａａは、マーカセット３０（マーカ３０Ａ）が被写体としてカメラ１０により撮像される撮像画像における画像認識の対象である。形状部３０Ａａは、例えば、幾何学形状（本例では、４つの正方形の組み合わせ）により構成される。形状部３０Ａａは、被写体としてカメラ１０により撮像される撮像画像上において、背景部３０Ａｂとの間で相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、相対的に濃い色、つまり、明度の低い色（本例では、黒）で構成される。これにより、形状部３０Ａａは、相対的に淡い色、つまり、明度の高い色（本例では、白）の背景部３０Ａｂとのコントラストによって、被写体としてカメラ１０により撮像される撮像画像上で画像認識され易くなる。また、形状部３０Ａａは、反射具合が相対的に低くなるように構成される。例えば、形状部３０Ａａは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、相対的に照度が高い環境下であっても、カメラ１０の撮像画像における形状部３０Ａａのエッジがぼけてしまうような事態を抑制することができる。つまり、マーカ３０Ａは、相対的に照度が高い環境下において、画像認識され易く構成される。 The shape portion 30Aa is a target of image recognition in a captured image captured by the camera 10 with the marker set 30 (marker 30A) as a subject. The shape part 30Aa is configured by, for example, a geometric shape (in this example, a combination of four squares). The shape portion 30Aa is configured such that a relatively large luminance gradient (luminance difference) is generated between the shape portion 30Aa and the background portion 30Ab on the captured image captured by the camera 10 as a subject. In this example, it is composed of a relatively dark color, that is, a color having low lightness (black in this example). As a result, the shape portion 30Aa performs image recognition on the captured image captured by the camera 10 as a subject due to the contrast with the background portion 30Ab of a relatively light color, that is, a color with high lightness (white in this example). It is easy to be done. Further, the shape portion 30Aa is configured so that the reflection degree is relatively low. For example, the shaped portion 30Aa may be formed of a light absorbing material, specifically, a light absorbing paint or the like. As a result, even under an environment where the illuminance is relatively high, it is possible to prevent a situation in which the edge of the shaped portion 30Aa in the image captured by the camera 10 is blurred. That is, the marker 30A is easily configured to be recognized as an image in an environment where the illuminance is relatively high.

尚、形状部３０Ａａとして組み合わせられる正方形等の幾何学形状の数は、カメラ１０
の撮像画像上における画像認識が可能であれば、３つ以下であってもよいし、５つ以上であってもよい。以下、マーカ３０Ｂ及びマーカ３０の第２例の場合についても同様である。 Note that the number of geometric shapes such as squares that can be combined as the shape portion 30Aa is determined by the camera 10
The number of images may be three or less, or may be five or more, as long as image recognition on the captured image is possible. The same applies to the second example of the marker 30B and the marker 30 below.

背景部３０Ａｂは、画像認識の対象である形状部３０Ａａの背景を構成する。背景部３０Ａｂは、被写体としてカメラ１０により撮像される撮像画像上において、形状部３０Ａａとの間に相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、背景部３０Ａｂは、相対的に明度の高い色（本例では、白）で構成される。また、背景部３０Ａｂは、反射具合が相対的に高くなるように構成される。例えば、形状部３０Ａａは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、カメラ１０の撮像画像上において、形状部３０Ａａと背景部３０Ａｂとの境界、つまり、形状部３０Ａａのエッジを明確に見せることができ、形状部３０Ａａが更に画像認識され易くなる。 The background portion 30Ab constitutes the background of the shape portion 30Aa that is the target of image recognition. The background portion 30Ab is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30Ab and the shape portion 30Aa on the captured image captured by the camera 10 as a subject. In this example, the background portion 30Ab is composed of a color having relatively high lightness (white in this example). In addition, the background portion 30Ab is configured so that the degree of reflection is relatively high. For example, the shaped portion 30Aa may be formed of a diffuse reflection material, specifically, a paint having diffuse reflection properties. As a result, the boundary between the shape portion 30Aa and the background portion 30Ab, that is, the edge of the shape portion 30Aa can be clearly seen on the image captured by the camera 10, and the shape portion 30Aa can be more easily recognized as an image.

マーカ３０Ｂは、マーカ３０Ａと同様に、形状部３０Ｂａと、背景部３０Ｂｂを含む。 Like the marker 30A, the marker 30B includes a shape portion 30Ba and a background portion 30Bb.

形状部３０Ｂａは、マーカセット３０（マーカ３０Ｂ）が被写体としてカメラ１０により撮像される撮像画像における画像認識の対象である。形状部３０Ｂａは、マーカ３０Ａの場合と同様、例えば、幾何学形状（本例では、４つの正方形の組み合わせ）により構成される。形状部３０Ｂａは、被写体としてカメラ１０により撮像される撮像画像上において、背景部３０Ｂｂとの間で相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、形状部３０Ｂａは、相対的に明度の高い色（本例では、白）で構成される。これにより、形状部３０Ｂａは、相対的に明度の低い色（本例では、黒）の背景部３０Ｂｂとのコントラストによって、被写体としてカメラ１０により撮像される撮像画像上で画像認識され易くなる。また、形状部３０Ｂａは、反射具合が相対的に高くなるように構成される。例えば、形状部３０Ｂａは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、相対的に照度が低い環境下であっても、カメラ１０の撮像画像における形状部３０Ａａのエッジを際立たせることができる。つまり、マーカ３０Ａは、相対的に照度が低い環境下において、画像認識され易く構成される。 The shape portion 30Ba is a target of image recognition in a captured image captured by the camera 10 with the marker set 30 (marker 30B) as a subject. Similar to the case of the marker 30A, the shape portion 30Ba is configured by, for example, a geometric shape (in this example, a combination of four squares). The shape portion 30Ba is configured such that a relatively large luminance gradient (luminance difference) is generated between the shape portion 30Ba and the background portion 30Bb on the captured image captured by the camera 10 as a subject. In this example, the shaped portion 30Ba is configured with a color having relatively high lightness (white in this example). As a result, the shape portion 30Ba is more likely to be image-recognized on the captured image captured by the camera 10 as the subject due to the contrast with the background portion 30Bb of a color (black in this example) having a relatively low lightness. Moreover, the shape part 30Ba is comprised so that the reflection degree may become relatively high. For example, the shaped portion 30Ba may be formed of a diffuse reflection material, specifically, a paint having diffuse reflection property. As a result, even in an environment where the illuminance is relatively low, the edge of the shaped portion 30Aa in the image captured by the camera 10 can be highlighted. That is, the marker 30A is easily configured to be image-recognized in an environment where the illuminance is relatively low.

背景部３０Ｂｂは、画像認識の対象である形状部３０Ｂａの背景を構成する。背景部３０Ｂｂは、被写体としてカメラ１０により撮像される撮像画像上において、形状部３０Ｂａとの間に相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、背景部３０Ｂｂは、相対的に明度の低い色（本例では、黒）で構成される。また、背景部３０Ｂｂは、反射具合が相対的に低くなるように構成される。例えば、形状部３０Ｂａは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、カメラ１０の撮像画像上において、形状部３０Ｂａと背景部３０Ｂｂとの境界、つまり、形状部３０Ｂａのエッジを明確に見せることができ、形状部３０Ｂａが更に画像認識され易くなる。 The background portion 30Bb constitutes the background of the shape portion 30Ba that is the target of image recognition. The background portion 30Bb is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30Bb and the shape portion 30Ba on the captured image captured by the camera 10 as a subject. In this example, the background portion 30Bb is composed of a color having relatively low lightness (black in this example). In addition, the background portion 30Bb is configured to have a relatively low degree of reflection. For example, the shaped portion 30Ba may be formed of a light absorbing material, specifically, a light absorbing paint or the like. As a result, the boundary between the shape portion 30Ba and the background portion 30Bb, that is, the edge of the shape portion 30Ba can be clearly seen on the captured image of the camera 10, and the shape portion 30Ba can be more easily recognized as an image.

このように、本例では、マーカセット３０は、反射具合の異なる２つのマーカ３０Ａ，３０Ｂにより構成される。つまり、マーカセット３０は、相対的に照度が高い環境下でカメラ１０により撮像される撮像画像で画像認識され易いマーカ３０Ａと、相対的に照度が低い環境下でカメラ１０により撮像される撮像画像で画像認識され易いマーカ３０Ｂにより構成される。これにより、マーカ３０Ａ，３０Ｂを予め規定される相対位置関係で監視空間１００の壁や柱等の固定部に設置されることにより、監視空間１００の照度環境が大きく変化する状況であっても、マーカ３０Ａ，３０Ｂの何れかが画像認識される可能性が高くなる。つまり、マーカ３０Ａ，３０Ｂは、監視装置２０によるマーカ３０Ａ，３０Ｂの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。 Thus, in this example, the marker set 30 is composed of the two markers 30A and 30B having different reflection conditions. That is, the marker set 30 includes a marker 30A that is easily image-recognized by a captured image captured by the camera 10 in an environment where the illuminance is relatively high, and an image captured by the camera 10 in an environment where the illuminance is relatively low. It is composed of a marker 30B that is easily recognized as an image. As a result, even if the illuminance environment of the monitoring space 100 is significantly changed by installing the markers 30A and 30B on a fixed part such as a wall or a pillar of the monitoring space 100 in a predetermined relative positional relationship, It is highly possible that one of the markers 30A and 30B is image-recognized. That is, the markers 30A and 30B can improve the robustness with respect to changes in the illuminance environment of the image recognition processing of the markers 30A and 30B by the monitoring device 20.

尚、マーカセット３０は、相互に反射具合の異なる３以上のマーカを含んでいてもよい。 Note that the marker set 30 may include three or more markers having different reflection degrees.

＜マーカの第２例＞
続いて、図４Ｂを参照して、マーカ３０の第２例について説明する。 <Second example of marker>
Subsequently, a second example of the marker 30 will be described with reference to FIG. 4B.

図４Ｂは、マーカ３０の第２例を示す図である。 FIG. 4B is a diagram showing a second example of the marker 30.

図４Ｂに示すように、マーカ３０は、形状部３０ａと、背景部３０ｂと、変化部３０ｃを含む。 As shown in FIG. 4B, the marker 30 includes a shape portion 30a, a background portion 30b, and a changing portion 30c.

形状部３０ａは、マーカ３０が被写体としてカメラ１０により撮像される撮像画像における画像認識の対象である。形状部３０ａは、例えば、幾何学形状（本例では、４つの正方形の組み合わせ）により構成される。形状部３０ａは、被写体としてカメラ１０により撮像される撮像画像上において、背景部３０ｂとの間で相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、相対的に明度の低い色（本例では、黒）で構成される。これにより、形状部３０ａは、相対的に明度の高い色（本例では、白）の背景部３０ｂとのコントラストによって、被写体としてカメラ１０により撮像される撮像画像上で画像認識され易くなる。 The shape portion 30a is a target of image recognition in a captured image captured by the camera 10 with the marker 30 as a subject. The shape part 30a is configured by, for example, a geometric shape (in this example, a combination of four squares). The shape portion 30a is configured such that a relatively large luminance gradient (luminance difference) is generated between the shape portion 30a and the background portion 30b on the captured image captured by the camera 10 as a subject. In this example, a color having a relatively low lightness (black in this example) is used. As a result, the shape portion 30a is more likely to be image-recognized on the captured image captured by the camera 10 as a subject due to the contrast with the background portion 30b of a color (white in this example) having a relatively high lightness.

背景部３０ｂは、画像認識の対象である形状部３０ａの背景を構成する。背景部３０ｂは、被写体としてカメラ１０により撮像される撮像画像上において、形状部３０ａとの間に相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、背景部３０ｂは、相対的に明度の高い色（本例では、白）で構成される。 The background portion 30b constitutes the background of the shape portion 30a that is the target of image recognition. The background portion 30b is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30b and the shape portion 30a on the captured image captured by the camera 10 as a subject. In this example, the background portion 30b is composed of a color having relatively high lightness (white in this example).

変化部３０ｃは、マーカ３０が被写体としてカメラ１０により撮像される撮像画像において、撮像範囲（監視空間１００）の照度環境やカメラ１０の露光時間等により見え方が変化する構成要素である。本例では、変化部３０ｃは、変化部３０ｃ１，３０ｃ２を含む。 The changing unit 30c is a component whose appearance changes in an imaged image captured by the camera 10 as an object of the marker 30 depending on the illuminance environment of the imaging range (monitoring space 100), the exposure time of the camera 10, and the like. In this example, the changing unit 30c includes changing units 30c1 and 30c2.

変化部３０ｃ１は、マーカ３０の上端部（形状部３０ａの上）に設けられる。変化部３０ｃ１は、形状部３０ａと同じ色（つまり、黒）の背景上に、左から右に架けて背景部３０ｂの色（つまり、白）から形状部３０ａの色（つまり、黒）に変化する線形グラデーションを表すグラデーションバーである。 The changing portion 30c1 is provided on the upper end portion (on the shape portion 30a) of the marker 30. The changing portion 30c1 extends from left to right on the background of the same color as the shape portion 30a (that is, black) and changes from the color of the background portion 30b (that is, white) to the color of the shape portion 30a (that is, black). It is a gradation bar that represents a linear gradation.

変化部３０ｃ２は、マーカ３０の下端部（形状部３０ａの下）に設けられる。変化部３０ｃ２は、背景部３０ｂと同じ色（つまり、白）の背景上に、変化部３０ｃ１と同様、左から右に架けて背景部３０ｂの色（つまり、白）から形状部３０ａの色（つまり、黒）に変化する線形グラデーションを表すグラデーションバーである。 The changing portion 30c2 is provided at the lower end portion of the marker 30 (below the shape portion 30a). Similarly to the changing portion 30c1, the changing portion 30c2 is arranged on the background of the same color as the background portion 30b (that is, white) from the color of the background portion 30b (that is, white) to the color of the shape portion 30a (from left to right). That is, it is a gradation bar that represents a linear gradation that changes to black).

尚、変化部３０ｃ１，３０ｃ２のうちの何れか一方は省略されてもよい。 Either one of the changing units 30c1 and 30c2 may be omitted.

形状部３０ａと背景部３０ｂとの間の線形グラデーションを表すグラデーションバーは、撮像範囲の照度環境やカメラ１０の露光時間によって、カメラ１０の撮像画像上における見え方が変化する。よって、監視装置２０（マーカ位置測定部２０２）は、後述の如く、相互に異なる露光時間の異なる複数の撮像画像ごとに、変化部３０ｃ（グラデーションバー）の見え方が、形状部３０ａの画像認識に適した見え方か否かを判断することができる。 The appearance of the gradation bar representing the linear gradation between the shape part 30a and the background part 30b on the captured image of the camera 10 changes depending on the illuminance environment of the imaging range and the exposure time of the camera 10. Therefore, the monitoring device 20 (marker position measuring unit 202) recognizes the appearance of the changing unit 30c (gradation bar) in the shape unit 30a for each of a plurality of captured images having different exposure times, as described later. It is possible to determine whether or not the appearance is suitable for.

このように、本例では、マーカ３０に、カメラ１０の露光時間の変化に応じて、カメラ１０の撮像画像上における見え方が変化する変化部３０ｃが設けられる。これにより、マーカ３０は、相互に露光時間の異なる複数の撮像画像の中でマーカ３０の画像認識に適した撮像画像を選択させることができる。よって、マーカ３０は、監視装置２０によるマーカ３０Ａ，３０Ｂの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。 As described above, in this example, the marker 30 is provided with the changing portion 30c that changes the appearance on the captured image of the camera 10 according to the change of the exposure time of the camera 10. Accordingly, the marker 30 can select a captured image suitable for image recognition of the marker 30 from a plurality of captured images having mutually different exposure times. Therefore, the marker 30 can improve the robustness with respect to the change of the illuminance environment in the image recognition processing of the markers 30A and 30B by the monitoring device 20.

［カメラの姿勢変化の測定方法の概要］
次に、図５、図６を参照して、カメラ１０の姿勢変化の測定方法の概要を説明する。 [Outline of measurement method of camera posture change]
Next, with reference to FIG. 5 and FIG. 6, the outline of the method for measuring the posture change of the camera 10 will be described.

図５は、監視装置２０によるカメラ１０の姿勢変化を監視する処理（以下、「姿勢変化監視処理」）の一例を概略的に示すフローチャートである。図６は、カメラ１０により取得される、相互に露光時間の異なる撮像画像群（複数の撮像画像）の一例を示す図である。 FIG. 5 is a flowchart schematically showing an example of a process of monitoring the posture change of the camera 10 by the monitoring device 20 (hereinafter, “posture change monitoring process”). FIG. 6 is a diagram showing an example of a captured image group (a plurality of captured images) acquired by the camera 10 and having mutually different exposure times.

図５に示すように、ステップＳ１０２にて、撮像制御部２０１は、カメラ１０に制御指令を出力し、相互に露光時間の異なる複数の撮像画像（例えば、３枚〜５枚の撮像画像）をカメラ１０に撮像させ、ステップＳ１０４に進む。 As shown in FIG. 5, in step S102, the imaging control unit 201 outputs a control command to the camera 10 to capture a plurality of captured images having different exposure times (for example, 3 to 5 captured images). The image is taken by the camera 10, and the process proceeds to step S104.

例えば、図６に示すように、カメラ１０は、相互に露光時間の異なる３枚の撮像画像６１０〜６３０を取得する。これにより、カメラ１０は、マーカ３０の見え方が異なる撮像画像６１０〜６３０を取得できる。 For example, as shown in FIG. 6, the camera 10 acquires three captured images 610 to 630 having mutually different exposure times. As a result, the camera 10 can acquire captured images 610 to 630 in which the appearance of the marker 30 is different.

図５に戻り、ステップＳ１０４にて、マーカ位置測定部２０２は、カメラ１０により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ３０の位置（つまり、初期位置）を測定する処理（マーカ位置測定処理）を行い、ステップＳ１０６に進む。マーカ位置測定処理の詳細は、後述する。 Returning to FIG. 5, in step S104, the marker position measuring unit 202 determines the positions of the plurality of markers 30 in the captured image (that is, the initial position) based on the plurality of captured images captured by the camera 10 and having different exposure times. A process of measuring the position) (marker position measuring process) is performed, and the process proceeds to step S106. Details of the marker position measurement processing will be described later.

ステップＳ１０６にて、マーカ位置測定部２０２は、測定された複数のマーカ３０の位置を初期位置として補助記憶装置２２等に保存し（記憶させ）、ステップＳ１０８に進む。 In step S106, the marker position measuring unit 202 stores (stores) the measured positions of the plurality of markers 30 in the auxiliary storage device 22 or the like as initial positions, and proceeds to step S108.

ステップＳ１０８にて、撮像制御部２０１は、カメラ１０の姿勢変化の測定タイミング（以下、単に「測定タイミング」）が到来したか否かを判定する。測定タイミングは、例えば、毎日或いは所定日ごと等の予め規定された時刻であってよい。撮像制御部２０１は、測定タイミングが到来していない場合、測定タイミングが到来するまで待機し、測定タイミングが到来した場合、ステップＳ１１０に進む。 In step S108, the imaging control unit 201 determines whether or not the measurement timing of posture change of the camera 10 (hereinafter, simply “measurement timing”) has arrived. The measurement timing may be, for example, a predetermined time such as every day or every predetermined day. If the measurement timing has not arrived, the imaging control unit 201 waits until the measurement timing arrives, and if the measurement timing has arrived, the process proceeds to step S110.

ステップＳ１１０にて、撮像制御部２０１は、ステップＳ１０２と同様、カメラ１０に制御指令を出力し、相互に露光時間の異なる複数の撮像画像をカメラ１０に撮像させ（図６参照）、ステップＳ１１２に進む。 In step S110, the imaging control unit 201 outputs a control command to the camera 10 to cause the camera 10 to capture a plurality of captured images having different exposure times, as in step S102 (see FIG. 6), and then in step S112. move on.

ステップＳ１１２にて、マーカ位置測定部２０２は、カメラ１０により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ３０の位置（つまり、現在位置）を測定する処理マーカ位置測定処理を行い、ステップＳ１１４に進む。 In step S112, the marker position measuring unit 202 measures the positions (that is, the current positions) of the plurality of markers 30 in the captured image based on the plurality of captured images captured by the camera 10 and having different exposure times. Processing marker position measurement processing is performed, and the process proceeds to step S114.

ステップＳ１１４にて、カメラ姿勢変化測定部２０３は、ステップ１１２で測定された、撮像画像における複数のマーカ３０の現在位置と、ステップＳ１０２で測定された（ステップＳ１０６で保存された）、撮像画像における複数のマーカ３０の初期位置とに基づき、カメラ１０の姿勢の変化を測定し、ステップＳ１１６に進む。また、カメラ姿勢変化測定部２０３は、本ステップの処理が過去に実施済みである場合、今回のステップＳ１１２で測定された、撮像画像における複数のマーカ３０の現在位置と、前回のステップＳ１１２で測定された、撮像画像における複数のマーカ３０の過去位置とに基づき、カメラ１０の姿勢変化を測定してもよい。 In step S114, the camera posture change measurement unit 203 measures the current positions of the plurality of markers 30 in the captured image measured in step 112 and the measured positions in step S102 (stored in step S106) in the captured image. The change in the posture of the camera 10 is measured based on the initial positions of the plurality of markers 30, and the process proceeds to step S116. In addition, when the process of this step has been performed in the past, the camera posture change measurement unit 203 measures the current positions of the plurality of markers 30 in the captured image measured in step S112 of this time and the previous position in step S112. The posture change of the camera 10 may be measured based on the past positions of the plurality of markers 30 in the captured image.

ステップＳ１１６にて、エラー検出部２０４は、各種エラーを検出したか否かを判定する。エラー検出部１１６は、エラーを検出した場合、ステップＳ１１８に進み、エラーを検出していない場合、ステップＳ１０８に戻る。 In step S116, the error detection unit 204 determines whether or not various errors have been detected. The error detection unit 116 proceeds to step S118 when an error is detected, and returns to step S108 when no error is detected.

ステップＳ１１８にて、エラー検出部２０４は、表示装置２６等を通じて、アラートを出力し、今回の処理を終了する。 In step S118, the error detection unit 204 outputs an alert via the display device 26 and the like, and ends this processing.

このように、監視装置２０は、エラーが検出されない限り、所定の測定タイミングごとに、カメラ１０の姿勢の変化を測定し、カメラ姿勢変化監視機能を実現する。 In this way, the monitoring device 20 measures the change in the posture of the camera 10 at every predetermined measurement timing and realizes the camera posture change monitoring function, unless an error is detected.

［マーカ位置測定処理の詳細］
次に、図７〜図９（図９Ａ、図９Ｂ）を参照して、マーカ位置測定処理（図５のステップＳ１０４，Ｓ１１２）の詳細を説明する。 [Details of marker position measurement processing]
Next, the details of the marker position measurement processing (steps S104 and S112 in FIG. 5) will be described with reference to FIGS. 7 to 9 (FIGS. 9A and 9B).

図７は、監視装置２０によるマーカ位置測定処理の一例を概略的に示すフローチャートである。図８は、カメラ１０の撮像画像からマーカセット３０（マーカ３０Ａ，３０Ｂ）の領域の局所画像（以下、「マーカ領域画像」）を抽出する過程を示す図である。図９Ａ、図９Ｂは、それぞれ、マーカセット３０の位置を測定するための画像（以下、「マーカ位置測定用画像」）取得する方法の第１例及び第２例を説明する図である。 FIG. 7 is a flowchart schematically showing an example of marker position measurement processing by the monitoring device 20. FIG. 8 is a diagram showing a process of extracting a local image (hereinafter, “marker region image”) of a region of the marker set 30 (markers 30A and 30B) from a captured image of the camera 10. 9A and 9B are diagrams illustrating a first example and a second example of a method of acquiring an image (hereinafter, referred to as “marker position measurement image”) for measuring the position of the marker set 30, respectively.

＜マーカ位置測定処理の第１例＞
まず、図７、図８、図９Ａを参照して、マーカ位置測定処理の第１例について説明する。具体的には、上述した図４Ａのマーカセット３０が採用される場合のマーカ位置測定処理について説明する。 <First example of marker position measurement processing>
First, a first example of the marker position measuring process will be described with reference to FIGS. 7, 8 and 9A. Specifically, the marker position measurement processing when the above-described marker set 30 of FIG. 4A is adopted will be described.

図７に示すように、ステップＳ２０２にて、マーカ位置測定部２０２は、相互に露光時間の異なる撮像画像ごとに、複数のマーカセット３０のそれぞれを含むと想定される領域の画像（以下、「マーカ大域画像」）を抽出する。例えば、マーカ位置測定部２０２は、複数のマーカセット３０ごとに予め規定される撮像画像の座標範囲に沿って、マーカ大域画像を抽出する（つまり、切り出す）。複数のマーカセット３０の設置場所が既知であるため、撮像画像上の複数のマーカセット３０が含まれる大雑把な位置を規定することができるからである。これにより、複数のマーカセット３０ごとに、相互に露光時間の異なる複数のマーカ大域画像が取得される。 As shown in FIG. 7, in step S202, the marker position measuring unit 202, for each captured image having a different exposure time, an image of a region assumed to include each of the plurality of marker sets 30 (hereinafter, “ Marker global image”). For example, the marker position measurement unit 202 extracts (that is, cuts out) the marker global image along the coordinate range of the captured image defined in advance for each of the plurality of marker sets 30. This is because the installation locations of the plurality of marker sets 30 are known, and thus rough positions including the plurality of marker sets 30 on the captured image can be defined. As a result, a plurality of marker global images having mutually different exposure times are acquired for each of the plurality of marker sets 30.

ステップＳ２０４にて、マーカ位置測定部２０２は、複数のマーカセット３０ごとに、形状計測等の既知の方法によって、マーカ大域画像からマーカセット３０が略占有する領域の画像（以下、「マーカ領域画像」）を抽出する。このとき、マーカ位置測定部２０２は、相互に露光時間の異なる複数の画像のそれぞれについて、形状計測等の方法を実施する必要はない。具体的には、マーカ位置測定部２０２は、マーカ領域画像の抽出に適した一の撮像画像で形状計測等によりマーカ領域画像を抽出し、他の撮像画像については、同じ座標範囲をマーカ領域画像として抽出すればよい。これにより、複数のマーカセットごとに、相互に露光時間の異なる複数のマーカ領域画像が取得される。 In step S204, the marker position measuring unit 202 uses, for each of the plurality of marker sets 30, an image of a region substantially occupied by the marker set 30 from the marker global image (hereinafter, referred to as “marker region image”) by a known method such as shape measurement. )) is extracted. At this time, the marker position measurement unit 202 does not need to perform a method such as shape measurement on each of the plurality of images having different exposure times. Specifically, the marker position measuring unit 202 extracts a marker region image by shape measurement or the like from one captured image suitable for extracting the marker region image, and for the other captured images, sets the same coordinate range as the marker region image. Should be extracted as As a result, a plurality of marker region images having mutually different exposure times are acquired for each of the plurality of marker sets.

例えば、図８に示すように、マーカ位置測定部２０２は、撮像画像８１０から予め規定された座標範囲８１１を切り出すことにより、マーカ大域画像８２０を抽出する（ステップＳ２０２）。そして、マーカ位置測定部２０２は、形状計測等の方法を適用し、マーカ３０（マーカセット３０）が略占有する領域８２１を切り出し、マーカ領域画像８３０を抽出する（ステップＳ２０４）。 For example, as shown in FIG. 8, the marker position measuring unit 202 extracts a marker global image 820 by cutting out a predetermined coordinate range 811 from the captured image 810 (step S202). Then, the marker position measuring unit 202 applies a method such as shape measurement, cuts out an area 821 that is substantially occupied by the marker 30 (marker set 30), and extracts a marker area image 830 (step S204).

図７に戻り、ステップＳ２０６にて、マーカ位置測定部２０２は、複数のマーカ３０Ａ及び複数のマーカ３０Ｂごとに、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ３０の位置の測定に最も適したマーカ領域画像（マーカ位置測定用画像）を取得する。具体的には、マーカ位置測定部２０２は、相互に露光時間の異なる複数のマーカ領域画像ごとに、マーカ３０Ａ，３０Ｂの輝度に関する統計情報や形状情報等に基づき、マーカ３０Ａ，３０Ｂの撮像画像上における認識し易さを判断するための特徴量を取得し、取得した特徴量に基づき、マーカ位置測定用画像を取得する。 Returning to FIG. 7, in step S206, the marker position measurement unit 202 measures the position of the marker 30 from the plurality of marker region images having mutually different exposure times for each of the plurality of markers 30A and the plurality of markers 30B. The most suitable marker region image (marker position measurement image) is acquired. Specifically, the marker position measuring unit 202, on the basis of the statistical information and shape information regarding the brightness of the markers 30A and 30B, for each of the plurality of marker region images having different exposure times, the marker position measuring unit 202 displays the images on the images of the markers 30A and 30B. The feature amount for determining the easiness of recognition is acquired, and the marker position measurement image is acquired based on the acquired feature amount.

例えば、図９Ａに示すように、マーカ位置測定部２０２は、マーカ３０Ａの相互に露光時間の異なるマーカ領域画像９１０，９２０，９３０が取得された場合に、それぞれに対応する画像ヒストグラム（輝度ヒストグラム）９１５，９２５，９３５を算出する。そして、マーカ位置測定部２０２は、画像ヒストグラム９１５，９２５，９３５に基づき、マーカ位置測定用画像を取得する。例えば、マーカ位置測定部２０２は、ヒストグラムの輝度に対応するｘ座標と、ピクセル数に対応するｙ座標との積の和が最小になるヒストグラムに対応するマーカ領域画像をマーカ位置測定用画像として取得してよい。 For example, as shown in FIG. 9A, the marker position measuring unit 202, when the marker region images 910, 920, and 930 of the markers 30A having different exposure times are acquired, an image histogram (luminance histogram) corresponding to each of them. 915, 925, 935 are calculated. Then, the marker position measurement unit 202 acquires the marker position measurement image based on the image histograms 915, 925, 935. For example, the marker position measurement unit 202 acquires, as the marker position measurement image, a marker region image corresponding to the histogram that minimizes the sum of the products of the x coordinate corresponding to the brightness of the histogram and the y coordinate corresponding to the number of pixels. You can do it.

図７に戻り、ステップＳ２０８にて、マーカ位置測定部２０２は、複数のマーカ３０Ａ及び複数のマーカ３０Ｂごとに、取得されたマーカ位置測定用画像に基づき、マーカ３０Ａ，３０Ｂの位置を測定する。例えば、マーカ位置測定部２０２は、マーカ位置測定用画像と、補助記憶装置２２等に予め準備されるマーカ３０Ａ，３０Ｂの形状を表すデジタルデータ（例えば、ＣＡＤ（Computer Aided Design）データ）とのパターンマッチングによって、カメラ１０の撮像画像（マーカ位置測定用画像）におけるマーカ３０Ａ，３０Ｂの形状部３０Ａａ，３０Ｂａの中心位置を測定してよい。これにより、マーカ位置測定部２０２は、より精度良く、マーカ３０Ａ，３０Ｂの位置（形状部３０Ａａ，３０Ｂａの中心位置）を測定することができる。 Returning to FIG. 7, in step S208, the marker position measurement unit 202 measures the positions of the markers 30A and 30B based on the acquired marker position measurement image for each of the plurality of markers 30A and the plurality of markers 30B. For example, the marker position measurement unit 202 has a pattern of a marker position measurement image and digital data (for example, CAD (Computer Aided Design) data) representing the shapes of the markers 30A and 30B prepared in advance in the auxiliary storage device 22 or the like. The center position of the shaped portions 30Aa and 30Ba of the markers 30A and 30B in the image captured by the camera 10 (marker position measurement image) may be measured by matching. Thereby, the marker position measuring unit 202 can measure the positions of the markers 30A and 30B (center positions of the shape portions 30Aa and 30Ba) with higher accuracy.

尚、上述の図４Ａのマーカセット３０が用いられる場合、標準的な露光時間で取得された一枚の撮像画像に基づき、マーカ大域画像、マーカ領域画像（マーカ位置測定用画像）が取得されてもよい。マーカセット３０には、相互に画像認識がされ易い照度環境が異なる複数のマーカが含まれるため、撮像画像が取得されるタイミングによって、照度環境が大きく変化し得る状況であっても、マーカ位置測定部２０２は、マーカセット３０に含まれる複数のマーカの何れかを適切に認識できる可能性が高く、結果として、マーカセット３０の位置を認識することができるからである。 When the above-described marker set 30 of FIG. 4A is used, a marker global image and a marker region image (marker position measurement image) are acquired based on one captured image acquired with a standard exposure time. Good. Since the marker set 30 includes a plurality of markers having different illuminance environments that are easily image-recognizable to each other, the marker position measurement can be performed even in a situation where the illuminance environment can greatly change depending on the timing at which a captured image is acquired. This is because the unit 202 is highly likely to be able to properly recognize any of the plurality of markers included in the marker set 30, and as a result, can recognize the position of the marker set 30.

＜マーカ位置測定処理の第２例＞
続いて、図７、図８、図９Ｂを参照して、マーカ位置測定処理の第２例について説明する。 <Second example of marker position measurement processing>
Subsequently, a second example of the marker position measuring process will be described with reference to FIGS. 7, 8 and 9B.

図７のステップＳ２０２、Ｓ２０４の処理は、上述の第１例の場合と同様であるため、説明を省略する。 The processes of steps S202 and S204 in FIG. 7 are the same as those in the case of the above-described first example, and thus the description thereof will be omitted.

ステップＳ２０６にて、マーカ位置測定部２０２は、複数のマーカ３０ごとに、相互に露光時間の異なる複数のマーカ領域画像から、マーカ位置測定用としての合成画像を取得（生成）する。 In step S206, the marker position measuring unit 202 acquires (generates) a composite image for marker position measurement from a plurality of marker region images having mutually different exposure times for each of the plurality of markers 30.

例えば、図９Ｂに示すように、マーカ位置測定部２０２は、相互に露光時間が異なるマーカ領域画像９４０，９５０，９６０が取得された場合に、マーカ領域画像９４０，９５０，９６０からＨＤＲ（High Dynamic Range）画像９７０を取得する。これにより、マーカ位置測定部２０２は、マーカ３０の特徴を際立たせることができるため、監視空間１００の照度環境が相対的に大きく変化する状況であっても、マーカ３０の形状部３０ａ等を相対的に認識し易くなり、マーカ３０の位置測定精度を向上させることができる。 For example, as shown in FIG. 9B, when the marker region images 940, 950, and 960 have mutually different exposure times, the marker position measurement unit 202 acquires HDR (High Dynamic) from the marker region images 940, 950, and 960. Range) image 970 is acquired. As a result, the marker position measuring unit 202 can make the features of the marker 30 stand out. Therefore, even in a situation where the illuminance environment of the monitoring space 100 changes relatively greatly, the marker position measuring unit 202 moves the shape unit 30a of the marker 30 relative to each other. It becomes easier to recognize the position, and the accuracy of the position measurement of the marker 30 can be improved.

マーカ位置測定部２０２は、相互に露光時間の異なる全てのマーカ領域画像から合成画像を生成してもよいし、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ３０の画像認識に適した、つまり、マーカ３０が相対的に画像認識され易い態様で含まれている二以上のマーカ領域画像を抽出し、合成画像を生成してもよい。後者の場合、マーカ位置測定部２０２は、マーカ３０の変化部３０ｃのマーカ領域画像上における見え方に基づき、マーカ３０の画像認識に適したマーカ領域画像を抽出する。具体的には、マーカ位置測定部２０２は、マーカ領域画像上の変化部３０ｃと、画像認識に適した変化部３０ｃの見え方に対応する基準画像データとの比較により、マーカ３０の画像認識に適したマーカ領域画像を抽出してよい。 The marker position measuring unit 202 may generate a composite image from all marker region images having mutually different exposure times, or may perform image recognition of the marker 30 from a plurality of marker region images having mutually different exposure times. It is also possible to extract two or more marker region images that are suitable, that is, in which the marker 30 is included in a manner in which image recognition is relatively easy, and generate a composite image. In the latter case, the marker position measuring unit 202 extracts a marker region image suitable for image recognition of the marker 30 based on the appearance of the changing unit 30c of the marker 30 on the marker region image. Specifically, the marker position measuring unit 202 compares the changing portion 30c on the marker area image with the reference image data corresponding to the appearance of the changing portion 30c suitable for image recognition to recognize the marker 30. A suitable marker area image may be extracted.

図７に戻り、ステップＳ２０８の処理は、上述の第１例の場合と同様であるため、説明を省略する。 Returning to FIG. 7, the process of step S208 is the same as in the case of the above-described first example, and thus the description thereof is omitted.

尚、上述の図４Ｂのマーカ３０が用いられる場合、マーカ位置測定部２０２は、ＨＤＲ画像を生成してもよい。つまり、マーカ位置測定部２０２は、相互に露光時間の異なる複数のマーカ領域画像の中から選択される、マーカ３０の画像認識（つまり、位置の測定）に最も適した撮像画像をそのまま用いて、マーカ３０の位置を測定してもよい。 When the marker 30 of FIG. 4B described above is used, the marker position measuring unit 202 may generate an HDR image. That is, the marker position measuring unit 202 uses the picked-up image most suitable for the image recognition (that is, the position measurement) of the marker 30, which is selected from the plurality of marker region images having mutually different exposure times, as it is, The position of the marker 30 may be measured.

［カメラ姿勢変化測定処理の詳細］
次に、図１０を参照して、カメラ姿勢変化測定処理（図５のステップＳ１１４）の詳細を説明する。以下、本説明では、図４Ａのマーカセット３０及び図４Ｂのマーカを総括的にマーカ３０と称し、説明を進める。 [Details of camera posture change measurement processing]
Next, details of the camera attitude change measurement process (step S114 in FIG. 5) will be described with reference to FIG. Hereinafter, in the present description, the marker set 30 of FIG. 4A and the markers of FIG. 4B are collectively referred to as the marker 30, and the description will proceed.

図１０は、撮像画像上のマーカ３０の位置の変化の一例を示す図である。 FIG. 10 is a diagram showing an example of changes in the position of the marker 30 on the captured image.

カメラ姿勢変化測定部２０３は、複数のマーカ３０のうちの二つのマーカ３０（以下、対象マーカ）の現在位置及び過去の位置（例えば、図５のステップＳ１０４で取得される初期位置或いは前回のステップＳ１１２で取得されたマーカ３０の位置）に基づき、カメラ１０の姿勢の変化を測定する。具体的には、カメラ姿勢変化測定部２０３は、カメラ１０の上下方向の変位（以下、「ｘ変位」）ｄｘ、左右方向の変位（以下、「ｙ変位」）ｄｙ、ロール方向の回転変位（以下、「ロール変位」）ｒ、ヨー方向の回転変位（以下、「ヨー変位」）ｙａｗ、及びピッチング方向の回転変位（以下、「ピッチ変位」）ｐｉｔｃｈを測定する。 The camera posture change measurement unit 203 determines the current position and the past position of two markers 30 (hereinafter, target markers) of the plurality of markers 30 (for example, the initial position or the previous step acquired in step S104 of FIG. 5). The change in the posture of the camera 10 is measured based on the position of the marker 30 acquired in S112). Specifically, the camera posture change measuring unit 203 causes the vertical displacement (hereinafter, “x displacement”) dx of the camera 10, the horizontal displacement (hereinafter, “y displacement”) dy, and the rotational displacement in the roll direction ( Hereinafter, “roll displacement”) r, rotational displacement in the yaw direction (hereinafter, “yaw displacement”) yaw, and rotational displacement in the pitching direction (hereinafter, “pitch displacement”) pitch are measured.

例えば、図１０に示すように、カメラ１０の撮像画像１０００におけて、左上のマーカ３０が（ｘ０，ｙ０）の画素座標から（Ｘ０，Ｙ０）の画素座標に（左下方向に）変位し、右下のマーカ３０が画素座標（ｘ１，ｙ１）から（Ｘ１，Ｙ１）の画素座標に（右下方向に）変位している場合、カメラ１０のロール変位ｒ、ｘ変位ｄｘ、ｙ変位ｄｙ、ヨー変位ｙａｗ、及びピッチ変位ｐｉｔｃｈは、次の式（１）〜（５）で表される。 For example, as shown in FIG. 10, in the captured image 1000 of the camera 10, the marker 30 at the upper left is changed from the pixel coordinate of (x 0 , y 0 ) to the pixel coordinate of (X 0 , Y 0 ) (in the lower left direction. ), when the marker 30 at the lower right is displaced from the pixel coordinates (x 1 , y 1 ) to the pixel coordinates (X 1 , Y 1 ) (in the lower right direction), the roll displacement r of the camera 10 is The x displacement dx, the y displacement dy, the yaw displacement yaw, and the pitch displacement pitch are expressed by the following equations (1) to (5).

尚、式（４）のｐｘ及び式（５）のｐｙは、それぞれ、カメラ１０の撮像画像の上下方向（縦方向）及び左右方向（横方向）のそれぞれの画素サイズを表す。また、式（４）、（５）のｆは、カメラ１０のレンズ焦点距離を表す。また、式（１）〜（３）のｍは、以下の式（６）で表される。 Incidentally, p y of formula (4) p x and the formula (5), respectively, represent respective pixel size in the vertical direction of the image captured by the camera 10 (the longitudinal direction) and lateral direction (lateral direction). Further, f in the expressions (4) and (5) represents the lens focal length of the camera 10. Further, m in the expressions (1) to (3) is represented by the following expression (6).

また、カメラ姿勢変化測定部２０３は、マーカ３０が３以上設置される場合、二つの対象マーカの組み合わせを複数設定し、各組み合わせごとに、カメラ１０の姿勢の変化を測定してもよい。この場合、カメラ姿勢変化測定部２０３は、各組合わせごとの測定結果に統計的処理（例えば、クラスタリング処理、平均値の算出処理、中央値の算出処理等）を施すことで、カメラ１０の姿勢の変化を算出してよい。 In addition, when three or more markers 30 are installed, the camera posture change measurement unit 203 may set a plurality of combinations of two target markers and measure the change in the posture of the camera 10 for each combination. In this case, the camera posture change measurement unit 203 performs statistical processing (for example, clustering processing, average value calculation processing, median value calculation processing, etc.) on the measurement result for each combination, so that the posture of the camera 10 changes. May be calculated.

［本実施形態の作用］
次に、本実施形態に係る監視システム１（監視装置２０）及びマーカ（マーカセット）３０の作用について説明する。 [Operation of this embodiment]
Next, the operation of the monitoring system 1 (monitoring device 20) and the marker (marker set) 30 according to the present embodiment will be described.

本実施形態では、カメラ姿勢変化測定部２０３は、相互に異なる照度環境で相対的に画像認識され易い複数のマーカ（マーカ３０Ａ，３０Ｂ）を含むマーカセット３０が固定的に複数設置された撮像範囲を撮像するカメラ１０の撮像画像に基づき、カメラ１０の撮像画像における複数のマーカセット３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。 In the present embodiment, the camera posture change measurement unit 203 has an imaging range in which a plurality of fixed marker sets 30 including a plurality of markers (markers 30A and 30B) that are relatively easily image-recognized in mutually different illuminance environments are fixedly installed. The change in the posture of the camera 10 may be measured by measuring the time change of the positions of the plurality of marker sets 30 in the image captured by the camera 10 based on the image captured by the camera 10 capturing the image.

これにより、監視装置２０は、複数のマーカセット３０ごとに、マーカセット３０に含まれる複数のマーカの中から撮像画像が取得されたときの撮像範囲の照度環境における画像認識に適したマーカを選択することができる。そのため、監視装置２０は、撮像画像の取得タイミングごとに、撮像範囲の照度環境が相対的に大きく変化してしまうような状況であっても、複数のマーカの何れかを認識し、複数のマーカセット３０の位置の時間変化により、カメラ１０の姿勢変化を測定することができる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に関するロバスト性を向上させることができる。 Thereby, the monitoring device 20 selects, for each of the plurality of marker sets 30, a marker suitable for image recognition in the illuminance environment of the imaging range when the captured image is acquired from the plurality of markers included in the marker set 30. can do. Therefore, the monitoring device 20 recognizes any of the plurality of markers and recognizes the plurality of markers even in a situation in which the illuminance environment of the imaging range changes relatively greatly at each acquisition timing of the captured image. The change in the posture of the camera 10 can be measured by the change in the position of the set 30 with time. Therefore, the monitoring device 20 can improve the robustness of the camera posture change monitoring function with respect to the illuminance change.

また、本実施形態では、カメラ姿勢変化測定部２０３は、空間監視機能のためのカメラ１０の撮像画像と露光時間の異なる、カメラ１０の撮像画像に基づき、複数のマーカセット３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。 Further, in the present embodiment, the camera posture change measuring unit 203 changes the positions of the plurality of marker sets 30 with time based on the imaged image of the camera 10 whose exposure time is different from the imaged image of the camera 10 for the space monitoring function. The change in the posture of the camera 10 may be measured by measuring

これにより、監視装置２０は、カメラ姿勢変化監視機能における複数のマーカセット３０の画像認識に適した露光時間の撮像画像を用いて、カメラ１０の姿勢の変化を測定することできる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Accordingly, the monitoring device 20 can measure the change in the posture of the camera 10 by using the captured image of the exposure time suitable for the image recognition of the plurality of marker sets 30 in the camera posture change monitoring function. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change monitoring function against changes in illuminance.

また、本実施形態では、カメラ姿勢変化測定部２０３は、カメラ１０により所定のタイミングごとに取得される、相互に露光時間が異なる複数の撮像画像に基づき、カメラ１０の撮像画像における複数のマーカセット３０の位置の時間変化を測定してよい。 Further, in the present embodiment, the camera posture change measurement unit 203 uses the plurality of marker sets in the captured image of the camera 10 based on the plurality of captured images that are acquired by the camera 10 at predetermined timings and have mutually different exposure times. The time variation of the 30 positions may be measured.

これにより、監視装置２０は、相互に露光時間の異なる撮像画像の中から選択される、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット３０の画像認識に適した撮像画像を用いて、カメラ１０の姿勢の変化を測定することができる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Thereby, the monitoring device 20 uses the picked-up image suitable for the image recognition of the marker set 30 in the illuminance environment of the picked-up image at the timing of picking up the picked-up image, which is selected from the picked-up images having different exposure times. Thus, the change in the posture of the camera 10 can be measured. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change monitoring function against changes in illuminance.

また、本実施形態では、マーカ位置測定部２０２は、カメラ１０の撮像画像において、マーカセット３０に含まれる複数のマーカ（マーカ３０Ａ，３０Ｂ）のうちの相対的に画像認識され易い一又は二以上のマーカの位置に基づき、マーカセットの位置を測定してよい。 Further, in the present embodiment, the marker position measuring unit 202 is one or more of the plurality of markers (markers 30A and 30B) included in the marker set 30 that are relatively easily image-recognized in the captured image of the camera 10. The position of the marker set may be measured based on the position of the marker.

これにより、監視装置２０は、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット３０の画像認識に適した撮像画像を用いて、カメラ１０の姿勢の変化を測定することができる。 As a result, the monitoring device 20 specifically measures the change in the posture of the camera 10 using the captured image suitable for image recognition of the marker set 30 in the illuminance environment in the imaging range at the timing when the captured image is acquired. be able to.

また、本実施形態では、マーカ位置測定部２０２は、カメラ１０の撮像画像において、マーカセット３０に含まれる複数のマーカ（マーカ３０Ａ，３０Ｂ）のそれぞれに対応する画像部分のヒストグラムに基づき、相対的に画像認識され易い一又は二以上のマーカを抽出する。そして、マーカ位置測定部２０２は、カメラ１０の撮像画像において、マーカセット３０に含まれる複数のマーカから抽出した一又は二以上のマーカの位置に基づき、マーカセットの位置を測定する。 In addition, in the present embodiment, the marker position measuring unit 202 performs relative measurement based on the histogram of the image portion corresponding to each of the plurality of markers (markers 30A and 30B) included in the marker set 30 in the image captured by the camera 10. One or more markers that are easily recognized by the image are extracted. Then, the marker position measurement unit 202 measures the position of the marker set based on the positions of one or more markers extracted from the plurality of markers included in the marker set 30 in the captured image of the camera 10.

これにより、監視装置２０は、相互に露光時間が異なる複数の撮像画像の中から、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット３０の画像認識に適した撮像画像を抽出することができる。 Accordingly, the monitoring device 20 specifically picks up an image suitable for image recognition of the marker set 30 in the illuminance environment of the image pickup range at the timing when the picked-up image is acquired from the plurality of picked-up images having mutually different exposure times. Images can be extracted.

また、本実施形態では、マーカセット３０は、相互に反射具合の異なる複数のマーカ（マーカ３０Ａ，３０Ｂ）を含む。 Further, in this embodiment, the marker set 30 includes a plurality of markers (markers 30A and 30B) having mutually different reflection conditions.

これにより、マーカセット３０は、被写体としてカメラ１０により撮像された撮像画像内において、設置場所における照度環境の変化に合わせて、画像認識がされ易いマーカを変化させることができる。そのため、マーカセット３０は、設置場所の照度環境が相対的に大きく変化する状況であっても、被写体としてカメラ１０により撮像された撮像画像内において、画像認識され易くなる。よって、マーカセット３０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Accordingly, the marker set 30 can change the marker that is easily recognized in the image, in the captured image captured by the camera 10 as the subject, in accordance with the change in the illuminance environment at the installation location. Therefore, the marker set 30 is easily recognized in the captured image captured by the camera 10 as a subject even in a situation where the illuminance environment of the installation location changes relatively greatly. Therefore, the marker set 30 can further improve the robustness of the camera posture change monitoring function against illuminance changes.

また、本実施形態では、マーカセット３０に含まれる複数のマーカのうちの二つのマーカ（マーカ３０Ａ，３０Ｂ）は、互いに、画像認識の対象の形状部及び形状部の背景を構成する背景部の色が反転している。 In addition, in the present embodiment, two markers (markers 30A and 30B) of the plurality of markers included in the marker set 30 are the background portion that forms the background of the shape part of the image recognition target and the shape part. The colors are reversed.

これにより、マーカセット３０は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。 Thereby, the marker set 30 can specifically change the reflection degree between the two markers.

また、本実施形態では、マーカセット３０に含まれる複数のマーカのうちの二つのマーカ（マーカ３０Ａ，３０Ｂ）は、互いに、画像認識の対象の形状部と、形状部の背景を構成する背景部との間の相対的な反射具合が反転している。 In addition, in the present embodiment, two markers (markers 30A and 30B) of the plurality of markers included in the marker set 30 are mutually related to the shape part of the image recognition target and the background part forming the background of the shape part. The relative reflection between and is reversed.

これにより、マーカセット３０は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。 Thereby, the marker set 30 can specifically change the reflection degree between the two markers.

また、本実施形態では、カメラ姿勢変化測定部２０３は、複数のマーカ３０が固定的に設置された撮像範囲を撮像するカメラ１０の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、カメラ１０の撮像画像における複数のマーカ３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。 In addition, in the present embodiment, the camera posture change measurement unit 203 is configured such that the camera 10 that captures an imaging range in which a plurality of markers 30 are fixedly installed acquires a plurality of images having different exposure times at predetermined timings. The change in the posture of the camera 10 may be measured by measuring the time change of the positions of the plurality of markers 30 in the picked-up image of the camera 10, based on the picked-up image.

これにより、監視装置２０は、例えば、相互の露光時間の異なる複数の撮像画像から複数のマーカの特徴を認識し易い撮像画像を選択したり、複数のマーカの特徴を認識し易い合成画像生成したりすることができる。そのため、監視装置２０は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、複数のマーカを適切に認識し、複数のマーカの位置の時間変化により、カメラ１０の姿勢の変化を測定することができる。よって、監視装置２０は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を向上させることができる。 Thereby, the monitoring device 20 selects, for example, a picked-up image in which the features of the plurality of markers are easily recognized from a plurality of picked-up images having mutually different exposure times, or generates a combined image in which the features of the plurality of markers are easily recognized. You can Therefore, the monitoring device 20 appropriately recognizes a plurality of markers and changes the positions of the plurality of markers with time even in a situation where the illuminance environment greatly changes at each acquisition timing of the captured image. Changes in the posture of the camera 10 can be measured. Therefore, the monitoring device 20 can improve the robustness of the camera posture change measurement function with respect to the illuminance change.

また、本実施形態では、カメラ姿勢変化測定部２０３は、相互に露光時間の異なる複数の撮像画像から生成される合成画像（ＨＤＲ画像）に基づき、カメラ１０の撮像画像における複数のマーカ３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。 Further, in the present embodiment, the camera posture change measuring unit 203 determines the positions of the plurality of markers 30 in the captured image of the camera 10 based on the composite image (HDR image) generated from the plurality of captured images having mutually different exposure times. The change in the posture of the camera 10 may be measured by measuring the change with time.

これにより、監視装置２０は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、相互の露光時間の異なる複数の撮像画像から生成される複数のマーカの特徴を認識し易い合成画像を用いて、複数のマーカを適切に認識することができる。 As a result, the monitoring device 20 can detect a plurality of markers generated from a plurality of captured images having different exposure times even in a situation where the illuminance environment greatly changes at each captured image acquisition timing. It is possible to appropriately recognize the plurality of markers by using the synthetic image in which the features are easily recognized.

また、本実施形態では、カメラ姿勢変化測定部２０３は、相互に露光時間の異なる複数の撮像画像のうちの複数のマーカ３０が相対的に画像認識され易い態様で含まれる二以上の撮像画像から生成される合成画像（ＨＤＲ画像）に基づき、カメラ１０の撮像画像における複数のマーカ３０の位置の時間変化を測定してよい。 In addition, in the present embodiment, the camera posture change measuring unit 203 determines from the two or more captured images in which the plurality of markers 30 of the plurality of captured images having mutually different exposure times are included in a manner in which the images are relatively easily recognized. The time change of the positions of the plurality of markers 30 in the captured image of the camera 10 may be measured based on the generated composite image (HDR image).

これにより、監視装置２０は、複数のマーカの特徴をより認識し易い合成画像（ＨＤＲ画像）を用いることができる。よって、監視装置２０は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を更に向上させることができる。 Accordingly, the monitoring device 20 can use a composite image (HDR image) that makes it easier to recognize the features of the plurality of markers. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change measurement function with respect to the illuminance change.

また、本実施形態では、複数のマーカ３０は、それぞれ、画像認識の対象の形状部とは別に、露光時間の変化に応じて、カメラ１０の撮像画像における見え方が変化する変化部を含む。そして、マーカ位置測定部２０２は、複数の撮像画像における複数のマーカ３０の変化部の見え方に基づき、相互に露光時間が異なる複数の撮像画像の中から、複数のマーカ３０が相対的に画像認識され易い態様で含まれる撮像画像を抽出してよい。 In addition, in the present embodiment, each of the plurality of markers 30 includes a change part in which the appearance in the image captured by the camera 10 changes according to the change in the exposure time, in addition to the shape part of the image recognition target. Then, the marker position measuring unit 202, based on the appearance of the changed portions of the plurality of markers 30 in the plurality of captured images, the plurality of markers 30 are relatively imaged from the plurality of captured images having different exposure times. You may extract the captured image contained in the mode which is easily recognized.

これにより、監視装置２０は、カメラ１０の撮像画像における変化部の見え方に基づき、具体的に、複数のマーカ３０が画像認識され易いかどうかを判断し、合成画像の生成に適した撮像画像を抽出することができる。 Thereby, the monitoring device 20 specifically determines whether or not the plurality of markers 30 are easily image-recognized based on the appearance of the changed portion in the captured image of the camera 10, and the captured image suitable for generating the composite image. Can be extracted.

また、本実施形態では、カメラ姿勢変化測定部２０３は、空間監視機能のためのカメラ１０の撮像画像と露光時間の異なる、カメラ１０の撮像画像に基づき、複数のマーカ３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。 In addition, in the present embodiment, the camera posture change measuring unit 203 measures the temporal changes in the positions of the plurality of markers 30 based on the captured image of the camera 10 whose exposure time is different from the captured image of the camera 10 for the space monitoring function. By measuring, the change in the posture of the camera 10 may be measured.

これにより、監視装置２０は、カメラ姿勢変化監視機能における複数のマーカ３０の画像認識に適した露光時間の撮像画像を用いて、カメラ１０の姿勢の変化を測定することできる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Thereby, the monitoring device 20 can measure the change in the posture of the camera 10 by using the captured image of the exposure time suitable for the image recognition of the plurality of markers 30 in the camera posture change monitoring function. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change monitoring function against changes in illuminance.

また、本実施形態では、マーカ位置測定部２０２は、相互に露光時間の異なる複数の撮像画像から生成される合成画像（ＨＤＲ画像）に基づき、複数のマーカ３０の形状を表すデジタルデータ（ＣＡＤデータ）に対するパターンマッチングによって、カメラ１０の撮像画像における複数のマーカ３０の位置を測定してよい。 Further, in the present embodiment, the marker position measurement unit 202 uses digital data (CAD data) that represents the shapes of the plurality of markers 30 based on a composite image (HDR image) generated from a plurality of captured images having mutually different exposure times. The positions of the plurality of markers 30 in the image captured by the camera 10 may be measured by pattern matching with respect to (1).

これにより、監視装置２０は、カメラ１０の撮像画像上において、複数のマーカ３０の位置をより精度よく測定することができる。よって、監視装置２０は、カメラ１０の姿勢の変化の測定精度を向上させることができる。 Accordingly, the monitoring device 20 can measure the positions of the plurality of markers 30 on the captured image of the camera 10 with higher accuracy. Therefore, the monitoring device 20 can improve the measurement accuracy of the change in the posture of the camera 10.

また、本実施形態では、マーカ３０は、画像認識の対象の形状部３０ａと、カメラ１０の露光時間の変化に応じて撮像画像上での見え方が変化する変化部３０ｃと、を含む。 In addition, in the present embodiment, the marker 30 includes a shape portion 30a to be image-recognized and a change portion 30c whose appearance on the captured image changes according to the change of the exposure time of the camera 10.

これにより、マーカ３０は、カメラ１０の撮像画像における変化部の見え方に基づき、カメラ１０により撮像された、相互に露光時間が異なる複数の撮像画像の中からマーカ３０の画像認識に適した撮像画像を監視装置２０に認識させることができる。よって、マーカ３０は、監視装置２０のカメラ姿勢変化監視機能の照度変化に対するロバスト性を向上させることができる。 Thereby, the marker 30 is imaged suitable for image recognition of the marker 30 from a plurality of imaged images having different exposure times, which are imaged by the camera 10, based on the appearance of the changed portion in the imaged image of the camera 10. The image can be recognized by the monitoring device 20. Therefore, the marker 30 can improve the robustness against the illuminance change of the camera posture change monitoring function of the monitoring device 20.

また、本実施形態では、変化部３０ｃは、形状部３０ａの色と背景部３０ｂの色との間の線形グラデーションを表すグラデーションバーである。 Further, in the present embodiment, the changing portion 30c is a gradation bar that represents a linear gradation between the color of the shape portion 30a and the color of the background portion 30b.

これにより、マーカ３０は、具体的に、カメラ１０の露光時間の変化に応じて、カメラ１０の撮像画像における変化部３０ｃの見え方を変化させることができる。 Thereby, the marker 30 can specifically change the appearance of the changing portion 30c in the image captured by the camera 10 according to the change in the exposure time of the camera 10.

以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments for carrying out the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. Can be modified and changed.

１ 監視システム
１０ カメラ
２０ 監視装置（情報処理装置）
３０ マーカセット（被画像認識用マーカセット）
３０Ａ，３０Ｂ マーカ
２０１ 撮像制御部
２０２ マーカ位置測定部
２０３ カメラ姿勢変化測定部（姿勢変化測定部）
２０４ エラー検出部 1 Monitoring System 10 Camera 20 Monitoring Device (Information Processing Device)
30 Marker set (Marker set for image recognition)
30A, 30B Marker 201 Imaging control unit 202 Marker position measuring unit 203 Camera posture change measuring unit (posture change measuring unit)
204 Error detector

Claims (9)

複数のマーカが設置された撮像範囲を撮像する撮像装置の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定部を備える、
情報処理装置。 The positions of the plurality of markers in the imaged image of the imaging device, based on the plurality of imaged images of the imaging device that capture the imaging range in which the plurality of markers are installed and have different exposure times acquired at predetermined timings. A posture change measuring unit that measures a change in the posture of the image pickup apparatus by measuring a change with time.
Information processing device. 前記姿勢変化測定部は、前記複数の撮像画像から生成される合成画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する、
請求項１に記載の情報処理装置。 The posture change measurement unit measures the change over time in the positions of the plurality of markers in the captured image of the imaging device based on a composite image generated from the plurality of captured images, thereby changing the posture of the imaging device. To measure,
The information processing apparatus according to claim 1. 前記姿勢変化測定部は、前記複数の撮像画像のうちの前記複数のマーカが相対的に画像認識され易い態様で含まれる二以上の撮像画像から生成される前記合成画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定する、
請求項２に記載の情報処理装置。 The posture change measurement unit is configured to detect the image capturing apparatus based on the composite image generated from two or more captured images in which the plurality of markers of the plurality of captured images are included in a manner in which the images are relatively easily recognized. Measuring the time change of the position of the plurality of markers in the captured image,
The information processing apparatus according to claim 2. 前記複数の撮像画像の中から、前記複数のマーカが相対的に画像認識され易い態様で含まれる撮像画像を抽出する撮像画像抽出部を更に備え、
前記複数のマーカは、それぞれ、画像認識の対象の形状部とは別に、露光時間の変化に応じて、前記撮像装置の撮像画像における見え方が変化する変化部を含み、
前記撮像画像抽出部は、前記複数の撮像画像における前記複数のマーカの前記変化部の見え方に基づき、前記複数の撮像画像の中から二以上の撮像画像を抽出する、
請求項３に記載の情報処理装置。 From the plurality of captured images, the plurality of markers further includes a captured image extraction unit that extracts a captured image included in a manner in which image recognition is relatively easy,
Each of the plurality of markers includes, apart from the shape part of the image recognition target, a change part in which the appearance in the image captured by the imaging device changes according to the change in the exposure time,
The captured image extraction unit extracts two or more captured images from the plurality of captured images based on the appearance of the changing portion of the plurality of markers in the plurality of captured images,
The information processing device according to claim 3. 前記撮像装置は、前記撮像範囲内の所定の監視対象を監視するために設けられ、
前記姿勢変化測定部は、前記監視対象の監視のための前記撮像装置の撮像画像と露光時間の異なる、前記撮像装置の撮像画像に基づき、前記撮像装置の姿勢の変化を測定する、
請求項１乃至４の何れか一項に記載の情報処理装置。 The imaging device is provided to monitor a predetermined monitoring target within the imaging range,
The posture change measuring unit measures a change in posture of the image capturing device based on a captured image of the image capturing device having a different exposure time from the image captured by the image capturing device for monitoring the monitoring target,
The information processing apparatus according to claim 1. 前記合成画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置を測定するマーカ位置測定部を更に備え、
前記マーカ位置測定部は、前記複数のマーカの形状を表すデジタルデータに対するパターンマッチングによって、前記撮像装置の撮像画像における前記複数のマーカの位置を測定する、
請求項１乃至５の何れか一項に記載の情報処理装置。 Further comprising a marker position measuring unit that measures the positions of the plurality of markers in the captured image of the imaging device based on the composite image,
The marker position measuring unit measures the positions of the plurality of markers in a captured image of the imaging device by pattern matching with respect to digital data representing the shapes of the plurality of markers.
The information processing apparatus according to any one of claims 1 to 5. 情報処理装置に、
複数のマーカが設置された撮像範囲を撮像する撮像装置の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラム。 In the information processing device,
The positions of the plurality of markers in the imaged image of the imaging device, based on the plurality of imaged images of the imaging device that capture the imaging range in which the plurality of markers are installed and have different exposure times acquired at predetermined timings. By performing a posture change measurement step of measuring a change in the posture of the image pickup apparatus by measuring a time change of
program. 画像認識の対象の形状部と、
撮像装置の露光時間の変化に応じて撮像画像上での見え方が変化する変化部と、を含む、
被画像認識用マーカ。 The shape part of the object of image recognition,
And a changing unit whose appearance on the captured image changes according to a change in the exposure time of the imaging device,
Image recognition marker. 前記変化部は、前記形状部の色と前記形状部の背景を構成する背景部の色との間の線形グラデーションを表すグラデーションバーである、
請求項８に記載の被画像認識用マーカ。 The change portion is a gradation bar that represents a linear gradation between the color of the shape portion and the color of the background portion that forms the background of the shape portion,
The marker for image recognition according to claim 8.
JP2019005322A 2019-01-16 2019-01-16 Information processing device, program, marker for image recognition Active JP7191706B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019005322A JP7191706B2 (en) 2019-01-16 2019-01-16 Information processing device, program, marker for image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019005322A JP7191706B2 (en) 2019-01-16 2019-01-16 Information processing device, program, marker for image recognition

Publications (2)

Publication Number Publication Date
JP2020113951A true JP2020113951A (en) 2020-07-27
JP7191706B2 JP7191706B2 (en) 2022-12-19

Family

ID=71667410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019005322A Active JP7191706B2 (en) 2019-01-16 2019-01-16 Information processing device, program, marker for image recognition

Country Status (1)

Country Link
JP (1) JP7191706B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062757A (en) * 2002-07-31 2004-02-26 Canon Inc Image processing method and method for estimating imaging part position and attitude
JP2012068761A (en) * 2010-09-21 2012-04-05 Toshiba Digital Media Engineering Corp Image processing device
WO2016031190A1 (en) * 2014-08-27 2016-03-03 日本電気株式会社 Information processing device and recognition support method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062757A (en) * 2002-07-31 2004-02-26 Canon Inc Image processing method and method for estimating imaging part position and attitude
JP2012068761A (en) * 2010-09-21 2012-04-05 Toshiba Digital Media Engineering Corp Image processing device
WO2016031190A1 (en) * 2014-08-27 2016-03-03 日本電気株式会社 Information processing device and recognition support method

Also Published As

Publication number Publication date
JP7191706B2 (en) 2022-12-19

Similar Documents

Publication Publication Date Title
CN108737793B (en) Method, system and device for tracking moving object by using camera network
JP6352208B2 (en) 3D model processing apparatus and camera calibration system
CN112232279B (en) Personnel interval detection method and device
JPWO2016199244A1 (en) Object recognition device and object recognition system
US9633450B2 (en) Image measurement device, and recording medium
JP2004334819A (en) Stereo calibration device and stereo image monitoring device using same
JP6566768B2 (en) Information processing apparatus, information processing method, and program
JP6845342B2 (en) Utility pole management system
JP2017049676A (en) Posture discrimination device and object detection device
JP7092615B2 (en) Shadow detector, shadow detection method, shadow detection program, learning device, learning method, and learning program
WO2022014252A1 (en) Information processing device and information processing method
CN111815672A (en) Dynamic tracking control method, device and control equipment
KR101972582B1 (en) Development for Displacement Measurement System Based on a PTZ Camera and Method thereof
KR101469099B1 (en) Auto-Camera Calibration Method Based on Human Object Tracking
CN109816628B (en) Face evaluation method and related product
JP2018182593A (en) Image processing apparatus and image processing method
CN108234932B (en) Method and device for extracting personnel form in video monitoring image
CN113344906A (en) Vehicle-road cooperative camera evaluation method and device, road side equipment and cloud control platform
US20220076399A1 (en) Photographing guide device
CN112419402A (en) Positioning method and system based on multispectral image and laser point cloud
JP6374812B2 (en) 3D model processing apparatus and camera calibration system
JP7191706B2 (en) Information processing device, program, marker for image recognition
JP3919722B2 (en) Skin shape measuring method and skin shape measuring apparatus
JP2007200364A (en) Stereo calibration apparatus and stereo image monitoring apparatus using the same
JP7292883B2 (en) Information processing device, program, marker set for image recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221207

R150 Certificate of patent or registration of utility model

Ref document number: 7191706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150