JP2021182682A - Information processing unit, information processing method and program - Google Patents
Information processing unit, information processing method and program Download PDFInfo
- Publication number
- JP2021182682A JP2021182682A JP2020086981A JP2020086981A JP2021182682A JP 2021182682 A JP2021182682 A JP 2021182682A JP 2020086981 A JP2020086981 A JP 2020086981A JP 2020086981 A JP2020086981 A JP 2020086981A JP 2021182682 A JP2021182682 A JP 2021182682A
- Authority
- JP
- Japan
- Prior art keywords
- block
- unit
- blocks
- image
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。 The present disclosure relates to information processing devices, information processing methods, and programs.
従来より、撮像された画像に対して画像解析を施すことで当該画像の特徴量を抽出し、当該特徴量の変化に基づき、撮像が阻害された状態(例えば、いたずら行為に伴う状態)を検知する技術が知られている(たとえば、特許文献1参照)。 Conventionally, the feature amount of the image is extracted by performing image analysis on the captured image, and a state in which imaging is hindered (for example, a state associated with mischief) is detected based on the change in the feature amount. (See, for example, Patent Document 1).
本発明が解決しようとする課題は、撮像が阻害された状態を状況に応じてより好適な態様で検知可能とすることである。 An object to be solved by the present invention is to be able to detect a state in which imaging is impaired in a more suitable manner depending on the situation.
本発明の一態様に係る情報処理装置は、撮像部による撮像結果に応じた画像を複数のブロックに分割する分割手段と、前記撮像部の画角のうち前記ブロックに対応する部分領域の遮蔽の検知に係る検知感度を設定する設定手段と、前記画像のうち前記ブロックに対応する部分画像の特徴量を抽出する抽出手段と、前記ブロックごとに前記特徴量と前記検知感度とを比較することで、当該ブロックが、対応する前記部分領域が遮蔽された遮蔽ブロックか否かを判定する第1の判定手段と、前記複数のブロックにおける前記遮蔽ブロックと判定された前記ブロックの割合に応じて、前記撮像部の撮像が阻害された状態か否かを判定する第2の判定手段と、を備える。 The information processing apparatus according to one aspect of the present invention comprises a dividing means for dividing an image according to an image pickup result by an image pickup unit into a plurality of blocks, and shielding a partial region of the angle of view of the image pickup unit corresponding to the block. By setting means for setting the detection sensitivity related to detection, extraction means for extracting the feature amount of the partial image corresponding to the block in the image, and comparing the feature amount and the detection sensitivity for each block. According to the first determination means for determining whether or not the corresponding partial region is a shielded block, and the ratio of the block determined to be the shield block in the plurality of blocks. A second determination means for determining whether or not the image pickup of the image pickup unit is hindered is provided.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.
<システム構成>
図1を参照して、本開示の一実施形態に係るシステムの構成の一例について説明する。本実施形態に係るシステム1は、複数の撮像装置A101−1〜A101−3と、管理装置A105とを含む。撮像装置A101−1〜A101−3のそれぞれと、管理装置A105とは、所定のネットワークA103を介して相互に情報やデータを送受信可能に接続される。
<System configuration>
An example of the configuration of the system according to the embodiment of the present disclosure will be described with reference to FIG. The
なお、撮像装置A101−1〜A101−3のそれぞれと、管理装置A105とを接続することが可能であれば、ネットワークA103の種別は特に限定はされない。具体的な一例として、ネットワークA103として、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)、公衆回線(例えば、電話回線、移動体通信回線等)等が適用されてもよい。また、他の一例として、ネットワークA103として、専用線、ATM(Asynchronous Transfer Mode)やフレームリレー回線、ケーブルテレビ回線、データ放送用無線通信回線等が適用されてもよい。また、ネットワークA103は、無線のネットワークであってもよく、有線のネットワークであってもよい。また、ネットワークA103は、複数種類の異なるネットワークを含んでもよい。具体的な一例として、撮像装置A101−1〜A101−3のそれぞれと、管理装置A105との間の通信が、他の通信装置により中継されてもよい。この場合には、例えば、当該他の通信装置と撮像装置A101−1〜A101−3のそれぞれとの間の通信と、当該他の通信装置と管理装置A105との間の通信とに対して、互いに異なる種別のネットワークが適用されてもよい。 The type of network A103 is not particularly limited as long as it is possible to connect each of the image pickup devices A101-1 to A101-3 and the management device A105. As a specific example, as the network A103, the Internet, LAN (Local Area Network), WAN (Wide Area Network), public line (for example, telephone line, mobile communication line, etc.) may be applied. Further, as another example, as the network A103, a dedicated line, an ATM (Asynchronous Transfer Mode), a frame relay line, a cable television line, a data broadcasting wireless communication line, or the like may be applied. Further, the network A103 may be a wireless network or a wired network. Further, the network A103 may include a plurality of different types of networks. As a specific example, the communication between each of the image pickup devices A101-1 to A101-3 and the management device A105 may be relayed by another communication device. In this case, for example, with respect to the communication between the other communication device and each of the image pickup devices A101-1 to A101-3 and the communication between the other communication device and the management device A105. Different types of networks may be applied.
撮像装置A101−1〜A101−3のそれぞれは、画角の少なくとも一部が遮蔽されることで撮像が阻害された状態(例えば、いたずら行為に伴う状態)を検知するための検知機能を有する撮像装置である。図1に示す例では、撮像装置A101−1〜A101−3のそれぞれは、所謂監視カメラとして適用される。なお、以降では、撮像装置A101−1〜A101−3のそれぞれを特に区別しない場合には、「撮像装置A101」とも称する。 Each of the image pickup devices A101-1 to A101-3 has a detection function for detecting a state in which image pickup is hindered by blocking at least a part of the angle of view (for example, a state associated with a mischievous act). It is a device. In the example shown in FIG. 1, each of the image pickup devices A101-1 to A101-3 is applied as a so-called surveillance camera. Hereinafter, when each of the image pickup devices A101-1 to A101-3 is not particularly distinguished, it is also referred to as "imaging device A101".
管理装置A105は、撮像装置A101−1〜A101−3のそれぞれの撮像結果に応じた画像に基づく監視業務に利用される情報処理装置を模式的に示している。管理装置A105は、例えば、各撮像装置A101の撮像結果に応じた画像の提示、各撮像装置A101が有する上記検知機能の制御、及び各撮像装置A101からの通知(例えば、警報)に伴う情報の提示等の機能を有する。管理装置A105は、例えば、PC(Personal Computer)等のように、ネットワークに接続可能な情報処理装置により実現され得る。 The management device A105 schematically shows an information processing device used for monitoring work based on images according to the respective image pickup results of the image pickup devices A101-1 to A101-3. The management device A105, for example, presents an image according to the image pickup result of each image pickup device A101, controls the detection function of each image pickup device A101, and information associated with a notification (for example, an alarm) from each image pickup device A101. It has functions such as presentation. The management device A105 can be realized by an information processing device that can be connected to a network, such as a PC (Personal Computer) or the like.
管理装置A105は、例えば、各種演算を行う本体と、ユーザに情報を提示するための出力装置(例えば、ディスプレイ等)と、ユーザからの指示を受け付ける入力装置(例えば、キーボード、ポインティングデバイス等)を備える。
管理装置A105は、Webブラウザ等のユーザインタフェースを介して各撮像装置A101の設定に関する指示をユーザから受け付け、当該指示に基づき対象となる撮像装置A101の設定を更新してもよい。また、管理装置A105は、各撮像装置A101から撮像結果に応じた画像(例えば、動画像や静止画像等)を受信し、出力装置を介したユーザへの当該画像の提示や、当該画像の録画等を実行してもよい。また、管理装置A105は、各撮像装置A101から警報等の通知を受け、出力装置を介して当該通知に応じた情報をユーザに提示してもよい。
なお、上述した各種機能は、例えば、管理装置A105にインストールされたアプリケーションにより実現されてもよい。
The management device A105 includes, for example, a main body that performs various calculations, an output device (for example, a display, etc.) for presenting information to the user, and an input device (for example, a keyboard, a pointing device, etc.) that receives instructions from the user. Be prepared.
The management device A105 may receive an instruction regarding the setting of each image pickup device A101 from the user via a user interface such as a Web browser, and may update the setting of the target image pickup device A101 based on the instruction. Further, the management device A105 receives an image (for example, a moving image, a still image, etc.) according to the image pickup result from each image pickup device A101, presents the image to the user via the output device, and records the image. Etc. may be executed. Further, the management device A105 may receive a notification such as an alarm from each image pickup device A101 and present the information corresponding to the notification to the user via the output device.
The various functions described above may be realized by, for example, an application installed in the management device A105.
<ハードウェア構成>
図2を参照して、撮像装置A101のうち各種演算の実行に係る部分や管理装置A105として適用可能な、情報処理装置100のハードウェア構成の一例について説明する。
<Hardware configuration>
With reference to FIG. 2, an example of the hardware configuration of the
情報処理装置100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103とを含む。また、情報処理装置100は、補助記憶装置104と、通信I/F107とを含む。また、情報処理装置100は、出力装置105と、入力装置106とのうち少なくともいずれかを含んでもよい。CPU101と、ROM102と、RAM103と、補助記憶装置104と、出力装置105と、入力装置106と、通信I/F107とは、バス108を介して相互に接続されている。
The
CPU101は、情報処理装置100の各種動作を制御する中央演算装置である。例えば、CPU101は、情報処理装置100全体の動作を制御してもよい。ROM102は、CPU101で実行可能な制御プログラムやブートプログラムなどを記憶する。RAM103は、CPU101の主記憶メモリであり、ワークエリア又は各種プログラムを展開するための一時記憶領域として用いられる。
The
補助記憶装置104は、各種データや各種プログラムを記憶する。補助記憶装置104は、HDDや、SSDに代表される不揮発性メモリ等のような、各種データを一時的または持続的に記憶可能な記憶デバイスにより実現される。
The
出力装置105は、各種情報を出力する装置であり、ユーザに対する各種情報の提示に利用される。例えば、出力装置105は、ディスプレイ等の表示デバイスにより実現される。この場合には、出力装置105は、各種表示情報を表示させることで、ユーザに対して情報を提示する。また、他の一例として、出力装置105は、音声や電子音等の音を出力する音響出力デバイスにより実現されてもよい。この場合には、出力装置105は、音声や電信等の音を出力することで、ユーザに対して情報を提示する。なお、出力装置105として適用されるデバイスは、ユーザに対して情報を提示するために利用する媒体に応じて適宜変更されてもよい。
The
入力装置106は、ユーザからの各種指示の受け付けに利用される。例えば、入力装置106は、ポインティングデバイス、キーボード、タッチパネル等の入力デバイスにより実現され得る。また、他の一例として、入力装置106は、マイクロフォン等の集音デバイスを含み、ユーザが発話した音声を集音してもよい。この場合には、集音された音声に対して音響解析や自然言語処理等の各種解析処理が施されることで、この音声が示す内容がユーザからの指示として認識される。また、入力装置106として適用されるデバイスは、ユーザからの指示を認識する方法に応じて適宜変更されてもよい。また、入力装置106として複数種類のデバイスが適用されてもよい。
The
通信I/F107は、外部の装置とのネットワークを介した通信に利用される。なお、通信I/F107として適用されるデバイスは、通信経路の種別や適用される通信方式に応じて適宜変更されてもよい。
The communication I /
CPU101が、ROM102又は補助記憶装置104に記憶されたプログラムをRAM103に展開し、このプログラムを実行することで、図3や図11に示す機能構成や、図6、図7、及び図12に示す処理が実現される。
The
<機能構成>
図3を参照して、本開示の一実施形態に係る撮像装置A101の機能構成の一例について説明する。撮像装置A101は、撮像部A201と、圧縮部A202と、フォーマット変換部A203と、通信部A210とを含む。また、撮像装置A101は、ブロック分割部A204と、特徴量抽出部A205と、遮蔽ブロック判定部A206と、検知設定受付部A207と、阻害判定部A208と、通知部A209とを含む。
<Functional configuration>
An example of the functional configuration of the image pickup apparatus A101 according to the embodiment of the present disclosure will be described with reference to FIG. The image pickup apparatus A101 includes an image pickup unit A201, a compression unit A202, a format conversion unit A203, and a communication unit A210. Further, the image pickup apparatus A101 includes a block division unit A204, a feature amount extraction unit A205, a shielding block determination unit A206, a detection setting reception unit A207, an inhibition determination unit A208, and a notification unit A209.
撮像部A201は、レンズ等の光学系を介して導光される被写体からの光を撮像素子に導光させ、当該撮像素子により当該光を電気信号に光電変換し、当該電気信号に基づく画像データを生成する。
圧縮部A202は、撮像部A201から出力される画像データに対して、符号化処理や圧縮処理等を適用することで当該画像データのデータ量を削減する。
フォーマット変換部A203は、圧縮によりデータ量が削減された画像データを、所定のフォーマットの他の画像データに変換する。具体的な一例として、フォーマット変換部A203は、対象となる画像データを、ネットワークを介して伝送する場合により好適なフォーマットの画像データに変換してもよい。
フォーマット変換部A203は、フォーマットが変換された画像データを所定の出力先に出力する。具体的な一例として、フォーマット変換部A203は、フォーマットが変換された画像データを通信部A210に出力することで、ネットワークを介して当該画像データを他の装置(例えば、管理装置A105)に送信してもよい。
The image pickup unit A201 guides light from a subject guided through an optical system such as a lens to an image pickup element, photoelectrically converts the light into an electric signal by the image pickup element, and image data based on the electric signal. To generate.
The compression unit A202 reduces the amount of data of the image data by applying a coding process, a compression process, or the like to the image data output from the image pickup unit A201.
The format conversion unit A203 converts the image data whose data amount has been reduced by compression into other image data in a predetermined format. As a specific example, the format conversion unit A203 may convert the target image data into image data in a format more suitable for transmission via the network.
The format conversion unit A203 outputs the image data whose format has been converted to a predetermined output destination. As a specific example, the format conversion unit A203 outputs the converted image data to the communication unit A210, and transmits the image data to another device (for example, the management device A105) via the network. You may.
ブロック分割部A204は、撮像部A201から出力される画像データが示す画像(すなわち、撮像部A201の撮像結果に応じた画像)を複数のブロックに分割する。具体的な一例として、ブロック分割部A204は、撮像部A201の撮像結果に応じた画像を、それぞれが矩形状の形状を有する複数のブロックに分割してもよい。
例えば、図4は、画像を複数のブロックに分割する方法の一例を示している。図4に示す例では、ブロック分割部A204は、画像全体(換言すると、撮像部A201の画角全体)を、縦方向に4分割し、横方向に3分割することで、当該画像をそれぞれが均等なサイズとなるように合計12個のブロックに分割している。
なお、図4に示す例はあくまで一例であり、画像の分割に係る方法を限定するものではない。具体的な一例として、画像の中央に位置する領域については、画像の端部側に位置する領域に比べて、よりサイズが細かくなるように、当該画像が複数のブロックに分割されてもよい。
The block division unit A204 divides the image indicated by the image data output from the image pickup unit A201 (that is, the image corresponding to the image pickup result of the image pickup unit A201) into a plurality of blocks. As a specific example, the block division unit A204 may divide an image according to the image pickup result of the image pickup unit A201 into a plurality of blocks, each of which has a rectangular shape.
For example, FIG. 4 shows an example of a method of dividing an image into a plurality of blocks. In the example shown in FIG. 4, the block division unit A204 divides the entire image (in other words, the entire angle of view of the image pickup unit A201) into four in the vertical direction and three in the horizontal direction, so that each of the images is divided into three. It is divided into a total of 12 blocks so that they are evenly sized.
The example shown in FIG. 4 is merely an example, and does not limit the method for dividing the image. As a specific example, the image may be divided into a plurality of blocks so that the area located in the center of the image is smaller in size than the area located on the edge side of the image.
特徴量抽出部A205は、撮像部A201の撮像結果に応じた画像(以下、「入力画像」とも称する)に対して所定の画像解析を施すことで、当該画像から所定の画像的特徴を示す特徴量を、当該画像が分割されたブロックごとに抽出する。具体的な一例として、特徴量抽出部A205は、入力画像に対してソーベフィルタを適用することで、当該入力画像の特徴量としてエッジパワーを抽出してもよい。 The feature amount extraction unit A205 performs a predetermined image analysis on an image (hereinafter, also referred to as an “input image”) according to the image pickup result of the image pickup unit A201, and the feature amount extraction unit A205 exhibits a predetermined image feature from the image. The amount is extracted for each block in which the image is divided. As a specific example, the feature amount extraction unit A205 may extract edge power as the feature amount of the input image by applying a sobe filter to the input image.
遮蔽ブロック判定部A206は、入力画像が分割された複数のブロックそれぞれが、撮像部A201の画角のうち当該ブロックに対応する部分領域が遮蔽された遮蔽ブロックか否かを、当該ブロックから抽出された特徴量(例えば、エッジパワー)に基づき判定する。具体的な一例として、遮蔽ブロック判定部A206は、対象となるブロックから抽出された特徴量と、当該ブロックに対してあらかじめ設定された検知感度に応じた閾値とを比較することで、当該ブロックが遮蔽ブロックか否かを判定してもよい。
例えば、図5は、ブロックごとにあらかじめ設定された検知感度の一例を示している。図5に示す例では、全ブロックに対して共通に感度値50が設定されている。なお、各ブロックに対して設定される検知感度は、検知設定受付部A207により制御される。
The shielding block determination unit A206 extracts from the block whether or not each of the plurality of blocks in which the input image is divided is a shielding block in which the partial region corresponding to the block in the angle of view of the imaging unit A201 is shielded. Judgment is made based on the feature amount (for example, edge power). As a specific example, the shielding block determination unit A206 compares the feature amount extracted from the target block with the threshold value corresponding to the detection sensitivity set in advance for the block, so that the block can be obtained. It may be determined whether or not it is a shielding block.
For example, FIG. 5 shows an example of the detection sensitivity preset for each block. In the example shown in FIG. 5, the
阻害判定部A208は、入力画像が分割された複数のブロックそれぞれに対する遮蔽ブロックか否かの判定結果に応じて、撮像部A201による撮像が阻害された状態か否かを判定する。具体的な一例として、阻害判定部A208は、入力画像が分割された複数のブロックのうち、遮蔽ブロックと判定されたブロックの割合に応じて、撮像部A201による撮像が阻害された状態か否かを判定してもよい。 The inhibition determination unit A208 determines whether or not the imaging by the imaging unit A201 is inhibited according to the determination result of whether or not the input image is a shielding block for each of the divided plurality of blocks. As a specific example, whether or not the inhibition determination unit A208 is in a state in which imaging by the imaging unit A201 is inhibited according to the ratio of the blocks determined to be shielding blocks among the plurality of blocks in which the input image is divided. May be determined.
通知部A209は、所定の通知先(例えば、図1に示す管理装置A105)に対して、阻害判定部A208による判定結果に応じた情報を通知する。具体的な一例として、通知部A209は、撮像部A201による撮像が阻害された状態であると判定された場合には、警告を報じるための情報(以降では、「警報情報」とも称する)を管理装置A105に通知してもよい。 The notification unit A209 notifies a predetermined notification destination (for example, the management device A105 shown in FIG. 1) of information according to the determination result by the inhibition determination unit A208. As a specific example, the notification unit A209 manages information for reporting a warning (hereinafter, also referred to as "alarm information") when it is determined that the image pickup by the image pickup unit A201 is hindered. The device A105 may be notified.
検知設定受付部A207は、管理装置A105がユーザから受け付けた各種設定に係る指示を当該管理装置A105から受信し、当該指示に応じて、遮蔽ブロックの判定や、撮像部A201による撮像が阻害された状態か否かの判定等に係る各種設定を制御する。検知設定受付部A207は、感度値設定部A211と、領域設定部A212と、閾値設定部A213と、面積割合設定部A214とを含む。 The detection setting receiving unit A207 received instructions related to various settings received from the user by the management device A105 from the management device A105, and in response to the instructions, the determination of the shielding block and the imaging by the imaging unit A201 were hindered. It controls various settings related to the determination of whether or not it is in a state. The detection setting receiving unit A207 includes a sensitivity value setting unit A211, an area setting unit A212, a threshold value setting unit A213, and an area ratio setting unit A214.
感度値設定部A211は、管理装置A105がユーザから受け付けた各種設定に係る指示のうち、特に検知感度の設定に係る指示を受け付ける。
領域設定部A212は、管理装置A105がユーザから受け付けた各種設定に係る指示のうち、特に検知感度を変更する(例えば、検知感度を下げる)ブロックの指定に係る領域情報を受け付ける。
閾値設定部A213は、領域設定部A212が受け付けた領域情報が示すブロックが遮蔽ブロックか否かの判定に係る閾値を、感度値設定部A211が受け付けた検知感度の設定に係る指示に応じて制御する。
面積割合設定部A214は、撮像部A201の画角がどの程度遮蔽された場合に、当該撮像部A201による撮像が阻害されたと判定するかを、管理装置A105がユーザから受け付けた指示に応じて制御する。
The sensitivity value setting unit A211 receives, among the instructions related to various settings received from the user by the management device A105, particularly the instructions related to the setting of the detection sensitivity.
The area setting unit A212 receives the area information related to the designation of the block for which the detection sensitivity is changed (for example, the detection sensitivity is lowered) among the instructions related to the various settings received from the user by the management device A105.
The threshold value setting unit A213 controls the threshold value related to the determination of whether or not the block indicated by the area information received by the area setting unit A212 is a shielding block according to the instruction related to the detection sensitivity setting received by the sensitivity value setting unit A211. do.
The area ratio setting unit A214 controls how much the angle of view of the image pickup unit A201 is obstructed to determine that the image pickup by the image pickup unit A201 is hindered according to an instruction received from the user by the management device A105. do.
通信部A210は、所定のネットワークを介して他の装置との間で情報やデータの送受信を行う。例えば、通信部A210は、管理装置A105がユーザから受け付けた各種設定に係る指示に応じた情報を受信する。また、通信部A210は、管理装置A105に対して、撮像部A201による撮像結果に応じた画像の送信や、各種報知情報(例えば、警告情報)の通知を行う。 The communication unit A210 transmits / receives information and data to / from other devices via a predetermined network. For example, the communication unit A210 receives information according to instructions related to various settings received from the user by the management device A105. Further, the communication unit A210 transmits an image according to the image pickup result by the image pickup unit A201 and notifies the management device A105 of various notification information (for example, warning information).
<処理>
図6を参照して、本実施形態に係る撮像装置A101の処理の一例について、特に、撮像部A201による撮像の阻害の検知に係る処理に着目して説明する。なお、図6に示す例では、対象となるブロックが遮蔽ブロックか否かの判定に対して、当該ブロックから抽出される特徴量としてエッジパワーが利用されるものとする。
<Processing>
With reference to FIG. 6, an example of the processing of the imaging apparatus A101 according to the present embodiment will be described with particular attention to the processing related to the detection of the inhibition of imaging by the imaging unit A201. In the example shown in FIG. 6, edge power is used as a feature amount extracted from the block for determining whether or not the target block is a shielding block.
S101において、ブロック分割部A204は、撮像部A201による撮像結果に応じた入力画像を所定の個数のブロックに分割する。
S102において、撮像装置A101は、入力画像が分割された複数のブロック全てについて後述するS103〜S108の処理が実行済か否かを判定する。撮像装置A101は、S102において入力画像が分割された複数のブロック全てについてS103〜S108の処理が実行済でないと判定した場合には、処理をS103に進める。
In S101, the block division unit A204 divides the input image according to the image pickup result by the image pickup unit A201 into a predetermined number of blocks.
In S102, the image pickup apparatus A101 determines whether or not the processes of S103 to S108, which will be described later, have been executed for all the plurality of blocks in which the input image is divided. When the image pickup apparatus A101 determines in S102 that the processes of S103 to S108 have not been executed for all the plurality of blocks in which the input image is divided, the image pickup apparatus A101 advances the process to S103.
S103において、特徴量抽出部A205は、入力画像から分割された各ブロックに対してソーベフィルタを適用することで、ブロックごとに当該ブロックに対応する部分画像の特徴量としてエッジパワーを抽出する。
S104において、遮蔽ブロック判定部A206は、対象となるブロックについて抽出されたエッジパワーと、当該ブロックに対して設定された検知感度に応じた閾値とを比較する。
S105において、遮蔽ブロック判定部A206は、S104における比較結果に基づき、対象となるブロックにおいてエッジパワーが閾値よりも小さいか否かを判定する。
遮蔽ブロック判定部A206は、S105において、エッジパワーが閾値よりも小さいと判定した場合には、処理をS107に進める。S107において、遮蔽ブロック判定部A206は、対象となるブロックを遮蔽ブロックと判定する。また、S108において、遮蔽ブロック判定部A206は、遮蔽ブロック数を加算する。
一方で、遮蔽ブロック判定部A206は、S105において、エッジパワーが閾値よりも小さくないと判定した場合には、処理をS106に進める。S106において、遮蔽ブロック判定部A206は、対象となるブロックを非遮蔽ブロックと判定する。
なお、S104〜S108の処理が、第1の判定処理の一例に相当する。
In S103, the feature amount extraction unit A205 applies a sobe filter to each block divided from the input image, and extracts edge power as a feature amount of the partial image corresponding to the block for each block.
In S104, the shielding block determination unit A206 compares the edge power extracted for the target block with the threshold value corresponding to the detection sensitivity set for the block.
In S105, the shielding block determination unit A206 determines whether or not the edge power of the target block is smaller than the threshold value based on the comparison result in S104.
When the shielding block determination unit A206 determines in S105 that the edge power is smaller than the threshold value, the process proceeds to S107. In S107, the shielding block determination unit A206 determines that the target block is a shielding block. Further, in S108, the shielding block determination unit A206 adds the number of shielding blocks.
On the other hand, if the shielding block determination unit A206 determines in S105 that the edge power is not smaller than the threshold value, the process proceeds to S106. In S106, the shield block determination unit A206 determines that the target block is a non-shield block.
The processing of S104 to S108 corresponds to an example of the first determination processing.
以上のようにして、特徴量抽出部A205及び遮蔽ブロック判定部A206は、入力画像が分割された複数のブロック全てに対して、S103〜S108の処理を実行する。
そして、撮像装置A101は、S102において入力画像が分割された複数のブロック全てについてS103〜S108の処理が実行済であると判定した場合には、処理をS109に進める。
As described above, the feature amount extraction unit A205 and the shielding block determination unit A206 execute the processes S103 to S108 for all the plurality of blocks in which the input image is divided.
Then, when the image pickup apparatus A101 determines in S102 that the processes of S103 to S108 have been executed for all the plurality of blocks in which the input image is divided, the image pickup apparatus A101 advances the process to S109.
S109において、阻害判定部A208は、入力画面から分割された全ブロック数のうちの遮蔽ブロック数の割合を、面積割合設定部A214によりあらかじめ設定された閾値(以下、「面積閾値」とも称する)と比較する。
S110において、阻害判定部A208は、遮蔽ブロック数の割合が面積閾値よりも小さいか否かを判定する。
阻害判定部A208は、S110において、遮蔽ブロック数の割合が面積閾値よりも小さいと判定した場合には、処理をS113に進める。S113において、阻害判定部A208は、撮像部A201による撮像が阻害されていない状態であると判定する。
In S109, the inhibition determination unit A208 sets the ratio of the number of shielded blocks to the total number of blocks divided from the input screen as a threshold value preset by the area ratio setting unit A214 (hereinafter, also referred to as “area threshold value”). compare.
In S110, the inhibition determination unit A208 determines whether or not the ratio of the number of shielded blocks is smaller than the area threshold value.
When the inhibition determination unit A208 determines in S110 that the ratio of the number of shielded blocks is smaller than the area threshold value, the process proceeds to S113. In S113, the inhibition determination unit A208 determines that the imaging by the imaging unit A201 is not inhibited.
一方で、阻害判定部A208は、S110において、遮蔽ブロック数の割合が面積閾値よりも小さくないと判定した場合には、処理をS111に進める。S111において、阻害判定部A208は、撮像部A201による撮像が阻害されている状態であると判定する。
また、S112において、通知部A209は、撮像部A201による撮像が阻害されている状態を検知したことを、管理装置A105に通知する。
なお、S109〜S113の処理が、第2の判定処理の一例に相当する。
On the other hand, if the inhibition determination unit A208 determines in S110 that the ratio of the number of shielded blocks is not smaller than the area threshold value, the process proceeds to S111. In S111, the inhibition determination unit A208 determines that the imaging by the imaging unit A201 is inhibited.
Further, in S112, the notification unit A209 notifies the management device A105 that the state in which the image pickup by the image pickup unit A201 is hindered is detected.
The processing of S109 to S113 corresponds to an example of the second determination processing.
続いて、図7及び図8を参照して、撮像部A201による撮像が阻害されている状態の検知に関する各種設定の変更に係る処理の一例について説明する。撮像部A201による撮像が阻害されている状態の検知に関する各種設定の指定については、管理装置A105がユーザに対して所定の設定画面を提示し、当該設定画面を介して当該ユーザから受け付ける。図7は、一連の処理の流れを示したフローチャートである。また、図8は、上記設定画面の一例を示している。 Subsequently, with reference to FIGS. 7 and 8, an example of a process relating to the change of various settings related to the detection of the state in which the image pickup by the image pickup unit A201 is hindered will be described. Regarding the designation of various settings related to the detection of the state in which the image pickup is hindered by the image pickup unit A201, the management device A105 presents a predetermined setting screen to the user and accepts it from the user via the setting screen. FIG. 7 is a flowchart showing the flow of a series of processes. Further, FIG. 8 shows an example of the above setting screen.
図7のS201において、感度値設定部A211は、ブロックが遮蔽された状態の検知において、基本となる検知感度の設定を行う。
例えば、図8に示す設定画面において、A601は、基本となる感度値の指定をユーザから受け付けるスライダーである。スライダーA601が左右にスライドされることで、感度値が1%から100%の間で設定される。図8に示す例では、感度値として1が設定された場合に感度が最小となり、感度値として100が設定された場合には感度が最大となる。また、感度値のデフォルト値として50が設定されるものとする。
具体的には、図7のS201において、管理装置A105は、スライダーA601を介して指定された感度値を、ネットワークを介して撮像装置A101に送信する。撮像装置A101において、感度値設定部A211は、管理装置A105から送信された感度値に基づき、ブロックが遮蔽された状態の検知に係る検知感度を設定する。
In S201 of FIG. 7, the sensitivity value setting unit A211 sets the basic detection sensitivity in the detection of the state in which the block is shielded.
For example, in the setting screen shown in FIG. 8, A601 is a slider that accepts the designation of the basic sensitivity value from the user. By sliding the slider A601 left and right, the sensitivity value is set between 1% and 100%. In the example shown in FIG. 8, the sensitivity is minimized when 1 is set as the sensitivity value, and the sensitivity is maximized when 100 is set as the sensitivity value. Further, it is assumed that 50 is set as the default value of the sensitivity value.
Specifically, in S201 of FIG. 7, the management device A105 transmits the sensitivity value specified via the slider A601 to the image pickup device A101 via the network. In the image pickup apparatus A101, the sensitivity value setting unit A211 sets the detection sensitivity related to the detection of the blocked state of the block based on the sensitivity value transmitted from the management apparatus A105.
図7のS202において、領域設定部A212は、検知感度を下げるブロックを設定する。
例えば、図9は、検知感度を下げるブロックの指定をユーザから受け付ける設定画面の一例を示している。図9に示す例では、画面上方の天井に相当する部分については、他の部分に比べてエッジ成分が少なく、遮蔽ブロックとして誤判定されやすい部分である。そのため、図9に示す例では、例えば、ポインティングデバイスによるドラッグ操作等により斜線で示した矩形領域として、検知感度を下げるブロックが指定されている。
具体的には、図7のS202において、管理装置A105は、図9に示す設定画面で指定された領域に関する情報を、ネットワークを介して撮像装置A101に送信する。撮像装置A101において、領域設定部A212は、管理装置A105から送信された領域に関する情報に基づき、検知感度を下げるブロックを設定する。例えば、図9に示す例の場合には、画面の上方の3個のブロックが、検知感度を下げるブロックとして設定されることとなる。
In S202 of FIG. 7, the area setting unit A212 sets a block that lowers the detection sensitivity.
For example, FIG. 9 shows an example of a setting screen that accepts a user to specify a block that lowers the detection sensitivity. In the example shown in FIG. 9, the portion corresponding to the ceiling above the screen has less edge components than the other portions, and is likely to be erroneously determined as a shielding block. Therefore, in the example shown in FIG. 9, for example, a block that lowers the detection sensitivity is designated as a rectangular area shown by a diagonal line by a drag operation by a pointing device or the like.
Specifically, in S202 of FIG. 7, the management device A105 transmits information about the area designated on the setting screen shown in FIG. 9 to the image pickup device A101 via the network. In the image pickup apparatus A101, the region setting unit A212 sets a block for lowering the detection sensitivity based on the information regarding the region transmitted from the management apparatus A105. For example, in the case of the example shown in FIG. 9, the three blocks at the upper part of the screen are set as blocks for lowering the detection sensitivity.
図7のS203において、閾値設定部A213は、S202において設定されたブロックについて検知感度を下げる割合を設定する。
例えば、図8に示す設定画面において、A602は、補正値として検知感度を下げる割合の指定をユーザから受け付けるスライダーである。スライダーA602が左右にスライドされることで、補正値が−1から−20の間で設定される。図8に示す例では、補正値として−20が設定された場合に感度を下げる割合が最大となり、補正値として−1が設定された場合には感度を下げる割合が最小となる。また、補正値のデフォルト値として−10が設定されるものとする。
具体的には、図7のS203において、管理装置A105は、スライダーA602を介して指定された補正値を、ネットワークを介して撮像装置A101に送信する。撮像装置A101において、閾値設定部A213は、S202において設定されたブロックを対象として、S201において当該ブロックに設定された検知感度を、管理装置A105から送信された補正値に基づき補正する。この際に、当該検知感度は、当該補正値に応じて、最大で20、最小で1だけ補正されることとなる。
In S203 of FIG. 7, the threshold value setting unit A213 sets the rate of lowering the detection sensitivity for the block set in S202.
For example, in the setting screen shown in FIG. 8, A602 is a slider that accepts from the user the designation of the ratio for lowering the detection sensitivity as a correction value. By sliding the slider A602 left and right, the correction value is set between -1 and -20. In the example shown in FIG. 8, when -20 is set as the correction value, the rate of lowering the sensitivity is maximum, and when -1 is set as the correction value, the rate of lowering the sensitivity is the minimum. Further, it is assumed that -10 is set as the default value of the correction value.
Specifically, in S203 of FIG. 7, the management device A105 transmits the correction value specified via the slider A602 to the image pickup device A101 via the network. In the image pickup apparatus A101, the threshold value setting unit A213 targets the block set in S202, and corrects the detection sensitivity set in the block in S201 based on the correction value transmitted from the management apparatus A105. At this time, the detection sensitivity is corrected by 20 at the maximum and 1 at the minimum according to the correction value.
S204において、閾値設定部A213は、S201で設定された検知感度に基づき、対象となるブロックが遮蔽ブロックか否かの判定に係る閾値を設定する。また、この際に、閾値設定部A213は、S202で設定されたブロックを対象として、S203で設定された補正値に基づき、上記閾値を補正する。例えば、検知感度として60が設定され、補正値として−20が設定された場合には、補正対象以外のブロックには上記閾値として60が設定され、補正対象のブロックには上記閾値として40が設定されることとなる。例えば、図10は、上記閾値の補正結果の一例を示している。図10に示す例では、図9に示す例において補正対象として指定されたブロックに対して上記閾値として40が設定されており、他のブロックに対して上記閾値として60が設定されている。
なお、上記閾値については、図6のS105の処理における判定に利用される。
In S204, the threshold value setting unit A213 sets a threshold value for determining whether or not the target block is a shielding block, based on the detection sensitivity set in S201. Further, at this time, the threshold value setting unit A213 corrects the threshold value based on the correction value set in S203 for the block set in S202. For example, when 60 is set as the detection sensitivity and -20 is set as the correction value, 60 is set as the threshold value for the blocks other than the correction target, and 40 is set as the threshold value for the blocks to be corrected. Will be done. For example, FIG. 10 shows an example of the correction result of the above threshold value. In the example shown in FIG. 10, 40 is set as the threshold value for the block designated as the correction target in the example shown in FIG. 9, and 60 is set as the threshold value for the other blocks.
The above threshold value is used for determination in the process of S105 in FIG.
S205において、面積割合設定部A214は、撮像部A201による撮像が阻害されている状態か否かの判定に利用される、入力画面から分割された全ブロック数のうちの遮蔽ブロック数の割合の閾値(面積閾値)を設定する。
例えば、図8に示す設定画面において、A603は、撮像部A201による撮像が阻害されている状態か否かの判定に係る、入力画面中の遮蔽ブロックの面積割合(換言すると、全ブロック中の遮蔽ブロックの割合)の指定をユーザから受け付けるスライダーである。スライダーA602が左右にスライドされることで、面積割合が1%から100%の間で設定される。
具体的には、図7のS205において、管理装置A105は、スライダーA603を介して指定された面積割合に関する情報を、ネットワークを介して撮像装置A101に送信する。撮像装置A101において、面積割合設定部A214は、管理装置A105から送信された面積割合に関する情報に基づき、撮像部A201による撮像が阻害されている状態か否かの判定に利用される面積閾値を設定する。
なお、上記面積閾値については、図6のS110の処理における判定に利用される。
In S205, the area ratio setting unit A214 is a threshold value of the ratio of the number of shielded blocks to the total number of blocks divided from the input screen, which is used to determine whether or not the image pickup by the image pickup unit A201 is hindered. Set (area threshold).
For example, in the setting screen shown in FIG. 8, the A603 is the area ratio of the shielding block in the input screen (in other words, the shielding in all the blocks) related to the determination of whether or not the imaging by the imaging unit A201 is hindered. It is a slider that accepts the specification of (block ratio) from the user. By sliding the slider A602 left and right, the area ratio is set between 1% and 100%.
Specifically, in S205 of FIG. 7, the management device A105 transmits information regarding the designated area ratio via the slider A603 to the image pickup device A101 via the network. In the image pickup device A101, the area ratio setting unit A214 sets an area threshold value used for determining whether or not the image pickup by the image pickup unit A201 is hindered based on the information regarding the area ratio transmitted from the management device A105. do.
The area threshold is used for determination in the process of S110 in FIG.
以上のような処理が適用されることで、各ブロックが遮蔽ブロックか否かの判定に係る閾値や、撮像部A201による撮像が阻害されている状態か否かの判定に係る面積閾値を、撮像装置A101の利用シーンに応じて好適な態様で補正することが可能となる。このような仕組みにより、撮像部A201による撮像が阻害されている状態の検知に係る精度を、その時々の状況にあわせて向上させることが可能となる。 By applying the above processing, the threshold value for determining whether or not each block is a shielding block and the area threshold value for determining whether or not the imaging by the imaging unit A201 is hindered are captured. It is possible to make corrections in a suitable manner according to the usage scene of the device A101. With such a mechanism, it is possible to improve the accuracy of detecting the state in which the image pickup unit A201 is hindered according to the situation at that time.
<変形例>
続いて、本実施形態の変形例について説明する。上述した実施形態では、検知感度を下げる領域がユーザによる操作に基づき手動で設定されていた。これに対して、本変形例では、撮像部A201による撮像結果に応じた画像から分割されたブロックが遮蔽された状態の検知結果を利用して、検知感度を下げる領域を撮像装置A101が自動で設定する仕組みの一例について説明する。
<Modification example>
Subsequently, a modified example of the present embodiment will be described. In the above-described embodiment, the area for lowering the detection sensitivity is manually set based on the operation by the user. On the other hand, in this modification, the image pickup apparatus A101 automatically determines the region where the detection sensitivity is lowered by using the detection result in the state where the block divided from the image corresponding to the image pickup result by the image pickup unit A201 is shielded. An example of the setting mechanism will be described.
(機能構成)
まず、図11を参照して、本変形例に係る撮像装置A101の機能構成の一例について説明する。本変形例に係る撮像装置A101は、特徴量抽出部A205と遮蔽ブロック判定部A206との間に遮蔽ブロック仮判定部A215が介在し、かつ検知設定受付部A207の出力を補正する閾値補正部A216を備える点で、図3に示す例と異なる。なお、図11において、図3と同様の符号については、図3において当該符号が付された構成要素と同様の構成要素を示すものとする。以上を踏まえ、以降では、本変形例に係る撮像装置A101の機能構成について、図3に示す例とは異なる部分に着目して説明する。
(Functional configuration)
First, with reference to FIG. 11, an example of the functional configuration of the image pickup apparatus A101 according to this modification will be described. In the image pickup apparatus A101 according to this modification, the threshold value correction unit A216 in which the shield block provisional determination unit A215 is interposed between the feature amount extraction unit A205 and the shield block determination unit A206 and the output of the detection setting reception unit A207 is corrected. It is different from the example shown in FIG. 3 in that the above is provided. It should be noted that, in FIG. 11, with respect to the same reference numerals as those in FIG. 3, it is assumed that the same components as those to which the reference numerals are given in FIG. 3 are shown. Based on the above, the functional configuration of the image pickup apparatus A101 according to this modified example will be described by focusing on a portion different from the example shown in FIG.
遮蔽ブロック仮判定部A215は、特徴量抽出部A205によるブロックごとの特徴量(例えば、エッジパワー)の抽出結果に基づき、ブロックごとに遮蔽ブロックか否かの判定を行う。なお、同判定に係る処理の詳細については、本変形例に係る撮像装置A101の処理の説明とあわせて後述する。 The shield block provisional determination unit A215 determines whether or not the block is a shield block based on the extraction result of the feature amount (for example, edge power) for each block by the feature amount extraction unit A205. The details of the processing related to the determination will be described later together with the description of the processing of the image pickup apparatus A101 according to the present modification.
閾値補正部A216は、遮蔽ブロック仮判定部A215による判定結果に基づき、検知設定受付部A207から出力される、各ブロックが遮蔽ブロックか否かの判定に係る閾値を補正する。なお、同補正に係る処理の詳細については、本変形例に係る撮像装置A101の処理の説明とあわせて後述する。 The threshold value correction unit A216 corrects the threshold value for determining whether or not each block is a shield block, which is output from the detection setting reception unit A207, based on the determination result by the shield block provisional determination unit A215. The details of the processing related to the correction will be described later together with the description of the processing of the image pickup apparatus A101 according to the present modification.
(処理)
次いで、図12を参照して、本変形例に係る撮像装置A101の処理の一例について、特に、各ブロックが遮蔽ブロックか否かの判定に係る閾値を補正する処理に着目して説明する。なお、図12に示す例では、対象となるブロックが遮蔽ブロックか否かの判定に対して、当該ブロックから抽出される特徴量としてエッジパワーが利用されるものとする。
(process)
Next, with reference to FIG. 12, an example of the processing of the image pickup apparatus A101 according to the present modification will be described with particular attention to the processing for correcting the threshold value related to the determination of whether or not each block is a shielding block. In the example shown in FIG. 12, edge power is used as a feature amount extracted from the block for determining whether or not the target block is a shielding block.
まず、一連の処理の実行の開始時には、閾値補正部A216が保持する検知感度の設定値には、検知設定受付部A207から出力された、ユーザからの指示に基づく補正前の検知感度が設定される。そのうえで、S301において、閾値補正部A216は、当該検知感度を遮蔽ブロック仮判定部A215に通知する。遮蔽ブロック仮判定部A215は、閾値補正部A216から通知された検知感度を、ブロックごとに遮蔽ブロックか否かの判定に利用する情報として設定する。 First, at the start of execution of a series of processes, the detection sensitivity before correction based on the instruction from the user output from the detection setting reception unit A207 is set in the setting value of the detection sensitivity held by the threshold value correction unit A216. NS. Then, in S301, the threshold value correction unit A216 notifies the shielding block provisional determination unit A215 of the detection sensitivity. The shielding block provisional determination unit A215 sets the detection sensitivity notified from the threshold value correction unit A216 as information used for determining whether or not the shielding block is a shielding block for each block.
S302において、遮蔽ブロック仮判定部A215は、特徴量抽出部A205からブロックごとのエッジパワーの抽出結果に応じた情報を取得する。
S303において、遮蔽ブロック仮判定部A215は、ブロックごとのエッジパワーの抽出結果に基づき、各ブロックに対して遮蔽ブロックか否かの判定を実行する。閾値補正部A216は、遮蔽ブロック仮判定部A215による当該判定の結果に基づき、S304〜S307として後述する処理を実行することでブロックごとに遮蔽ブロックか否かの判定に係る閾値を補正する。
In S302, the shielding block provisional determination unit A215 acquires information according to the extraction result of the edge power for each block from the feature amount extraction unit A205.
In S303, the shield block provisional determination unit A215 executes determination as to whether or not each block is a shield block based on the extraction result of the edge power for each block. Based on the result of the determination by the shield block provisional determination unit A215, the threshold value correction unit A216 corrects the threshold value related to the determination of whether or not the shield block is a shield block by executing the processes described later as S304 to S307.
具体的には、S304において、閾値補正部A216は、全ブロックについてS305〜S307として後述する閾値の補正に係る処理が実行されたか否かを判定する。
閾値補正部A216は、S304において、全ブロックについて閾値の補正に係る処理が実行されていないと判定した場合には、処理をS305に進める。S305において、閾値補正部A216は、閾値の補正に係る処理が実行されていないブロックを抽出して、当該ブロックに設定された閾値が最小値か否かを判定する。
Specifically, in S304, the threshold value correction unit A216 determines whether or not the process related to the threshold value correction described later is executed as S305 to S307 for all the blocks.
When the threshold value correction unit A216 determines in S304 that the processing related to the threshold value correction has not been executed for all the blocks, the threshold value correction unit A216 advances the processing to S305. In S305, the threshold value correction unit A216 extracts a block in which the process related to the threshold value correction is not executed, and determines whether or not the threshold value set in the block is the minimum value.
閾値補正部A216は、S305においてブロックに設定された閾値が最小値と判定した場合には、処理をS304に進める。この場合には、当該ブロックについては、後述するS306、S307の処理が実行されない。
一方で、閾値補正部A216は、S305においてブロックに設定された閾値が最小値ではないと判定した場合には、処理をS306に進める。S306において、閾値補正部A216は、対象となるブロックがS303において非遮蔽ブロックと判定されたか否かを確認し、当該確認の結果に応じて以降の処理を切り替える。
When the threshold value correction unit A216 determines in S305 that the threshold value set in the block is the minimum value, the process proceeds to S304. In this case, the processes of S306 and S307 described later are not executed for the block.
On the other hand, when the threshold value correction unit A216 determines in S305 that the threshold value set in the block is not the minimum value, the process proceeds to S306. In S306, the threshold value correction unit A216 confirms whether or not the target block is determined to be an unshielded block in S303, and switches the subsequent processing according to the result of the confirmation.
具体的には、閾値補正部A216は、対象となるブロックがS306において非遮蔽ブロックと判定された場合には、処理をS304に進める。この場合には、当該ブロックについては、後述するS307の処理が実行されない。
一方で、閾値補正部A216は、対象となるブロックがS306において非遮蔽ブロックと判定されていない場合には、処理をS307に進める。S307において、閾値補正部A216は、対象となるブロックに対して設定された閾値を所定の値だけ低下させる。
Specifically, the threshold value correction unit A216 advances the process to S304 when the target block is determined to be an unshielded block in S306. In this case, the process of S307 described later is not executed for the block.
On the other hand, if the target block is not determined to be an unshielded block in S306, the threshold value correction unit A216 proceeds to process in S307. In S307, the threshold value correction unit A216 lowers the threshold value set for the target block by a predetermined value.
以上のようにして、閾値補正部A216は、全ブロックに対してS305〜307の処理を実行する。そして、閾値補正部A216は、S304において、全ブロックについて閾値の補正に係る処理が実行されたと判定した場合には、処理をS309に進める。 As described above, the threshold value correction unit A216 executes the process of S305-307 for all the blocks. Then, when the threshold value correction unit A216 determines in S304 that the process related to the threshold value correction has been executed for all the blocks, the process proceeds to S309.
S309において、閾値補正部A216は、全ブロックについて直前に実行されたS305〜S307の処理により少なくとも一部のブロックについて閾値が変更されたか否かを判定する。
閾値補正部A216は、S309において少なくとも一部のブロックについて閾値が変更されたと判定した場合には、処理をS308に進める。S308において、閾値補正部A216は、対象となるブロックの閾値を更新し、処理をS302に進める。この場合には、上記閾値の更新結果を踏まえ、S302〜S307の処理が改めて実行されることとなる。
In S309, the threshold value correction unit A216 determines whether or not the threshold value has been changed for at least a part of the blocks by the processing of S305 to S307 executed immediately before for all the blocks.
When the threshold value correction unit A216 determines in S309 that the threshold value has been changed for at least a part of the blocks, the process proceeds to S308. In S308, the threshold value correction unit A216 updates the threshold value of the target block and advances the process to S302. In this case, the processes S302 to S307 will be executed again based on the update result of the threshold value.
一方で、閾値補正部A216は、S309において全ブロックについて閾値が変更されなかったと判定した場合には、処理をS310に進める。S310において、閾値補正部A216は、閾値を遮蔽ブロック判定部A206に出力する。これにより、遮蔽ブロック判定部A206に対して閾値補正部A216から出力された閾値が設定される。
そして、S311において、閾値補正部A216は、上述した一連の補正処理を完了させる。
なお、以降においては、遮蔽ブロック仮判定部A215は、特徴量抽出部A205によるエッジパワーの抽出結果に応じた情報を、そのまま遮蔽ブロック判定部A206に転送することとなる。
On the other hand, if the threshold value correction unit A216 determines in S309 that the threshold value has not been changed for all blocks, the process proceeds to S310. In S310, the threshold value correction unit A216 outputs the threshold value to the shield block determination unit A206. As a result, the threshold value output from the threshold value correction unit A216 is set for the shield block determination unit A206.
Then, in S311 the threshold value correction unit A216 completes the series of correction processes described above.
From now on, the shielding block provisional determination unit A215 will transfer the information according to the extraction result of the edge power by the feature amount extraction unit A205 to the shielding block determination unit A206 as it is.
以上、変形例として、撮像部A201による撮像結果に応じた画像から分割されたブロックが遮蔽された状態の検知結果を利用して、検知感度を下げる領域を撮像装置A101が自動で設定する仕組みの一例について説明した。 As described above, as a modification, the image pickup apparatus A101 automatically sets a region for lowering the detection sensitivity by using the detection result in a state where the block divided from the image corresponding to the image pickup result by the image pickup unit A201 is shielded. An example has been described.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or recording medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
また、図3及び図11を参照して説明した構成はあくまで一例であり、必ずしも本変形例に係る撮像装置A101の機能構成を限定するものではない。例えば、撮像装置A101の一連の構成要素のうち、一部の構成要素が撮像装置A101の外部に設けられていてもよい。
具体的な一例として、A204〜A209として示した撮像部A201による撮像が阻害された状態の検知に係る構成要素が、撮像装置A101の外部に設けられていてもよい。この場合には、A204〜A209として示した撮像部A201による撮像が阻害された状態の検知に係る構成要素を含む装置が、本実施形態に係る「情報処理装置」の一例に相当する。
また、他の一例として、撮像装置A101の一連の構成要素のうち、少なくとも一部の構成要素の処理に係る負荷が複数の装置に分散されてもよい。
Further, the configuration described with reference to FIGS. 3 and 11 is merely an example, and does not necessarily limit the functional configuration of the image pickup apparatus A101 according to the present modification. For example, a part of the components of the series of components of the image pickup device A101 may be provided outside the image pickup device A101.
As a specific example, the component related to the detection of the state in which the image pickup by the image pickup unit A201 shown as A204 to A209 is hindered may be provided outside the image pickup apparatus A101. In this case, the device including the component related to the detection of the state in which the image pickup is inhibited by the image pickup unit A201 shown as A204 to A209 corresponds to an example of the "information processing device" according to the present embodiment.
Further, as another example, the load related to the processing of at least a part of the components of the series of components of the image pickup apparatus A101 may be distributed to a plurality of devices.
A101 撮像装置
A201 撮像部
A204 ブロック分割部
A205 特徴量抽出部
A206 遮蔽ブロック判定部
A208 阻害判定部
A101 Imaging device A201 Imaging unit A204 Block division A205 Feature extraction unit A206 Shielding block determination unit A208 Obstruction determination unit
Claims (7)
前記撮像部の画角のうち前記ブロックに対応する部分領域の遮蔽の検知に係る検知感度を設定する設定手段と、
前記画像のうち前記ブロックに対応する部分画像の特徴量を抽出する抽出手段と、
前記ブロックごとに前記特徴量と前記検知感度とを比較することで、当該ブロックが、対応する前記部分領域が遮蔽された遮蔽ブロックか否かを判定する第1の判定手段と、
前記複数のブロックにおける前記遮蔽ブロックと判定された前記ブロックの割合に応じて、前記撮像部の撮像が阻害された状態か否かを判定する第2の判定手段と、
を備える、情報処理装置。 A dividing means for dividing an image according to the image pickup result by the image pickup unit into a plurality of blocks, and
A setting means for setting the detection sensitivity related to the detection of the occlusion of the partial region corresponding to the block in the angle of view of the imaging unit, and the setting means.
An extraction means for extracting a feature amount of a partial image corresponding to the block in the image, and an extraction means.
A first determination means for determining whether or not the block is a shielding block in which the corresponding partial region is shielded by comparing the feature amount and the detection sensitivity for each block.
A second determination means for determining whether or not the imaging of the imaging unit is hindered according to the ratio of the blocks determined to be the shielding blocks in the plurality of blocks.
An information processing device.
撮像部による撮像結果に応じた画像を複数のブロックに分割する分割ステップと、
前記撮像部の画角のうち前記ブロックに対応する部分領域の遮蔽の検知に係る検知感度を設定する設定ステップと、
前記画像のうち前記ブロックに対応する部分画像の特徴量を抽出する抽出手段と、
前記ブロックごとに前記特徴量と前記検知感度とを比較することで、当該ブロックが、対応する前記部分領域が遮蔽された遮蔽ブロックか否かを判定する第1の判定ステップと、
前記複数のブロックにおける前記遮蔽ブロックと判定された前記ブロックの割合に応じて、前記撮像部の撮像が阻害された状態か否かを判定する第2の判定ステップと、
を含む、情報処理方法。 It is an information processing method executed by an information processing device.
A division step of dividing an image according to the image capture result by the image pickup unit into a plurality of blocks, and
A setting step for setting the detection sensitivity related to the detection of the occlusion of the partial region corresponding to the block in the angle of view of the imaging unit, and the setting step.
An extraction means for extracting a feature amount of a partial image corresponding to the block in the image, and an extraction means.
A first determination step of determining whether or not the block is a shielding block in which the corresponding partial region is shielded by comparing the feature amount and the detection sensitivity for each block.
A second determination step for determining whether or not the imaging of the imaging unit is hindered according to the ratio of the blocks determined to be the shielding blocks in the plurality of blocks.
Information processing methods, including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020086981A JP2021182682A (en) | 2020-05-18 | 2020-05-18 | Information processing unit, information processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020086981A JP2021182682A (en) | 2020-05-18 | 2020-05-18 | Information processing unit, information processing method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021182682A true JP2021182682A (en) | 2021-11-25 |
Family
ID=78606856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020086981A Pending JP2021182682A (en) | 2020-05-18 | 2020-05-18 | Information processing unit, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021182682A (en) |
-
2020
- 2020-05-18 JP JP2020086981A patent/JP2021182682A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7140580B2 (en) | stereo imager | |
WO2021042816A1 (en) | Method and device for detecting fault in monitoring apparatus | |
US9761103B2 (en) | Portable terminal having video surveillance apparatus, video surveillance method using the portable terminal, and video surveillance system | |
KR102592231B1 (en) | Method for diagnosing fault of camera | |
CN110602488A (en) | Day and night type camera device switching abnormity detection method and device and camera device | |
US20150334299A1 (en) | Monitoring system | |
CN105430247A (en) | Method and device for taking photograph by using image pickup device | |
US9615029B2 (en) | Method and apparatus for determining a need for a change in a pixel density requirement due to changing light conditions | |
KR20190016900A (en) | Information processing apparatus, information processing method, and storage medium | |
US20200045242A1 (en) | Display control device, display control method, and program | |
EP3503021A1 (en) | Information processing device, system, information processing method, and storage medium | |
EP3422287B1 (en) | Information processing apparatus, information processing method, and program | |
US20070297753A1 (en) | Image correcting apparatus | |
KR20030040700A (en) | Security system | |
CN111091073A (en) | Abnormal event monitoring equipment and method combining video and audio | |
KR20110026753A (en) | System for monitoring image and thereof method | |
JP2013021551A (en) | Detection device, detection method, and program | |
JP2021182682A (en) | Information processing unit, information processing method and program | |
CN116320387B (en) | Camera module detection system and detection method | |
US10949713B2 (en) | Image analyzing device with object detection using selectable object model and image analyzing method thereof | |
CN116740885A (en) | Smoke flame alarm method and device, electronic equipment and storage medium | |
TW201721583A (en) | Method for increasing reliability in monitoring systems | |
JP2021182216A (en) | Information processing apparatus, information processing method, and program | |
JP6543214B2 (en) | Motion monitoring device | |
KR100982342B1 (en) | Intelligent security system and operating method thereof |