JP2017108286A - Electronic apparatus, conveyance system, factory, and program - Google Patents

Electronic apparatus, conveyance system, factory, and program Download PDF

Info

Publication number
JP2017108286A
JP2017108286A JP2015240559A JP2015240559A JP2017108286A JP 2017108286 A JP2017108286 A JP 2017108286A JP 2015240559 A JP2015240559 A JP 2015240559A JP 2015240559 A JP2015240559 A JP 2015240559A JP 2017108286 A JP2017108286 A JP 2017108286A
Authority
JP
Japan
Prior art keywords
imaging
unit
control unit
system control
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015240559A
Other languages
Japanese (ja)
Other versions
JP6701706B2 (en
Inventor
徹 宮越
Toru Miyakoshi
徹 宮越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015240559A priority Critical patent/JP6701706B2/en
Publication of JP2017108286A publication Critical patent/JP2017108286A/en
Application granted granted Critical
Publication of JP6701706B2 publication Critical patent/JP6701706B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an easy-to-use electronic apparatus, a conveyance system provided with the same, a factory, and an easy-to-use program.SOLUTION: An electronic apparatus (10) comprises: an imaging part (14) which has plural imaging areas comprising at least one pixel and allows setting imaging conditions for each imaging area; and a control part (24) which sets a specific imaging area out of the imaging areas on the basis of an image obtained by the imaging part and when a target subject is imaged by the specific imaging area, changes the imaging conditions of the specific imaging area.SELECTED DRAWING: Figure 2

Description

本発明は、電子機器、搬送システム、工場、及びプログラムに関する。   The present invention relates to an electronic device, a conveyance system, a factory, and a program.

複数の監視カメラの映像を並べて表示しながら集中監視する監視システムが知られている(例えば、特許文献1参照)。監視システムの監視カメラの撮像条件を撮像素子の一部で変化させることができない。   A monitoring system that performs centralized monitoring while displaying images from a plurality of monitoring cameras side by side is known (see, for example, Patent Document 1). The imaging condition of the surveillance camera of the surveillance system cannot be changed by a part of the imaging device.

特開2011−97309号公報JP 2011-97309 A

本発明の電子機器は、少なくとも1つの画素を有する撮像領域を複数有し、前記撮像領域毎に撮像条件が設定可能である撮像部と、前記撮像部で撮像された画像により前記複数の撮像領域から特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更する制御部とを備えている。   The electronic apparatus according to the present invention includes a plurality of imaging regions having at least one pixel, an imaging unit in which imaging conditions can be set for each imaging region, and the plurality of imaging regions based on images captured by the imaging unit. A control unit that sets a specific imaging region and changes an imaging condition of the specific imaging region when a target subject is imaged in the specific imaging region.

本発明の搬送システムは、物品を搬送する搬送装置と、対象被写体として前記物品を撮像する上記に記載の電子機器と、を備えている。   The conveyance system of the present invention includes a conveyance device that conveys an article, and the electronic apparatus described above that images the article as a target subject.

本発明の工場は、上記に記載の搬送システムを備えている。   The factory of this invention is equipped with the conveyance system as described above.

本発明のプログラムは、少なくとも1つの画素を有する撮像領域を複数有し、前記撮像領域毎に撮像条件が設定可能である撮像部を制御するプログラムであって、前記撮像部で撮像された画像から前記複数の撮像領域のうちの特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更するように制御する、処理を、コンピュータに実行させる。   The program of the present invention is a program for controlling an image pickup unit that has a plurality of image pickup regions having at least one pixel and for which an image pickup condition can be set for each of the image pickup regions, from an image picked up by the image pickup unit. A process is executed in a computer that sets a specific imaging area of the plurality of imaging areas and controls the imaging condition of the specific imaging area to be changed when a target subject is imaged in the specific imaging area. Let

第1の実施形態に係る監視カメラシステムの構成を示す図である。It is a figure showing the composition of the surveillance camera system concerning a 1st embodiment. 監視カメラの構成を示す図である。It is a figure which shows the structure of a surveillance camera. 撮像素子の断面図である。It is sectional drawing of an image pick-up element. 撮像チップの画素配列と単位グループを説明する図である。It is a figure explaining the pixel arrangement | sequence and unit group of an imaging chip. 各画素の等価回路図を示す図である。It is a figure which shows the equivalent circuit schematic of each pixel. 単位グループにおける画素の接続関係を示す回路図である。It is a circuit diagram which shows the connection relation of the pixel in a unit group. 撮像素子の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of an image pick-up element. 第1の実施形態に係る監視カメラの処理を示すフローチャート(その1)である。It is a flowchart (the 1) which shows the process of the surveillance camera which concerns on 1st Embodiment. 第1の実施形態に係る監視カメラの処理を示すフローチャート(その2)である。It is a flowchart (the 2) which shows the process of the surveillance camera which concerns on 1st Embodiment. 図8のステップS16を説明するための図である。It is a figure for demonstrating step S16 of FIG. 図9のステップS22を説明するための図である。It is a figure for demonstrating step S22 of FIG. 管理装置に表示される画像の一例である。It is an example of the image displayed on a management apparatus. 第2の実施形態に係る監視カメラの処理を示すフローチャート(その1)である。It is a flowchart (the 1) which shows the process of the surveillance camera which concerns on 2nd Embodiment. 第2の実施形態に係る監視カメラの処理を示すフローチャート(その2)である。It is a flowchart (the 2) which shows the process of the surveillance camera which concerns on 2nd Embodiment. 図13のステップS42を説明するための図である。It is a figure for demonstrating step S42 of FIG. 図16(a)、図16(b)は、図13のステップS50を説明するための図である。FIG. 16A and FIG. 16B are diagrams for explaining step S50 in FIG. 第3の実施形態に係る搬送システムを備える工場を示す図である。It is a figure which shows the factory provided with the conveyance system which concerns on 3rd Embodiment. 第3の実施形態に係る搬送システムに備わる監視カメラの処理を示すフローチャート(その1)である。It is a flowchart (the 1) which shows the process of the surveillance camera with which the conveyance system which concerns on 3rd Embodiment is equipped. 第3の実施形態に係る搬送システムに備わる監視カメラの処理を示すフローチャート(その2)である。It is a flowchart (the 2) which shows the process of the surveillance camera with which the conveyance system which concerns on 3rd Embodiment is equipped. 図20(a)は、図18のステップS70を説明するための図であり、図20(b)は、図18のステップS74を説明するための図である。20A is a diagram for explaining step S70 in FIG. 18, and FIG. 20B is a diagram for explaining step S74 in FIG. 図21(a)は、図18のステップS80を説明するための図であり、図21(b)は、図19のステップS86を説明するための図である。FIG. 21A is a diagram for explaining step S80 in FIG. 18, and FIG. 21B is a diagram for explaining step S86 in FIG.

《第1の実施形態》
以下、第1の実施形態に係る監視カメラシステム500について、図1〜図11に基づいて詳細に説明する。図1には、本第1の実施形態に係る監視カメラシステム500の構成が概略的に示されている。
<< First Embodiment >>
Hereinafter, the surveillance camera system 500 according to the first embodiment will be described in detail with reference to FIGS. FIG. 1 schematically shows a configuration of a surveillance camera system 500 according to the first embodiment.

監視カメラシステム500は、図1に示すように、複数の監視カメラ10と、管理装置50と、を備える。監視カメラ10と管理装置50とは、LAN(Local Area Network)等のネットワーク60に接続されている。   As shown in FIG. 1, the monitoring camera system 500 includes a plurality of monitoring cameras 10 and a management device 50. The monitoring camera 10 and the management device 50 are connected to a network 60 such as a LAN (Local Area Network).

監視カメラ10は、ビル内や工場内、路上等を監視するために用いられるカメラであり、図2に示すような構成を有する。監視カメラ10は、図2に示すように、レンズ部12、撮像部14、画像処理部16、ワークメモリ18、操作部20、記録部22、システム制御部24、通信部26、及び照度計28を備えている。   The monitoring camera 10 is a camera used for monitoring the inside of a building, a factory, the road, etc., and has a configuration as shown in FIG. As shown in FIG. 2, the monitoring camera 10 includes a lens unit 12, an imaging unit 14, an image processing unit 16, a work memory 18, an operation unit 20, a recording unit 22, a system control unit 24, a communication unit 26, and an illuminometer 28. It has.

レンズ部12は、複数のレンズ群から構成された撮像光学系である。レンズ部12は、被写体からの光束を撮像部14に導く。なお、レンズ部12は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。   The lens unit 12 is an imaging optical system composed of a plurality of lens groups. The lens unit 12 guides the light flux from the subject to the imaging unit 14. The lens unit 12 may have a built-in focus lens or a zoom lens.

撮像部14は、撮像素子30と、駆動部32と、を有する。撮像素子30は、取得した画素信号を画像処理部16へ引き渡す。駆動部32は、システム制御部24からの指示に従って、撮像素子30の駆動を制御する制御回路である。なお、撮像素子30の具体的構成、及び駆動部32による撮像素子30の具体的な駆動制御については後述する。   The imaging unit 14 includes an imaging element 30 and a driving unit 32. The image sensor 30 delivers the acquired pixel signal to the image processing unit 16. The drive unit 32 is a control circuit that controls the drive of the image sensor 30 in accordance with an instruction from the system control unit 24. The specific configuration of the image sensor 30 and the specific drive control of the image sensor 30 by the drive unit 32 will be described later.

画像処理部16は、ワークメモリ18をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。画像処理部16は、第1画像処理部16Aと、第2画像処理部16Bと、を有する。本第1の実施形態においては、後述するように、システム制御部24は、撮像素子30の画素領域内に移動被写体(例えば人)が侵入してきた場合に、画素領域のうちの当該移動被写体が含まれる範囲を変動ブロック(領域)として設定する。また、システム制御部24は、変動ブロックが設定される前の全ブロックの撮像条件とは異なる撮像条件によって変動ブロックの撮像を行うように撮像素子30を駆動制御する。この場合において、例えば第1画像処理部16Aは、全ブロックに含まれる画素からの信号の画像処理を実行し、第2画像処理部16Bは、変動ブロックに含まれる画素からの信号の画像処理を実行する。   The image processing unit 16 uses the work memory 18 as a work space, performs various image processing on the RAW data composed of pixel signals of each pixel, and generates image data. The image processing unit 16 includes a first image processing unit 16A and a second image processing unit 16B. In the first embodiment, as will be described later, when the moving subject (for example, a person) enters the pixel area of the image sensor 30, the system control unit 24 determines that the moving subject in the pixel area is The included range is set as a variable block (area). Further, the system control unit 24 drives and controls the image sensor 30 so that the fluctuation block is imaged under an imaging condition different from the imaging conditions of all the blocks before the fluctuation block is set. In this case, for example, the first image processing unit 16A performs image processing of signals from pixels included in all blocks, and the second image processing unit 16B performs image processing of signals from pixels included in the fluctuation block. Run.

画像処理部16は、種々の画像処理を実行する。例えば画像処理部16は、撮像素子30で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部16は、画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整等の画像処理を行う。また、画像処理部16は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部16は、生成した画像データを記録部22に出力する。   The image processing unit 16 performs various image processing. For example, the image processing unit 16 generates an RGB image signal by performing color signal processing (tone correction) on the signal obtained by the image sensor 30. The image processing unit 16 performs image processing such as white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment on the image signal. Further, the image processing unit 16 performs a process of compressing in a predetermined compression format (JPEG format, MPEG format, etc.) as necessary. The image processing unit 16 outputs the generated image data to the recording unit 22.

画像処理部16は、撮像部14から時系列的に得られる複数のフレームのうち所定タイミング毎のフレームを抽出する。また、画像処理部16は、撮像部14から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。   The image processing unit 16 extracts frames at predetermined timings from among a plurality of frames obtained in time series from the imaging unit 14. The image processing unit 16 adds one or more frames to be interpolated between the frames based on the plurality of frames obtained in time series from the imaging unit 14 between the frames. As a result, a moving image with smoother motion can be reproduced during moving image reproduction.

ワークメモリ18は、画像処理部16による画像処理が行われる際に画像データ等を一時的に記憶する。   The work memory 18 temporarily stores image data and the like when image processing by the image processing unit 16 is performed.

操作部20は、使用者によって使用されるスイッチ等である。操作部20は、使用者による操作に応じた信号をシステム制御部24に出力する。なお、操作部20は、タッチパネルを含んでいてもよい。   The operation unit 20 is a switch or the like used by a user. The operation unit 20 outputs a signal corresponding to the operation by the user to the system control unit 24. Note that the operation unit 20 may include a touch panel.

記録部22は、メモリカード等の記録媒体を装着可能なカードスロットを有する。記録部22は、カードスロットに装着された記録媒体に画像処理部16において生成された画像データや各種データを記憶する。記録部22の第1記録部22Aは、第1画像処理部16Aにおいて生成された画像データ等を記憶し、第2記録部22Bは、第2画像処理部16Bにおいて生成された画像データ等を記憶する。なお、記録部22は、内部メモリを有する。記録部22は、画像処理部16において生成された画像データや各種データを内部メモリに記憶することも可能である。   The recording unit 22 has a card slot into which a recording medium such as a memory card can be mounted. The recording unit 22 stores the image data and various data generated by the image processing unit 16 in a recording medium mounted in the card slot. The first recording unit 22A of the recording unit 22 stores the image data and the like generated by the first image processing unit 16A, and the second recording unit 22B stores the image data and the like generated by the second image processing unit 16B. To do. The recording unit 22 has an internal memory. The recording unit 22 can also store the image data and various data generated by the image processing unit 16 in an internal memory.

システム制御部24は、監視カメラ10の全体の処理及び動作を統括的に制御する。システム制御部24は、CPU(Central Processing Unit)24Aを有する。本第1の実施形態において、システム制御部24は、撮像素子30の撮像面を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部24は、ブロックの位置、形状、範囲、及びブロック用の蓄積条件を駆動部32に対して指示する。また、システム制御部24は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部24は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部32に対して指示する。また、画像処理部16は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率等の制御パラメータ)で画像処理を実行する。このため、システム制御部24は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率等の制御パラメータ)を画像処理部16に対して指示する。   The system control unit 24 comprehensively controls the overall processing and operation of the monitoring camera 10. The system control unit 24 includes a CPU (Central Processing Unit) 24A. In the first embodiment, the system control unit 24 divides the imaging surface of the imaging element 30 into a plurality of blocks, and acquires images with different charge accumulation times (or charge accumulation times), frame rates, and gains among the blocks. . Therefore, the system control unit 24 instructs the drive unit 32 on the block position, shape, range, and storage condition for the block. In addition, the system control unit 24 causes the image to be acquired with a different thinning rate between blocks, the number of addition rows or addition columns to which pixel signals are added, and the number of digitization bits. Therefore, the system control unit 24 instructs the drive unit 32 on the imaging conditions for each block (thinning rate, the number of added rows or columns to add pixel signals, and the number of digitization bits). Further, the image processing unit 16 executes image processing under different imaging conditions (control parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate) between blocks. Therefore, the system control unit 24 instructs the image processing unit 16 on the imaging conditions for each block (control parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate).

また、システム制御部24は、画像処理部16において生成された画像データを記録部22に記憶させる。また、システム制御部24は、通信部26に指示を出し、ネットワーク60(図1参照)を介して、管理装置50と通信する。システム制御部24は、管理装置50に対して、画像処理部16において生成された画像データ等を送信する。   In addition, the system control unit 24 stores the image data generated in the image processing unit 16 in the recording unit 22. Further, the system control unit 24 instructs the communication unit 26 to communicate with the management device 50 via the network 60 (see FIG. 1). The system control unit 24 transmits the image data and the like generated by the image processing unit 16 to the management device 50.

照度計28は、監視カメラ10周辺の照度を検出する。照度計28の検出結果は、システム制御部24に入力される。   The illuminometer 28 detects the illuminance around the monitoring camera 10. The detection result of the illuminometer 28 is input to the system control unit 24.

次に、撮像素子30について、図3〜図7に基づいて詳細に説明する。本第1の実施形態の撮像素子30は、積層型撮像素子である。   Next, the image sensor 30 will be described in detail with reference to FIGS. The image sensor 30 of the first embodiment is a stacked image sensor.

図3には、撮像素子30の断面図が示されている。撮像素子30は、図3に示すように、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112と、を備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、銅(Cu)等の導電性を有するバンプ109により互いに電気的に接続されている。   FIG. 3 shows a cross-sectional view of the image sensor 30. As shown in FIG. 3, the imaging element 30 includes an imaging chip 113 that outputs a pixel signal corresponding to incident light, a signal processing chip 111 that processes the pixel signal, and a memory chip 112 that stores the pixel signal. . The imaging chip 113, the signal processing chip 111, and the memory chip 112 are stacked, and are electrically connected to each other by a conductive bump 109 such as copper (Cu).

なお、図3に示すように、入射光は主に白抜き矢印で示す方向で入射する。本第1の実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。   In addition, as shown in FIG. 3, incident light is incident mainly in the direction indicated by the white arrow. In the first embodiment, in the imaging chip 113, the surface on the side where incident light is incident is referred to as a back surface.

撮像チップ113は、一例として、裏面照射型のMOSイメージセンサであり、PD層106、配線層108等を有する。   The imaging chip 113 is, for example, a back-illuminated MOS image sensor, and includes a PD layer 106, a wiring layer 108, and the like.

PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配列され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode:PD)104、及びPD104に対応して設けられたトランジスタ105を有する。   The PD layer 106 is disposed on the back side of the wiring layer 108. The PD layer 106 includes a plurality of photodiodes (Photodiode: PD) 104 that are two-dimensionally arranged and store electric charges according to incident light, and transistors 105 provided corresponding to the PDs 104.

PD層106における入射光の入射側にはパッシベーション膜103を介してフィルタ部102が設けられている。フィルタ部102は、カラーフィルタを有する。カラーフィルタは、可視光のうち特定の波長領域を通過させるフィルタであり、互いに異なる波長領域を透過する複数の種類を有している。カラーフィルタは、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタの配列については後述する。なお、フィルタ部102、PD104、及びトランジスタ105の組が1つの画素を形成する。フィルタ部102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられている。マイクロレンズ101は、対応するPD104に向けて入射光を集光する。   A filter unit 102 is provided on the incident side of incident light in the PD layer 106 via a passivation film 103. The filter unit 102 includes a color filter. The color filter is a filter that passes a specific wavelength region of visible light, and has a plurality of types that transmit different wavelength regions. The color filter has a specific arrangement corresponding to each PD 104. The arrangement of the color filter will be described later. Note that a set of the filter portion 102, the PD 104, and the transistor 105 forms one pixel. A microlens 101 is provided on the incident light incident side of the filter unit 102 corresponding to each pixel. The microlens 101 condenses incident light toward the corresponding PD 104.

配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。   The wiring layer 108 includes a wiring 107 that transmits the pixel signal from the PD layer 106 to the signal processing chip 111. The wiring 107 may be multilayer, and a passive element and an active element may be provided.

信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via:シリコン貫通電極)110を有する。なお、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。   The signal processing chip 111 has a TSV (Through-Silicon Via) 110 that connects circuits provided on the front surface and the back surface to each other. The TSV 110 may be provided in the peripheral area of the imaging chip 113 or the memory chip 112.

図4は、撮像チップ113の画素配列と単位グループを説明する図である。図4は、撮像チップ113を裏面側から見た状態を示す図である。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図4に示す例では、隣接する4画素×4画素の16画素が1つの単位グループ131を形成する。なお、図4の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示している。なお、単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。   FIG. 4 is a diagram for explaining a pixel array and a unit group of the imaging chip 113. FIG. 4 is a diagram illustrating a state in which the imaging chip 113 is viewed from the back side. An area where pixels are arranged in the imaging chip 113 is referred to as a pixel area 113A. In the pixel region 113A, 20 million or more pixels are arranged in a matrix. In the example shown in FIG. 4, adjacent 16 pixels of 4 pixels × 4 pixels form one unit group 131. Note that the lattice lines in FIG. 4 indicate a concept in which adjacent pixels are grouped to form a unit group 131. Note that the number of pixels forming the unit group 131 is not limited to this, and may be about 1000, for example, 32 pixels × 64 pixels, or more or less.

単位グループ131は、画素領域113Aの部分拡大図(図4の右下図)に示すように、緑色画素Gb、Gr、青色画素B、及び赤色画素Rの4画素からなる、いわゆるベイヤー配列を上下左右に4つ内包する。緑色画素Gb、Grは、フィルタ部102(カラーフィルター)として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Bは、フィルタ部102として青色フィルタを有する画素であり、青色波長帯の光を受光する。赤色画素Rは、フィルタ部102として赤色フィルタを有する画素であり、赤色波長帯の光を受光する。   As shown in a partially enlarged view of the pixel area 113A (the lower right diagram in FIG. 4), the unit group 131 has a so-called Bayer arrangement composed of four pixels, ie, green pixels Gb, Gr, blue pixels B, and red pixels R. 4 included. The green pixels Gb and Gr are pixels having a green filter as the filter unit 102 (color filter), and receive light in the green wavelength band of incident light. The blue pixel B is a pixel having a blue filter as the filter unit 102 and receives light in the blue wavelength band. The red pixel R is a pixel having a red filter as the filter unit 102 and receives light in the red wavelength band.

図5は、各画素の等価回路図を示す図である。なお、以下において、画素に符号150を付して説明する。各画素150は、上記PD104、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156、及び選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は、図3のトランジスタ105に対応する。更に、各画素には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、及び画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャネル型FETとして説明するが、トランジスタの種類はこれに限られない。   FIG. 5 is a diagram showing an equivalent circuit diagram of each pixel. In the following description, the pixel is denoted by reference numeral 150. Each pixel 150 includes the PD 104, the transfer transistor 152, the reset transistor 154, the amplification transistor 156, and the selection transistor 158. At least some of these transistors correspond to the transistor 105 in FIG. Further, in each pixel, a reset wiring 300 to which an ON signal of the reset transistor 154 is supplied, a transfer wiring 302 to which an ON signal of the transfer transistor 152 is supplied, a power supply wiring 304 that receives power supply from the power supply Vdd, and a selection transistor 158. A selection wiring 306 to which an ON signal is supplied and an output wiring 308 for outputting a pixel signal are arranged. Hereinafter, each transistor is described as an n-channel FET, but the type of transistor is not limited thereto.

転送トランジスタ152のソース、ゲート、ドレインはそれぞれPD104の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続される。負荷電流源309は、出力配線308に電流を供給する。即ち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。   The source, gate, and drain of the transfer transistor 152 are connected to one end of the PD 104, the transfer wiring 302, and the gate of the amplification transistor 156, respectively. The drain of the reset transistor 154 is connected to the power supply wiring 304, and the source is connected to the gate of the amplification transistor 156. The drain of the amplification transistor 156 is connected to the power supply wiring 304, and the source is connected to the drain of the selection transistor 158. The gate of the selection transistor 158 is connected to the selection wiring 306, and the source is connected to the output wiring 308. The load current source 309 supplies current to the output wiring 308. That is, the output wiring 308 for the selection transistor 158 is formed by a source follower. Note that the load current source 309 may be provided on the imaging chip 113 side or on the signal processing chip 111 side.

図6は、単位グループ131における画素150の接続関係を示す回路図である。なお、図6では、転送配線及び出力配線を示しているが、各画素の他の構成は省略している。   FIG. 6 is a circuit diagram showing the connection relationship of the pixels 150 in the unit group 131. In FIG. 6, transfer wiring and output wiring are shown, but other configurations of each pixel are omitted.

本第1の実施形態では、単位グループ131内で同じ色のカラーフィルタを有する画素150が画素群を形成する。即ち、本第1の実施形態では、8つの画素G(Gr、Gb)がG画素群を形成し、4つの画素RがR画素群を形成し、4つの画素BがB画素群を形成する。   In the first embodiment, the pixels 150 having the same color filter in the unit group 131 form a pixel group. That is, in the first embodiment, eight pixels G (Gr, Gb) form a G pixel group, four pixels R form an R pixel group, and four pixels B form a B pixel group. .

ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。即ち、G画素群に含まれる画素の転送トランジスタのゲートは共通のG転送配線330に接続され、R画素群に含まれる画素の転送トランジスタのゲートは共通のR転送配線332に接続され、B画素群に含まれる画素の転送トランジスタのゲートは共通のB転送配線334に接続されている。これにより、駆動部32は、転送トランジスタのゲートを画素群内で一斉に、且つ、画素群間で独立して制御することができる。   Here, the gates of the transfer transistors are commonly connected between a plurality of pixels included in each pixel group. That is, the gates of the transfer transistors of the pixels included in the G pixel group are connected to the common G transfer wiring 330, the gates of the transfer transistors of the pixels included in the R pixel group are connected to the common R transfer wiring 332, and the B pixels The gates of the transfer transistors of the pixels included in the group are connected to a common B transfer wiring 334. Thereby, the drive unit 32 can control the gates of the transfer transistors all at once within the pixel group and independently between the pixel groups.

また、各画素群に含まれる複数の画素間で選択トランジスタの出力側が共通に接続されている。即ち、G画素群の画素の選択トランジスタの出力側は共通のG出力配線340に接続され、R画素群の画素の選択トランジスタの出力側は共通のR出力配線342に接続され、B画素群の画素の選択トランジスタの出力側は共通のB出力配線344に接続されている。   In addition, the output side of the selection transistor is connected in common between a plurality of pixels included in each pixel group. That is, the output side of the selection transistor of the pixel of the G pixel group is connected to the common G output wiring 340, the output side of the selection transistor of the pixel of the R pixel group is connected to the common R output wiring 342, and The output side of the selection transistor of the pixel is connected to a common B output wiring 344.

なお、図6では図示していないが、リセット配線及び電源配線は、単位グループ131で共通である。また、選択配線は、各画素に1対1に16本配され、対応する選択トランジスタのゲートに接続されている。さらに、出力配線には、それぞれ負荷電流源が接続される。   Although not shown in FIG. 6, the reset wiring and the power supply wiring are common to the unit group 131. In addition, 16 selection wirings are arranged on a one-to-one basis for each pixel, and are connected to the gates of the corresponding selection transistors. Furthermore, a load current source is connected to each output wiring.

以上により、駆動部32は、各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。また、駆動部32は、特定の画素群に対して他の画素群とは異なる蓄積時間で電荷を蓄積させることができる。   As described above, the driving unit 32 can collectively control the charge accumulation time of each pixel belonging to each pixel group. In addition, the drive unit 32 can accumulate charges for a specific pixel group in a different accumulation time than other pixel groups.

図7は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131のG画素群の8個の画素Gを順番に選択して、それぞれの画素信号をG出力配線320へ出力させる。マルチプレクサ411を介して出力された画素信号は、アンプ416により増幅され、増幅された画素信号は、G出力配線320を介して、相関二重サンプリング(CDS:Correlated Double Sampling)・アナログ/デジタル(Analog / Digital)変換を行う信号処理回路412により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。A/D変換された画素信号は、G出力配線321を介してデマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。   FIG. 7 is a block diagram illustrating a functional configuration of the image sensor. The analog multiplexer 411 selects eight pixels G in the G pixel group of the unit group 131 in order, and outputs each pixel signal to the G output wiring 320. The pixel signal output via the multiplexer 411 is amplified by the amplifier 416, and the amplified pixel signal is supplied to the correlated double sampling (CDS), analog / digital (Analog) via the G output wiring 320. The signal processing circuit 412 that performs (Digital) conversion performs correlated double sampling signal processing and A / D conversion (conversion from an analog signal to a digital signal). The A / D converted pixel signal is transferred to the demultiplexer 413 via the G output wiring 321 and stored in the pixel memory 414 corresponding to each pixel.

同様に、マルチプレクサ421、431は、単位グループ131のR、B画素群の画素をそれぞれ順番に選択して、各画素の画素信号を出力配線322、324へ出力させる。出力配線322、324へ出力された画素信号は、アンプ426、436により増幅され、信号処理回路422、432は、増幅された画素信号に対してCDS及びA/D変換を行う。A/D変換された画素信号は、出力配線323、325を介してデマルチプレクサ423、433に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。   Similarly, the multiplexers 421 and 431 select the pixels of the R and B pixel groups in the unit group 131 in order, and output the pixel signals of the respective pixels to the output wirings 322 and 324. The pixel signals output to the output wirings 322 and 324 are amplified by the amplifiers 426 and 436, and the signal processing circuits 422 and 432 perform CDS and A / D conversion on the amplified pixel signals. The A / D converted pixel signal is transferred to the demultiplexers 423 and 433 via the output wirings 323 and 325, and stored in the pixel memory 414 corresponding to each pixel.

なお、マルチプレクサ411、421、431はそれぞれ、撮像チップ113上で、図5の選択トランジスタ158と選択配線306により形成される。アンプ416、426、436、及び信号処理回路412、422、432は、信号処理チップ111に形成される。デマルチプレクサ413、423、433、及び画素メモリ414は、メモリチップ112に形成される。   Note that each of the multiplexers 411, 421, and 431 is formed on the imaging chip 113 by the selection transistor 158 and the selection wiring 306 in FIG. The amplifiers 416, 426, 436 and the signal processing circuits 412, 422, 432 are formed in the signal processing chip 111. The demultiplexers 413, 423, 433, and the pixel memory 414 are formed in the memory chip 112.

演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部16に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図6では、1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131毎に存在し、並列で動作する。但し、演算回路415は、単位グループ131毎に存在しなくてもよい。例えば、1つの演算回路415がそれぞれの単位グループ131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。   The arithmetic circuit 415 processes the pixel signal stored in the pixel memory 414 and passes the processed pixel signal to the subsequent image processing unit 16. The arithmetic circuit 415 may be provided in the signal processing chip 111 or may be provided in the memory chip 112. Note that FIG. 6 shows connections for one unit group 131, but actually these exist for each unit group 131 and operate in parallel. However, the arithmetic circuit 415 may not exist for each unit group 131. For example, one arithmetic circuit 415 may perform sequential processing while sequentially referring to the values in the pixel memory 414 corresponding to each unit group 131.

次に、撮像素子30の画素領域113A(図4参照)に設定されるブロックについて説明する。本第1の実施形態において、撮像素子30の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数等が挙げられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。   Next, blocks set in the pixel region 113A (see FIG. 4) of the image sensor 30 will be described. In the first embodiment, the pixel region 113A of the image sensor 30 is divided into a plurality of blocks. The plurality of blocks are defined to include at least one unit group 131 per block. In each block, pixels included in each block are controlled by different control parameters. That is, pixel signals having different control parameters are acquired for a pixel group included in a block and a pixel group included in another block. Examples of the control parameter include a charge accumulation time or accumulation count, a frame rate, a gain, a thinning rate, the number of addition rows or addition columns for adding pixel signals, and the number of digitization bits. Furthermore, the control parameter may be a parameter in image processing after obtaining an image signal from a pixel.

ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。   Here, the charge accumulation time refers to the time from when PD 104 starts to accumulate charge until it ends. The number of times of charge accumulation refers to the number of times the PD 104 accumulates charges per unit time.

また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートは、例えば駆動部32がリセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ154、転送トランジスタ152、及び選択トランジスタ158に印加するタイミング(又はタイミングの周期)を制御することによって制御される。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(即ち、撮像される対象物)の動きが滑らかになる。   The frame rate is a value representing the number of frames processed (displayed or recorded) per unit time in a moving image. The frame rate is controlled, for example, by controlling the timing (or timing cycle) at which the drive unit 32 applies the reset pulse, the transfer pulse, and the selection pulse to the reset transistor 154, the transfer transistor 152, and the selection transistor 158, respectively. . The unit of the frame rate is represented by fps (Frames Per Second). The higher the frame rate, the smoother the movement of the subject (that is, the object to be imaged) in the moving image.

また、ゲインとは、アンプ416、426、436の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子30の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子30が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。   Further, the gain means a gain factor (amplification factor) of the amplifiers 416, 426, and 436. By changing this gain, the ISO sensitivity can be changed. This ISO sensitivity is a photographic film standard established by ISO and represents how much light the photographic film can record. However, generally ISO sensitivity is also used when expressing the sensitivity of the image sensor 30. In this case, the ISO sensitivity is a value representing the ability of the image sensor 30 to capture light. Increasing the gain improves the ISO sensitivity. For example, when the gain is doubled, the electrical signal (pixel signal) is also doubled, and the brightness is appropriate even when the amount of incident light is half. However, when the gain is increased, noise included in the electric signal is also amplified, so that noise increases.

また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号の読み出しが行われることを意味する。   The thinning-out rate is the ratio of the number of pixels that do not read out pixel signals with respect to the total number of pixels in a predetermined area. For example, when the thinning rate of a predetermined area is 0, it means that pixel signals are read from all pixels in the predetermined area. Further, when the thinning rate of the predetermined area is 0.5, it means that the pixel signal is read from half of the pixels in the predetermined area.

また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路415において行われる。演算回路415が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路415が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。   Further, the number of added rows refers to the number of vertical pixels (number of rows) to be added when pixel signals of pixels adjacent in the vertical direction are added. Further, the number of added columns refers to the number of horizontal pixels (number of columns) to be added when pixel signals of pixels adjacent in the horizontal direction are added. Such addition processing is performed in the arithmetic circuit 415, for example. The arithmetic circuit 415 performs the process of adding the pixel signals of a predetermined number of pixels adjacent in the vertical direction or the horizontal direction, thereby obtaining the same effect as the process of reading out the pixel signals by thinning out at a predetermined thinning rate. In the addition process described above, the average value may be calculated by dividing the added value by the number of rows or columns added by the arithmetic circuit 415.

また、デジタル化のビット数とは、信号処理回路412、422、432がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。   The number of bits for digitization means the number of bits when the signal processing circuits 412, 422, and 432 convert an analog signal into a digital signal in A / D conversion. As the number of bits of the digital signal increases, brightness, color change, and the like are expressed in more detail.

本第1の実施形態では、図2の駆動部32は、一例として、ブロック毎にフレームレート、ゲイン、及び間引き率を制御する。また、駆動部32は、撮像素子30の画素領域113Aにおけるブロックの設定を行う。なお、システム制御部24は、駆動部32に対するブロックの位置、形状、範囲などの指示を行う。   In the first embodiment, as an example, the drive unit 32 in FIG. 2 controls the frame rate, the gain, and the thinning rate for each block. In addition, the drive unit 32 sets a block in the pixel region 113 </ b> A of the image sensor 30. The system control unit 24 instructs the drive unit 32 on the block position, shape, range, and the like.

図1に戻り、管理装置50は、PC(Personal Computer)等の端末を含み、監視カメラ10で撮像された画像をネットワーク60を介して収集し、表示する。また、管理装置50は、ユーザ(管理者)からの監視カメラ10の操作や設定に関する指示を受け付けると、ネットワーク60を介して、監視カメラ10に対して指示を送信する。   Returning to FIG. 1, the management device 50 includes a terminal such as a PC (Personal Computer), and collects and displays images captured by the monitoring camera 10 via the network 60. In addition, when receiving an instruction regarding the operation or setting of the monitoring camera 10 from the user (administrator), the management device 50 transmits the instruction to the monitoring camera 10 via the network 60.

次に、本第1の実施形態の監視カメラ10の処理について、図8〜図11に基づいて詳細に説明する。図8及び図9には、第1の実施形態に係る監視カメラ10の処理がフローチャートにて示されている。なお、図8及び図9の処理は、監視カメラ10に電源が投入され、管理装置50との間の通信が成立した段階で開始される。   Next, processing of the monitoring camera 10 according to the first embodiment will be described in detail based on FIGS. 8 and 9 are flowcharts showing the processing of the surveillance camera 10 according to the first embodiment. 8 and 9 is started when the monitoring camera 10 is turned on and communication with the management apparatus 50 is established.

図8の処理では、ステップS10において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。   In the process of FIG. 8, in step S10, the system control unit 24 sets common imaging conditions (for example, a frame rate, a gain, and a thinning rate) for all the plurality of blocks obtained by dividing the pixel region 113A of the imaging device 30. To do.

次いで、ステップS12では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS12では、システム制御部24は、画像処理部16に指示を出し、全ブロックで撮像される画像を用いた動体検知処理を実行させる。この場合、画像処理部16は、撮像した画像とその直前に撮像された画像との比較を行う等することで、移動被写体を検知する。また、システム制御部24は、ステップS12において、通信部26を介して、管理装置50に対して撮像データを送信する。管理装置50では、受信した撮像データをディスプレイ等に表示するため、管理者は、監視カメラ10で撮像された画像を見ることが可能となる。   Next, in step S12, the system control unit 24 starts imaging using the imaging element 30 in which imaging conditions common to all blocks are set. In step S12, the system control unit 24 instructs the image processing unit 16 to execute a moving body detection process using images captured in all blocks. In this case, the image processing unit 16 detects the moving subject by, for example, comparing the captured image with the image captured immediately before the captured image. Further, the system control unit 24 transmits imaging data to the management device 50 via the communication unit 26 in step S12. Since the management apparatus 50 displays the received imaging data on a display or the like, the administrator can view the image captured by the monitoring camera 10.

次いで、ステップS14では、システム制御部24は、画像処理部16からブロックのいずれかで移動被写体が検知されたことが通知されるまで待機する。即ち、移動被写体が検知されるまでは、システム制御部24は、ステップS10で設定された撮像条件での撮像を継続する。そして、移動被写体が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS16に移行する。   Next, in step S14, the system control unit 24 waits until it is notified from the image processing unit 16 that a moving subject has been detected in any of the blocks. That is, until the moving subject is detected, the system control unit 24 continues imaging under the imaging conditions set in step S10. When the image processing unit 16 notifies that the moving subject has been detected, the system control unit 24 proceeds to step S16.

ステップS16では、システム制御部24は、変動ブロックとその撮像条件の設定を行う。例えば、図10に示すように、システム制御部24は、移動被写体(図10では人)が含まれる範囲を変動ブロック70に設定する。なお、図10等では、図示の便宜上、単位グループ131の大きさ(正方形の1マスの大きさ)を大きく表現している。また、システム制御部24は、変動ブロック70の撮像条件(例えばフレームレート、ゲイン、間引き率)を、移動被写体の撮像に適した条件に設定する。例えば、システム制御部24は、移動被写体が逆光で暗い場合にはゲインを大きくし、移動被写体の移動速度が速い場合にはフレームレートを高くし、移動被写体の拡大表示要求を受け付けた場合には間引き率を低くしたりする。また、システム制御部24は、変動ブロック70以外のブロックの撮像条件については、ステップS10で設定した撮像条件を維持する。なお、変動ブロック70のフレームレートを変える場合(例えば高くする場合)、変動ブロック70のフレームレートを他のブロックのフレームレートの倍数とする。   In step S16, the system control unit 24 sets a variable block and its imaging condition. For example, as illustrated in FIG. 10, the system control unit 24 sets a range including a moving subject (a person in FIG. 10) in the fluctuation block 70. In FIG. 10 and the like, the size of the unit group 131 (the size of one square) is greatly expressed for convenience of illustration. In addition, the system control unit 24 sets the imaging conditions (for example, frame rate, gain, thinning rate) of the variable block 70 to conditions suitable for imaging the moving subject. For example, the system control unit 24 increases the gain when the moving subject is backlit and dark, increases the frame rate when the moving subject has a high moving speed, and receives an enlarged display request for the moving subject. Decrease the thinning rate. Further, the system control unit 24 maintains the imaging conditions set in step S10 for the imaging conditions of blocks other than the variable block 70. When the frame rate of the variable block 70 is changed (for example, when it is increased), the frame rate of the variable block 70 is set to a multiple of the frame rate of other blocks.

次いで、ステップS18では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、第1画像処理部16Aからの画像データの記録は、ステップS12の直後から開始してもよいが、本実施形態では、移動被写体を検出した後から開始することとしている。これにより、移動被写体が撮像されている画像のみを記録することができる。   Next, in step S18, the system control unit 24 instructs the recording unit 22 to start recording image data. For example, the system control unit 24 issues an instruction to the first recording unit 22A, starts recording image data from the first image processing unit 16A, issues an instruction to the second recording unit 22B, and performs second image processing. Recording of image data from the unit 16B is started. The recording of the image data from the first image processing unit 16A may be started immediately after step S12, but in the present embodiment, the recording is started after the moving subject is detected. Thereby, only the image in which the moving subject is imaged can be recorded.

次いで、ステップS20では、システム制御部24は、変動ブロック70を移動被写体に追従させる。即ち、システム制御部24は、画像処理部16から得られる画像内の移動被写体の動きに合わせて、変動ブロック70に含まれる画素(単位グループ131)と、変動ブロック70以外のブロックに含まれる画素(単位グループ131)とを随時異ならせるようにする。ここで、変動ブロック70は移動被写体に追従しており、該変動ブロック70では移動被写体に適した撮像条件で撮像されることから、移動被写体の様子を適切な画質で撮像・記録することが可能となる。これにより、管理装置50を利用する管理者による、移動被写体の監視を行い易くすることができる。   Next, in step S20, the system control unit 24 causes the variable block 70 to follow the moving subject. That is, the system control unit 24 adjusts the pixels included in the variation block 70 (unit group 131) and the pixels included in blocks other than the variation block 70 in accordance with the movement of the moving subject in the image obtained from the image processing unit 16. (Unit group 131) is different from time to time. Here, the variable block 70 follows the moving subject, and the variable block 70 is imaged under imaging conditions suitable for the moving subject, so that the state of the moving subject can be imaged and recorded with appropriate image quality. It becomes. Accordingly, it is possible to easily monitor the moving subject by the administrator who uses the management device 50.

次いで、ステップS22では、システム制御部24は、複数の移動被写体が存在し、その移動被写体同士が接近したか否かを判断する。例えば、システム制御部24は、移動被写体それぞれを含む変動ブロック70同士で重なりが生じた場合や、変動ブロック70同士が重なってはいないが所定の間隔よりも接近した場合に、移動被写体同士が接近したと判断する。このように、移動被写体同士が接近したか否かを判断するのは、移動被写体同士が接近した場合は、図11に示すように、移動被写体同士が衝突することが起こり得るためである。   Next, in step S22, the system control unit 24 determines whether there are a plurality of moving subjects and the moving subjects have approached each other. For example, the system control unit 24 may cause the moving subjects to approach each other when there is an overlap between the moving blocks 70 including the moving subjects, or when the moving blocks 70 are not overlapped but are closer than a predetermined interval. Judge that The reason why it is determined whether or not the moving subjects have approached each other is that the moving subjects may collide as shown in FIG. 11 when the moving subjects approach each other.

移動被写体同士が接近した場合、ステップS22の判断は肯定されて、図9のステップS24に移行する。ステップS24では、システム制御部24は、変動ブロック70の撮像条件の再設定を行う。例えば、システム制御部24は、変動ブロック70のゲインをステップS16で設定した値よりも大きくしたり、変動ブロック70のフレームレートをステップS16で設定した値よりも高くしたり、変動ブロック70の間引き率をステップS16で設定した値よりも小さくしたりする。これにより、移動被写体の様子を高画質で撮像・記録することができるようになり、移動被写体同士が衝突した場合でも、その解析が行い易くなる。   When the moving subjects are close to each other, the determination in step S22 is affirmed, and the process proceeds to step S24 in FIG. In step S <b> 24, the system control unit 24 resets the imaging condition of the variable block 70. For example, the system control unit 24 increases the gain of the variable block 70 larger than the value set in step S16, makes the frame rate of the variable block 70 higher than the value set in step S16, or thins the variable block 70. The rate is made smaller than the value set in step S16. As a result, the moving subject can be imaged and recorded with high image quality, and even when the moving subjects collide with each other, the analysis can be easily performed.

一方、複数の移動被写体が存在し、その移動被写体同士が接近していない場合、ステップS22の判断は否定され、図9のステップS30に移行する。ステップS30に移行すると、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS30の判断は否定されて、ステップS22に戻る。   On the other hand, when there are a plurality of moving subjects and the moving subjects are not close to each other, the determination in step S22 is denied and the process proceeds to step S30 in FIG. In step S30, the system control unit 24 determines whether the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S30 is denied and the process returns to step S22.

ステップS24の後は、ステップS26に移行し、システム制御部24は、移動被写体同士が離れるまで待機する。例えば、システム制御部24は、移動被写体それぞれを含む変動ブロック70同士の重なりが解消されたり、変動ブロック70同士が所定の間隔よりも離れたりするまで待機する。したがって、移動被写体同士が離れるまでは、システム制御部24は、変動ブロック70に関してはステップS24で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS10で設定された撮像条件での撮像を行う。移動被写体同士が離れた場合、ステップS28に移行し、システム制御部24は、ステップS24で再設定した変動ブロック70の撮像条件を、ステップS16で設定した撮像条件に戻す。   After step S24, the process proceeds to step S26, and the system control unit 24 waits until the moving subjects are separated from each other. For example, the system control unit 24 waits until the overlapping of the variable blocks 70 each including the moving subject is eliminated or the variable blocks 70 are separated from each other by a predetermined interval. Therefore, until the moving subjects are separated from each other, the system control unit 24 performs imaging under the imaging condition set in step S24 for the variable block 70, and the imaging set in step S10 for blocks other than the variable block 70. Perform imaging under conditions. When the moving subjects are separated from each other, the process proceeds to step S28, and the system control unit 24 returns the imaging condition of the variable block 70 reset in step S24 to the imaging condition set in step S16.

次いで、ステップS30では、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS30の判断は否定されて、ステップS22に戻る。   Next, in step S30, the system control unit 24 determines whether or not the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S30 is denied and the process returns to step S22.

一方、移動被写体が撮像範囲から居なくなった場合には、ステップS30の判断は肯定されて、ステップS32に移行する。ステップS32では、システム制御部24は、終了か否かを判断する。なお、システム制御部24は、終了か否かを、管理者が管理装置50あるいは操作部20から終了指示を入力したか否かにより判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS34に移行し、システム制御部24は、全ブロックの撮像条件をステップS10で設定した状態に戻し、ステップS14に戻る。以降は、ステップS32の判断が肯定されるまで、ステップS14〜S34の処理・判断を繰り返す。   On the other hand, if the moving subject is no longer in the imaging range, the determination in step S30 is affirmed and the process proceeds to step S32. In step S32, the system control unit 24 determines whether or not the process is finished. Note that the system control unit 24 determines whether or not the process is to end based on whether or not the administrator inputs an end instruction from the management device 50 or the operation unit 20. If the determination here is negative, that is, if it is not the end, the process proceeds to step S34, the system control unit 24 returns the imaging conditions of all blocks to the state set in step S10, and returns to step S14. . Thereafter, the processes and determinations in steps S14 to S34 are repeated until the determination in step S32 is affirmed.

以上詳細に説明したように、本第1の実施形態によると、撮像部14は、少なくとも1つの画素を有するブロックを複数有し、ブロック毎に撮像条件が設定可能となっている。システム制御部24は、撮像部14で撮像された画像により変動ブロック70を設定し、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像条件を変更する(ステップS24)。これにより、その時々に適した撮像条件で移動被写体を撮像することができ、移動被写体の様子を状況に応じた適切な画質で撮像することが可能となる。例えば複数の移動被写体の間で生じる事象(例えば移動被写体同士の衝突等)を適切な撮像条件で撮像することができ、当該事象の解析等を行い易くすることができる。また、移動被写体を含む変動ブロック70の撮像条件を変え(例えば高ゲイン、高フレームレート、低間引き率等に変更)、その他のブロックの撮像条件は変えないため、データ量の増加や監視カメラ10の温度上昇を抑制することができる。このようにデータ量の増加を抑圧することにより、ネットワーク60を介して管理装置に画像データを送信する際の通信回線のデータ量に関する負荷を減らすことができる。   As described above in detail, according to the first embodiment, the imaging unit 14 has a plurality of blocks each having at least one pixel, and imaging conditions can be set for each block. The system control unit 24 sets the variation block 70 based on the image captured by the imaging unit 14, and changes the imaging condition of the variation block 70 when the other moving subject is imaged by the variation block 70 (step S24). As a result, it is possible to image the moving subject under imaging conditions suitable for each occasion, and it is possible to capture the state of the moving subject with an appropriate image quality according to the situation. For example, an event that occurs between a plurality of moving subjects (for example, a collision between moving subjects) can be imaged under appropriate imaging conditions, and analysis of the event can be facilitated. Further, since the imaging condition of the variable block 70 including the moving subject is changed (for example, changed to a high gain, a high frame rate, a low thinning rate, etc.) and the imaging conditions of the other blocks are not changed, the data amount increases or the surveillance camera 10 Temperature rise can be suppressed. By suppressing the increase in the data amount in this way, it is possible to reduce the load related to the data amount of the communication line when image data is transmitted to the management apparatus via the network 60.

また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体の少なくとも一部が撮像されたら、変動ブロック70の撮像条件を第1撮像条件から第2撮像条件に変更している。これにより、複数の移動被写体の間で生じる事象(例えば移動被写体同士の衝突等)をより適切な撮像条件で撮像することができる。   In the first embodiment, when at least a part of the other moving subject is imaged by the variable block 70, the system control unit 24 changes the imaging condition of the variable block 70 from the first imaging condition to the second imaging condition. It has changed. Thereby, an event (for example, a collision between moving subjects) occurring between a plurality of moving subjects can be imaged under more appropriate imaging conditions.

また、本第1の実施形態のように、システム制御部24は、変動ブロック70で画像処理部16によって検出された他方の移動被写体が撮像されたら、変動ブロック70の撮像条件を変更するようにしてもよい。   Further, as in the first embodiment, when the other moving subject detected by the image processing unit 16 in the variable block 70 is imaged, the system control unit 24 changes the imaging condition of the variable block 70. May be.

また、本第1の実施形態のように、システム制御部24は、画像処理部16で検出された一方の移動被写体の位置と他方の移動被写体の位置とによって変動ブロック70を設定するようにしてもよい。   Further, as in the first embodiment, the system control unit 24 sets the variable block 70 based on the position of one moving subject detected by the image processing unit 16 and the position of the other moving subject. Also good.

また、本第1の実施形態では、システム制御部24は、一方の移動被写体の位置と他方の移動被写体の位置との間隔が接近したときの一方の移動被写体と他方の移動被写体とを含むブロックを変動ブロック70に設定している。これにより、複数の移動被写体の間で生じる事象をより確実に撮像することができる。   Further, in the first embodiment, the system control unit 24 includes a block including one moving subject and the other moving subject when the distance between the position of one moving subject and the position of the other moving subject approaches. Is set in the fluctuation block 70. As a result, an event that occurs between a plurality of moving subjects can be captured more reliably.

また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像におけるゲインを異ならせるので、適切な明るさで移動被写体を撮像することができる。   In the first embodiment, when the other moving subject is imaged in the variable block 70, the system control unit 24 changes the gain in the imaging of the variable block 70, so that the moving subject is imaged with appropriate brightness. be able to.

また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像におけるフレームレートを異ならせている。これにより、適切な速さでのスロー再生が可能となる。   In the first embodiment, when the other moving subject is imaged in the variable block 70, the system control unit 24 changes the frame rate in imaging of the variable block 70. Thereby, slow playback at an appropriate speed is possible.

また、本第1の実施形態では、撮像部14が撮像する全ブロック(領域)の画像処理を行う第1画像処理部16Aと、撮像部14が撮像する移動被写体を含む変動ブロック70(領域)の画像処理を行う第2画像処理部16Bと、を備える。これにより、図12に示すように、全ブロックから変動ブロック70の画像を切り出して、変動ブロック70の画像を拡大してリアルタイム表示することができる。なお、図12においては、変動ブロック70は動体検知処理に加えて、顔認識処理も用いて設定している。また、第2画像処理部16Bが常時作動していて、拡大表示が常時行われるようにしてもよいし、管理装置50のディスプレイ等に対して管理者がタッチした場合に、第2画像処理部16Bが作動して、拡大表示が行われるようにしてもよい。   In the first embodiment, the first image processing unit 16A that performs image processing of all blocks (regions) captured by the imaging unit 14 and the variable block 70 (region) including the moving subject that the imaging unit 14 captures. A second image processing unit 16B that performs the image processing. Thereby, as shown in FIG. 12, the image of the fluctuation | variation block 70 can be cut out from all the blocks, and the image of the fluctuation | variation block 70 can be expanded and displayed in real time. In FIG. 12, the variable block 70 is set using a face recognition process in addition to the moving object detection process. In addition, the second image processing unit 16B may be constantly operating and the enlarged display may be performed constantly, or when the administrator touches the display of the management device 50, the second image processing unit 16B may be activated to perform an enlarged display.

また、本第1の実施形態のように、システム制御部24は、移動被写体を含む変動ブロック70の撮像条件を、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで異ならせるようにしてもよい。これにより、その時々に適した撮像条件で移動被写体を撮像することができ、移動被写体の様子を状況に応じた適切な画質で撮像することが可能となる。   Further, as in the first embodiment, the system control unit 24 sets the imaging condition of the variable block 70 including the moving subject at the time when the moving subject enters the image (in the object scene) (first field). The time point may be different from the time point when the moving subjects approach (second time point). As a result, it is possible to image the moving subject under imaging conditions suitable for each occasion, and it is possible to capture the state of the moving subject with an appropriate image quality according to the situation.

また、本第1の実施形態のように、移動被写体を含む変動ブロック70が画像内(被写界内)に複数存在し、システム制御部24は、複数の移動被写体を含む変動ブロック70の位置関係に応じて撮像条件を変更するようにしてもよい。これにより、複数の移動被写体の間で生じる事象を適切な撮像条件で撮像することができ、当該事象の解析等を行い易くすることができる。   Further, as in the first embodiment, a plurality of variable blocks 70 including a moving subject exist in the image (in the field), and the system control unit 24 determines the position of the variable block 70 including a plurality of moving subjects. You may make it change imaging conditions according to a relationship. As a result, an event occurring between a plurality of moving subjects can be imaged under appropriate imaging conditions, and the event can be easily analyzed.

また、本第1の実施形態のように、システム制御部24は、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで、移動被写体を含む変動ブロック70の撮像におけるゲインを異ならせてもよい。例えば、移動被写体が画像内に侵入してきた時点よりも移動被写体同士が接近した時点の撮像におけるゲインを大きくすることで、移動被写体同士の衝突現場の撮像を明るくして行うことができる。   In addition, as in the first embodiment, the system control unit 24 detects the time (first time) when the moving subject enters the image (in the object scene) and the time when the moving subjects approach (first time). 2), the gain in imaging of the variable block 70 including the moving subject may be different. For example, by increasing the gain in imaging when the moving subjects approach each other than when the moving subject enters the image, it is possible to brighten the imaging of the collision site between the moving subjects.

また、本第1の実施形態のように、システム制御部24は、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで、移動被写体を含む変動ブロック70の撮像におけるフレームレートを異ならせてもよい。例えば、移動被写体が画像内に侵入してきた時点よりも移動被写体同士が接近した時点の撮像におけるフレームレートを高くすることで、移動被写体同士が衝突した際の動画をよりゆっくりとスロー再生することが可能となる。   In addition, as in the first embodiment, the system control unit 24 detects the time (first time) when the moving subject enters the image (in the object scene) and the time when the moving subjects approach (first time). 2), the frame rate in imaging of the variable block 70 including the moving subject may be different. For example, by increasing the frame rate at the time when moving subjects approach each other than when the moving subject has entered the image, it is possible to slow-play a moving image when the moving subjects collide more slowly. It becomes possible.

なお、上記第1の実施形態において、システム制御部24は、変動ブロック70の撮像におけるゲイン、フレームレート、間引き率を異ならせる場合を例に説明したが、その他の撮像条件を異ならせることとしてもよい。例えば、システム制御部24は、撮像素子30を制御するための制御パラメータ(例えば電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)や撮像素子30からの信号の読み出しを制御するための制御パラメータ(例えば間引き率)、撮像素子30からの信号を処理するための制御パラメータ(例えば画素信号を加算する加算行数又は加算列数、デジタル化のビット数)等を異ならせる場合でもよい。   In the first embodiment, the system control unit 24 has been described with respect to an example in which the gain, frame rate, and thinning rate in imaging of the variable block 70 are varied. However, other imaging conditions may be varied. Good. For example, the system control unit 24 controls control parameters for controlling the image sensor 30 (for example, charge accumulation time or number of accumulations, frame rate, gain) and control parameters for controlling signal readout from the image sensor 30 ( For example, the control parameters for processing signals from the image sensor 30 (for example, the number of added rows or added columns to which pixel signals are added, the number of digitization bits), or the like may be different.

《第2の実施形態》
次に、第2の実施形態について、図13〜図16に基づいて詳細に説明する。
<< Second Embodiment >>
Next, a second embodiment will be described in detail based on FIGS.

第2の実施形態に係る監視カメラシステムの構成は、図1の第1の実施形態に係る監視カメラシステム500と同一又は同等である。また、監視カメラの構成は、図2〜図7の第1の実施形態に係る監視カメラと同一又は同等である。なお、画像処理部16の第1画像処理部16Aは、全ブロックに含まれる画素からの信号の画像処理を実行し、第2画像処理部16Bは、注目ブロックに含まれる画素からの信号の画像処理を実行する。   The configuration of the surveillance camera system according to the second embodiment is the same as or equivalent to that of the surveillance camera system 500 according to the first embodiment of FIG. The configuration of the surveillance camera is the same as or equivalent to that of the surveillance camera according to the first embodiment shown in FIGS. The first image processing unit 16A of the image processing unit 16 performs image processing of signals from pixels included in all blocks, and the second image processing unit 16B performs image processing of signals from pixels included in the target block. Execute the process.

次に、本第2の実施形態の監視カメラの処理について、図13〜図16に基づいて詳細に説明する。図13及び図14には、第2の実施形態に係る監視カメラ10の処理がフローチャートにて示されている、なお、図13及び図14の処理は、監視カメラ10の電源が投入され、管理装置50との間の通信が成立した段階で開始される。   Next, the process of the surveillance camera of the second embodiment will be described in detail based on FIGS. 13 and 14 show the processing of the monitoring camera 10 according to the second embodiment in a flowchart. Note that the processing of FIGS. 13 and 14 is performed when the monitoring camera 10 is turned on and managed. It starts when communication with the device 50 is established.

図13の処理では、ステップS40において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。   In the process of FIG. 13, in step S40, the system control unit 24 sets common imaging conditions (for example, frame rate, gain, and thinning rate) for all the plurality of blocks obtained by dividing the pixel region 113A of the imaging device 30. To do.

次いで、ステップS42では、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを注目ブロック72に設定する。例えば、図15に示すように、監視カメラ10の撮像範囲内において通路の曲がり角が撮像されている場合に、曲がり角の範囲を注目ブロック72に設定する。これは、曲がり角で移動被写体同士が衝突することが起こり易いためである。   Next, in step S <b> 42, the system control unit 24 sets some blocks in the image as the target block 72 in accordance with an input from the administrator. For example, as shown in FIG. 15, when the turning angle of the passage is imaged within the imaging range of the monitoring camera 10, the turning angle range is set to the block of interest 72. This is because it is easy for moving subjects to collide at a corner.

次いで、ステップS44では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS44では、システム制御部24は、画像処理部16に指示を出し、全ブロックで撮像される画像を用いた動体検知処理を実行させる。また、システム制御部24は、ステップS44において、通信部26を介して、管理装置50に対して撮像データを送信する。   Next, in step S44, the system control unit 24 starts imaging using the imaging element 30 in which imaging conditions common to all blocks are set. In step S44, the system control unit 24 instructs the image processing unit 16 to execute moving object detection processing using images captured in all blocks. Further, the system control unit 24 transmits imaging data to the management apparatus 50 via the communication unit 26 in step S44.

次いで、ステップS46では、システム制御部24は、画像処理部16からブロックのいずれかで移動被写体が検知されたことが通知されるまで待機する。即ち、移動被写体が検知されるまでは、システム制御部24は、ステップS40で設定された撮像条件での撮像を継続する。そして、移動被写体が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS48に移行する。   Next, in step S46, the system control unit 24 waits until it is notified from the image processing unit 16 that a moving subject has been detected in any of the blocks. That is, until the moving subject is detected, the system control unit 24 continues imaging under the imaging conditions set in step S40. When the image processing unit 16 notifies that the moving subject has been detected, the system control unit 24 proceeds to step S48.

ステップS48では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、画像データの記録は、ステップS44の直後から開始してもよい。   In step S48, the system control unit 24 instructs the recording unit 22 to start recording image data. For example, the system control unit 24 issues an instruction to the first recording unit 22A, starts recording image data from the first image processing unit 16A, issues an instruction to the second recording unit 22B, and performs second image processing. Recording of image data from the unit 16B is started. Note that the recording of the image data may be started immediately after step S44.

次いで、ステップS50では、システム制御部24は、画像処理部16から得られる画像内の移動被写体の位置が注目ブロック72に入ったか否かを判断する。例えば、システム制御部24は、図16(a)のように、撮像範囲内に入ってきた移動被写体(人)が、図16(b)のように、注目ブロック72に入ったか否かを判断する。なお、移動被写体が注目ブロック72に入ったか否かの判断は、移動被写体の全体が注目ブロック72内に完全に入った場合を注目ブロック72に入ったと判断するようにしてもよいし、移動被写体の一部が注目ブロック72内に入った場合を注目ブロック72に入ったと判断するようにしてもよい。   Next, in step S <b> 50, the system control unit 24 determines whether the position of the moving subject in the image obtained from the image processing unit 16 has entered the target block 72. For example, the system control unit 24 determines whether or not the moving subject (person) that has entered the imaging range has entered the target block 72 as illustrated in FIG. 16B, as illustrated in FIG. To do. The determination as to whether or not the moving subject has entered the target block 72 may be made when it is determined that the entire moving subject has completely entered the target block 72 or has entered the target block 72. It may be determined that a part of has entered the target block 72.

移動被写体が注目ブロック72に入った場合、ステップS50の判断は肯定されて、図14のステップS52に移行する。ステップS52では、システム制御部24は、注目ブロック72の撮像条件の設定を行う。例えば、システム制御部24は、注目ブロック72のゲインをステップS40で設定した値よりも大きくしたり、注目ブロック72のフレームレートをステップS40で設定した値よりも高くしたり、注目ブロック72の間引き率をステップS40で設定した値よりも小さくしたりする。これにより、移動被写体が注目ブロック72に入った状況下において、移動被写体の様子を高画質で撮像・記録することが可能となる。   When the moving subject enters the attention block 72, the determination in step S50 is affirmed, and the process proceeds to step S52 in FIG. In step S52, the system control unit 24 sets the imaging condition of the block of interest 72. For example, the system control unit 24 makes the gain of the block of interest 72 larger than the value set in step S40, makes the frame rate of the block of interest 72 higher than the value set in step S40, The rate is made smaller than the value set in step S40. This makes it possible to capture and record the moving subject with high image quality in a situation where the moving subject enters the target block 72.

一方、移動被写体が注目ブロック72に入っていない場合、ステップS50の判断は否定されて、図14のステップS58に移行する。ステップS58に移行すると、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS58の判断は否定されて、ステップS50に戻る。   On the other hand, if the moving subject is not in the target block 72, the determination in step S50 is negative and the process proceeds to step S58 in FIG. In step S58, the system control unit 24 determines whether the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S58 is negative and the process returns to step S50.

ステップS52の後は、ステップS54に移行し、システム制御部24は、移動被写体が注目ブロック72から出て行くまで待機する。なお、移動被写体が注目ブロック72から出て行ったか否かの判断は、移動被写体の全体が注目ブロック72から完全に出て行った場合を注目ブロック72から出て行ったと判断するようにしてもよいし、移動被写体の一部が注目ブロック72から出て行った場合に注目ブロック72から出て行ったと判断するようにしてもよい。したがって、移動被写体が注目ブロック72から出て行くまでは、システム制御部24は、注目ブロック72に関してはステップS52で設定された撮像条件での撮像を行い、注目ブロック72以外のブロックに関してはステップS40で設定された撮像条件での撮像を行う。   After step S52, the process proceeds to step S54, and the system control unit 24 waits until the moving subject goes out of the block of interest 72. The determination as to whether or not the moving subject has left the attention block 72 may be made by determining that the movement subject has completely left the attention block 72 and that the movement subject has left the attention block 72. Alternatively, when a part of the moving subject has left the attention block 72, it may be determined that the movement subject has left the attention block 72. Therefore, until the moving subject leaves the target block 72, the system control unit 24 performs imaging under the imaging conditions set in step S52 for the target block 72, and step S40 for blocks other than the target block 72. Imaging is performed under the imaging conditions set in.

移動被写体が注目ブロック72から出て行った場合、ステップS56に移行し、システム制御部24は、ステップS52で設定した注目ブロック72の撮像条件を、ステップS40で設定した撮像条件に戻す。   When the moving subject leaves the target block 72, the process proceeds to step S56, and the system control unit 24 returns the imaging condition of the target block 72 set in step S52 to the imaging condition set in step S40.

次いで、ステップS58では、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS58の判断は否定されて、ステップS50に戻る。   Next, in step S58, the system control unit 24 determines whether or not the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S58 is negative and the process returns to step S50.

一方、移動被写体が撮像範囲から居なくなった場合には、ステップS58の判断は肯定されて、ステップS60に移行する。ステップS60では、システム制御部24は、終了か否かを判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS46に戻る。以降は、ステップS60の判断が肯定されるまで、ステップS46〜S60の処理・判断を繰り返す。   On the other hand, if the moving subject is no longer in the imaging range, the determination in step S58 is affirmed and the process proceeds to step S60. In step S60, the system control unit 24 determines whether the process is finished. When judgment here is denied, ie, when it is not completion | finish, it returns to step S46. Thereafter, the processes and determinations in steps S46 to S60 are repeated until the determination in step S60 is affirmed.

以上詳細に説明したように、本第2の実施形態では、システム制御部24は、撮像部14で撮像された画像により注目ブロック72を設定し、注目ブロック72で移動被写体が撮像されたら注目ブロック72の撮像条件を変更する(ステップS52)。これにより、移動被写体を注目して監視することが望まれる場所(例えば移動被写体に危険が生じる恐れのある場所等)において、移動被写体を適切な撮像条件によって撮像することができる。   As described above in detail, in the second embodiment, the system control unit 24 sets the attention block 72 based on the image captured by the imaging unit 14, and when the moving subject is imaged by the attention block 72, the attention block The imaging condition 72 is changed (step S52). As a result, the moving subject can be imaged under appropriate imaging conditions in a place where it is desired to monitor the moving subject while paying attention (for example, a place where the moving subject may be dangerous).

また、本第2の実施形態では、システム制御部24は、移動被写体の少なくとも一部が注目ブロック72で撮像されたら、注目ブロック72の撮像条件を第1撮像条件から第2撮像条件に変更している。これにより、注目ブロック72で生じる事象(例えば移動被写体同士の衝突等)をより適切な撮像条件で撮像することができる。   In the second embodiment, the system control unit 24 changes the imaging condition of the target block 72 from the first imaging condition to the second imaging condition when at least a part of the moving subject is captured by the target block 72. ing. Thereby, an event (for example, a collision between moving subjects) occurring in the target block 72 can be imaged under a more appropriate imaging condition.

また、本第2の実施形態のように、システム制御部24は、画像処理部16で検出された移動被写体が注目ブロック72で撮像されたら、注目ブロック72の撮像条件を変更するようにしてもよい。   Further, as in the second embodiment, when the moving subject detected by the image processing unit 16 is imaged by the attention block 72, the system control unit 24 may change the imaging condition of the attention block 72. Good.

なお、上記第2の実施形態においては、通路の曲がり角を注目ブロック72に設定する場合を例に示したが、ビルや工場、家等の建物の出入口や銀行のATMの前等、移動被写体を注目して見たい場所を注目ブロック72に設定してもよい。   In the second embodiment, the case where the turning corner of the passage is set to the attention block 72 is shown as an example. However, moving objects such as entrances and exits of buildings such as buildings, factories, and houses and bank ATMs are used. You may set to the attention block 72 the place which wants to see paying attention.

《第3の実施形態》
次に、第3の実施形態について、図17〜図21(b)に基づいて詳細に説明する。第3の実施形態は、移動被写体が人ではなく、工場に備わる搬送システムで搬送される物品の場合の例である。
<< Third Embodiment >>
Next, the third embodiment will be described in detail with reference to FIGS. 17 to 21B. The third embodiment is an example in the case where the moving subject is not a person but an article conveyed by a conveyance system provided in a factory.

図17は、第3の実施形態に係る搬送システム80を備える工場90を示す図である。図17に示すように、搬送システム80は、工場90内に備わっている。搬送システム80は、物品(例えば半製品)82を搬送する搬送装置(例えばベルトコンベア)84と、搬送装置84によって搬送される物品82を撮像する監視カメラ10と、監視カメラ10で撮像された画像を表示する表示装置86と、を備える。監視カメラ10の構成は、図2〜図7の第1の実施形態に係る監視カメラと同一又は同等である。表示装置86は、例えばLCD(Liquid Crystal Display)である。作業員は、搬送装置84で搬送されて来る物品82に対して、搬送装置84上の作業場88で作業を行う。作業が終了した物品82は、次の工程を行うために作業場88から搬送されて行く。   FIG. 17 is a diagram illustrating a factory 90 including a transport system 80 according to the third embodiment. As shown in FIG. 17, the transport system 80 is provided in a factory 90. The conveyance system 80 includes a conveyance device (for example, a belt conveyor) 84 that conveys an article (for example, a semi-finished product) 82, a monitoring camera 10 that images the article 82 that is conveyed by the conveyance device 84, and an image captured by the monitoring camera 10. And a display device 86 for displaying. The configuration of the monitoring camera 10 is the same as or equivalent to that of the monitoring camera according to the first embodiment shown in FIGS. The display device 86 is, for example, an LCD (Liquid Crystal Display). The worker performs an operation at the work place 88 on the transfer device 84 with respect to the article 82 transferred by the transfer device 84. The finished article 82 is transported from the work place 88 to perform the next process.

なお、工場90内に複数の搬送システム80が設けられていて、それぞれの搬送システム80に含まれる監視カメラ10がネットワーク等によって管理装置50と接続されていてもよい。   A plurality of transfer systems 80 may be provided in the factory 90, and the monitoring camera 10 included in each transfer system 80 may be connected to the management apparatus 50 via a network or the like.

次に、本第3の実施形態の搬送システム80に備わる監視カメラの処理について、図18〜図21(b)に基づいて詳細に説明する。図18及び図19には、第3の実施形態に係る搬送システム80に備わる監視カメラ10の処理がフローチャートにて示されている。なお、図18及び図19の処理は、監視カメラ10の電源が投入された段階で開始される。   Next, processing of the monitoring camera provided in the transport system 80 of the third embodiment will be described in detail based on FIGS. 18 to 21B. 18 and 19 are flowcharts showing the processing of the monitoring camera 10 provided in the transport system 80 according to the third embodiment. 18 and 19 starts when the monitoring camera 10 is turned on.

図18の処理では、ステップS70において、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを動体検知ブロック74に設定する。例えば、図20(a)に示すように、搬送装置84上の作業場88よりも上流部分を含む範囲が動体検知ブロック74に設定される。   In the process of FIG. 18, in step S <b> 70, the system control unit 24 sets some blocks in the image as the moving object detection block 74 in accordance with an input from the administrator. For example, as shown in FIG. 20A, a range including the upstream portion of the work place 88 on the transport device 84 is set in the moving object detection block 74.

次いで、ステップS72において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。   Next, in step S72, the system control unit 24 sets common imaging conditions (for example, a frame rate, a gain, and a thinning rate) for all of a plurality of blocks obtained by dividing the pixel region 113A of the imaging device 30.

次いで、ステップS74では、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを注目ブロック72に設定する。例えば、図20(b)に示すように、搬送装置84上の作業場88を含む範囲が注目ブロック72に設定される。これは、作業場88で物品82に対して作業を行うので、その作業を監視するためである。   Next, in step S <b> 74, the system control unit 24 sets some blocks in the image as the target block 72 in accordance with an input from the administrator. For example, as illustrated in FIG. 20B, a range including the work place 88 on the transport device 84 is set as the target block 72. This is because the work is performed on the article 82 at the work place 88, so that the work is monitored.

次いで、ステップS76では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS76では、システム制御部24は、画像処理部16に指示を出し、動体検知ブロック74で撮像される画像を用いた動体検知処理を実行させる。また、システム制御部24は、ステップS76において、通信部26を介して、表示装置86に対して撮像データを送信して、表示装置86に撮像画像を表示させる。   Next, in step S76, the system control unit 24 starts imaging using the imaging element 30 in which imaging conditions common to all blocks are set. In step S76, the system control unit 24 instructs the image processing unit 16 to execute a moving object detection process using an image captured by the moving object detection block 74. In step S76, the system control unit 24 transmits imaging data to the display device 86 via the communication unit 26, and causes the display device 86 to display a captured image.

次いで、ステップS78では、システム制御部24は、画像処理部16から動体検知ブロック74で移動被写体(物品82)が検知されたことが通知されるまで待機する。即ち、物品82が検知されるまでは、システム制御部24は、ステップS72で設定された撮像条件での撮像を継続する。そして、物品82が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS80に移行する。   Next, in step S78, the system control unit 24 waits until the image processing unit 16 notifies that the moving subject (article 82) has been detected by the moving object detection block 74. That is, until the article 82 is detected, the system control unit 24 continues imaging under the imaging conditions set in step S72. When the image processing unit 16 is notified that the article 82 has been detected, the system control unit 24 proceeds to step S80.

ステップS80では、システム制御部24は、変動ブロックとその撮像条件の設定を行う。例えば、図21(a)に示すように、システム制御部24は、物品82が含まれる範囲を変動ブロック70に設定する。そして、システム制御部24は、変動ブロック70の撮像条件(例えばフレームレート、ゲイン、間引き率)を、物品82の撮像に適した条件に設定する。例えば、システム制御部24は、物品82が逆光で暗い場合にはゲインを大きくし、物品82の移動速度が速い場合にはフレームレートを高くし、物品82の拡大表示要求を受け付けた場合には間引き率を低くする。また、システム制御部24は、変動ブロック70以外のブロックの撮像条件については、ステップS72で設定した撮像条件を維持する。   In step S80, the system control unit 24 sets a variable block and its imaging condition. For example, as illustrated in FIG. 21A, the system control unit 24 sets a range in which the article 82 is included in the variable block 70. Then, the system control unit 24 sets the imaging condition (for example, frame rate, gain, thinning rate) of the variable block 70 to a condition suitable for imaging the article 82. For example, the system control unit 24 increases the gain when the article 82 is backlit and dark, increases the frame rate when the moving speed of the article 82 is high, and receives an enlarged display request for the article 82. Reduce the thinning rate. Further, the system control unit 24 maintains the imaging conditions set in step S72 for the imaging conditions of blocks other than the variable block 70.

次いで、ステップS82では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、第1画像処理部16Aからの画像データの記録は、ステップS76の直後から開始してもよい。   Next, in step S82, the system control unit 24 instructs the recording unit 22 to start recording image data. For example, the system control unit 24 issues an instruction to the first recording unit 22A, starts recording image data from the first image processing unit 16A, issues an instruction to the second recording unit 22B, and performs second image processing. Recording of image data from the unit 16B is started. Note that the recording of the image data from the first image processing unit 16A may be started immediately after step S76.

次いで、ステップS84では、システム制御部24は、変動ブロック70を物品82に追従させる。即ち、システム制御部24は、画像処理部16から得られる画像内の物品82の動きに合わせて、変動ブロック70に含まれる画素(単位グループ131)と、変動ブロック70以外のブロックに含まれる画素(単位グループ131)とを随時異ならせるようにする。   Next, in step S84, the system control unit 24 causes the variable block 70 to follow the article 82. That is, the system control unit 24 adjusts the pixels (unit group 131) included in the variation block 70 and the pixels included in blocks other than the variation block 70 in accordance with the movement of the article 82 in the image obtained from the image processing unit 16. (Unit group 131) is different from time to time.

次いで、図19のステップS86では、システム制御部24は、物品82が注目ブロック72に入るまで待機する。例えば、システム制御部24は、図21(b)のように、搬送装置84で搬送される物品82が、作業場88を含む注目ブロック72に入るまで待機する。なお、物品82が注目ブロック72に入ったか否かの判断は、変動ブロック70の一部が注目ブロック72に重なった場合に物品82が注目ブロック72に入ったと判断してもよいし、変動ブロック70の全てが注目ブロック72に重なった場合に物品82が注目ブロック72に入ったと判断してもよい。したがって、物品82が注目ブロック72に入るまでは、システム制御部24は、変動ブロック70に関してはステップS80で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。そして、物品82が注目ブロック72に入ると、システム制御部24は、ステップS88に移行する。   Next, in step S <b> 86 of FIG. 19, the system control unit 24 waits until the article 82 enters the target block 72. For example, the system control unit 24 waits until the article 82 conveyed by the conveyance device 84 enters the target block 72 including the work place 88 as shown in FIG. Whether or not the article 82 has entered the attention block 72 may be determined by determining that the article 82 has entered the attention block 72 when a part of the fluctuation block 70 overlaps the attention block 72. It may be determined that the article 82 has entered the attention block 72 when all 70 overlap the attention block 72. Therefore, until the article 82 enters the block of interest 72, the system control unit 24 performs imaging under the imaging condition set in step S80 for the variable block 70, and sets the block other than the variable block 70 in step S72. Imaging is performed under the specified imaging conditions. When the article 82 enters the target block 72, the system control unit 24 proceeds to step S88.

ステップS88では、システム制御部24は、変動ブロック70の撮像条件の再設定を行う。例えば、システム制御部24は、変動ブロック70のゲインをステップS80で設定した値よりも大きくしたり、変動ブロック70のフレームレートをステップS80で設定した値よりも高くしたり、変動ブロック70の間引き率をステップS80で設定した値よりも小さくしたりする。これにより、物品82に不具合を生じさせる恐れがある作業場88での物品82の様子を高画質で撮像・記録することが可能となる。   In step S88, the system control unit 24 resets the imaging condition of the variable block 70. For example, the system control unit 24 increases the gain of the variable block 70 larger than the value set in step S80, makes the frame rate of the variable block 70 higher than the value set in step S80, or thins the variable block 70. The rate is made smaller than the value set in step S80. This makes it possible to capture and record the state of the article 82 at the work place 88 that may cause a defect in the article 82 with high image quality.

ステップS88の後は、ステップS90に移行し、システム制御部24は、物品82が注目ブロック72から出て行くまで待機する。なお、物品82が注目ブロック72から出て行ったか否かの判断は、変動ブロック70の一部が注目ブロック72と重ならなくなった場合に物品82が注目ブロック72から出て行ったと判断してもよいし、変動ブロック70の全てが注目ブロック72と重ならなくなった場合に物品82が注目ブロック72から出て行ったと判断してもよい。したがって、物品82が注目ブロック72から出て行くまでは、システム制御部24は、変動ブロック70に関してはステップS88で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。   After step S88, the process proceeds to step S90, and the system control unit 24 waits until the article 82 leaves the target block 72. Note that whether or not the article 82 has left the target block 72 is determined by determining that the article 82 has left the target block 72 when a part of the variable block 70 does not overlap the target block 72. Alternatively, it may be determined that the article 82 has left the target block 72 when all of the variable blocks 70 do not overlap the target block 72. Therefore, until the article 82 leaves the target block 72, the system control unit 24 performs imaging under the imaging condition set in step S88 for the variable block 70, and for step S72 for blocks other than the variable block 70. Imaging is performed under the imaging conditions set in.

物品82が注目ブロック72から出て行った場合、ステップS92に移行し、システム制御部24は、変動ブロック70の撮像条件を再設定する。この場合において、変動ブロック70の撮像条件をステップS80で設定した撮像条件に戻してもよいし、ステップS80とは異なる撮像条件に変更してもよい。   When the article 82 leaves the target block 72, the process proceeds to step S92, and the system control unit 24 resets the imaging condition of the variable block 70. In this case, the imaging condition of the variable block 70 may be returned to the imaging condition set in step S80, or may be changed to an imaging condition different from that in step S80.

次いで、ステップS94では、システム制御部24は、物品82が画像内(被写界内)から居なくなるまで待機する。即ち、物品82が画像内から居なくなるまでは、システム制御部24は、変動ブロック70に関してはステップS92で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。物品82が画像内から居なくなった後、システム制御部24は、ステップS96に移行する。   Next, in step S94, the system control unit 24 stands by until the article 82 disappears from the image (in the object scene). That is, until the article 82 disappears from the image, the system control unit 24 performs imaging under the imaging condition set in step S92 for the variable block 70, and sets the block other than the variable block 70 in step S72. Imaging is performed under the specified imaging conditions. After the article 82 disappears from the image, the system control unit 24 proceeds to step S96.

ステップS96では、システム制御部24は、終了か否かを判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS78に戻る。以降は、ステップS96の判断が肯定されるまで、ステップS78〜S96の処理・判断を繰り返す。   In step S96, the system control unit 24 determines whether or not the process is finished. When judgment here is denied, ie, when it is not completion | finish, it returns to step S78. Thereafter, the processes and determinations in steps S78 to S96 are repeated until the determination in step S96 is affirmed.

以上詳細に説明したように、本第3の実施形態では、移動被写体が搬送装置84で搬送される物品82であり、システム制御部24は、物品82を含む変動ブロック70が注目ブロック72に入ったら、物品82を含む変動ブロック70の撮像条件を変更している(ステップS88)。例えば、本第3の実施形態では、システム制御部24は、物品82を含む変動ブロック70の撮像条件を、物品82が作業場88外にある時点(第1の時点)と作業場88内にある時点(第2の時点)とで異ならせている。この場合でも、物品82の様子をその時々の状況に応じた適切な画質で撮像することができる。例えば、物品82に不具合が生じた場合の原因解析を、適切な画像(例えば高解像度や高フレームレート等の画像)を用いて行うことができる。   As described above in detail, in the third embodiment, the moving subject is the article 82 that is conveyed by the conveyance device 84, and the system control unit 24 includes the variable block 70 including the article 82 in the target block 72. Then, the imaging condition of the variable block 70 including the article 82 is changed (step S88). For example, in the third embodiment, the system control unit 24 sets the imaging condition of the variable block 70 including the article 82 at the time point when the article 82 is outside the work place 88 (first time point) and the time point when it is inside the work place 88. (Second time point). Even in this case, the state of the article 82 can be imaged with an appropriate image quality according to the situation at that time. For example, the cause analysis when a defect occurs in the article 82 can be performed using an appropriate image (for example, an image with a high resolution, a high frame rate, or the like).

また、第3の実施形態では、搬送システム80は監視カメラ10によって撮像された画像を表示する表示装置86を備えるので、物品82を撮像した画像を搬送装置84近傍で作業員やその上長等が見ることができる。このため、物品82に生じた不具合の原因解析を、作業現場で行うことができる。   Further, in the third embodiment, the transport system 80 includes the display device 86 that displays an image captured by the monitoring camera 10, so that an image captured of the article 82 is displayed near the transport device 84 by an operator, its upper manager, and the like. Can be seen. For this reason, the cause analysis of the defect that has occurred in the article 82 can be performed at the work site.

なお、上記第3の実施形態において、物品82を含む変動ブロック70が注目ブロック72に入った場合に変動ブロック70の撮像条件を変更するのではなく、上記第1の実施形態と同様に、物品82を含む変動ブロック70に、作業員の工具を含むブロックが接近した場合に変動ブロック70の撮像条件を変更するようにしてもよい。   In the third embodiment, when the variable block 70 including the article 82 enters the target block 72, the imaging condition of the variable block 70 is not changed, but the article is the same as in the first embodiment. When the block including the worker's tool approaches the variable block 70 including 82, the imaging condition of the variable block 70 may be changed.

なお、上記第3の実施形態において、注目ブロック72は、1つの場合に限らず、複数ある場合でもよい。   In the third embodiment, the number of target blocks 72 is not limited to one, but may be plural.

なお、上記第1の実施形態〜第3の実施形態において、システム制御部24は、移動被写体の速度が異なる第1の時点と第2の時点とにおいて、移動被写体を含むブロックの撮像条件が異なるように撮像部14を制御する等、移動被写体の状態に応じて、撮像部14を制御してもよい。   In the first to third embodiments, the system control unit 24 has different imaging conditions for blocks including the moving subject at the first time point and the second time point when the moving subject speed is different. The imaging unit 14 may be controlled according to the state of the moving subject, such as controlling the imaging unit 14 as described above.

なお、上記第1の実施形態〜第3の実施形態において、撮像素子は撮像領域毎に撮像条件が変えられるが、すべての撮像領域を同一の撮像条件にしかできない撮像素子であってもよい。この場合は、撮像条件を変更するときはすべての撮像領域の撮像条件を同じように変更する。   In the first to third embodiments, the imaging element can change the imaging condition for each imaging area. However, the imaging element may be an imaging element in which all imaging areas can only have the same imaging condition. In this case, when changing the imaging conditions, the imaging conditions of all the imaging areas are changed in the same way.

なお、上記第1、第2の実施形態では、移動被写体が人であり、上記第3の実施形態では、移動被写体が物品(半製品)である場合について説明したがこれに限られるものではない。移動被写体は、例えば人以外の動物、車、災害時に撮像される可能性のあるもの(水や火等)など、その他の場合でもよい。   In the first and second embodiments, the moving subject is a person, and in the third embodiment, the moving subject is an article (semi-finished product). However, the present invention is not limited to this. . The moving subject may be other cases such as animals other than humans, cars, and objects that may be imaged during a disaster (water, fire, etc.).

なお、上記第1〜第3の実施形態において、監視カメラ10は、ビル内や工場内、路上に配置されている場合に限られず、例えば車内や競技場等、その他の場所に配置されていてもよい。監視カメラ10が車内に配置されている場合は、車の前方に現れる対向車や歩行者等を移動被写体として撮像してもよい。また、監視カメラ10が競技場に配置されている場合は、競技中の選手を移動被写体として撮像してもよい。また、管理装置50が監視カメラ10と一体となっていてもよい。   In the first to third embodiments, the surveillance camera 10 is not limited to being placed in a building, a factory, or on a road, and is placed in another place such as a car or a stadium. Also good. When the monitoring camera 10 is disposed in the vehicle, an oncoming vehicle or a pedestrian that appears in front of the vehicle may be imaged as a moving subject. Moreover, when the monitoring camera 10 is arrange | positioned in a stadium, you may image the player in competition as a moving subject. Further, the management device 50 may be integrated with the monitoring camera 10.

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。   The above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the processing apparatus should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium (except for a carrier wave).

プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。   When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。   The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。   Each embodiment mentioned above is an example of suitable implementation of the present invention, and can be combined suitably. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

10 監視カメラ
14 撮像部
16 画像処理部
16A 第1画像処理部
16B 第2画像処理部
20 操作部
22 記録部
22A 第1記録部
22B 第2記録部
24 システム制御部
30 撮像素子
32 駆動部
70 変動ブロック
72 注目ブロック
74 動体検知ブロック
80 搬送システム
82 物品
84 搬送装置
86 表示装置
90 工場
DESCRIPTION OF SYMBOLS 10 Surveillance camera 14 Imaging part 16 Image processing part 16A 1st image processing part 16B 2nd image processing part 20 Operation part 22 Recording part 22A 1st recording part 22B 2nd recording part 24 System control part 30 Image pick-up element 32 Drive part 70 Fluctuation Block 72 Attention block 74 Moving object detection block 80 Conveyance system 82 Article 84 Conveyance device 86 Display device 90 Factory

Claims (14)

少なくとも1つの画素を有する撮像領域を複数有し、前記撮像領域毎に撮像条件が設定可能である撮像部と、
前記撮像部で撮像された画像により前記複数の撮像領域から特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更する制御部と
を備える電子機器。
An imaging unit having a plurality of imaging regions having at least one pixel, and imaging conditions can be set for each imaging region;
A control unit configured to set a specific imaging region from the plurality of imaging regions based on an image captured by the imaging unit, and to change an imaging condition of the specific imaging region when a target subject is imaged in the specific imaging region; Electronic equipment provided.
複数の画素を有する撮像部と、
前記撮像部で撮像された画像により特定の領域を設定し、設定された前記特定の領域で対象被写体が撮像されたら前記撮像部の撮像条件を変更する制御部と
を備える電子機器。
An imaging unit having a plurality of pixels;
An electronic apparatus comprising: a control unit that sets a specific area based on an image captured by the imaging unit, and changes an imaging condition of the imaging unit when a target subject is imaged in the set specific area.
前記制御部は、前記対象被写体の少なくとも一部が前記特定の撮像領域で撮像されたら、前記特定の撮像領域の撮像条件を第1撮像条件から第2撮像条件に変更する請求項1記載の電子機器。   2. The electronic device according to claim 1, wherein the control unit changes the imaging condition of the specific imaging area from the first imaging condition to the second imaging condition when at least a part of the target subject is imaged in the specific imaging area. machine. 前記撮像部で撮像された画像から対象被写体を検出する検出部を備え、
前記制御部は、前記検出部で検出された前記対象被写体が前記特定の撮像領域で撮像されたら、前記撮像条件を変更する請求項1または3記載の電子機器。
A detection unit that detects a target subject from an image captured by the imaging unit;
The electronic device according to claim 1, wherein the control unit changes the imaging condition when the target subject detected by the detection unit is imaged in the specific imaging region.
前記制御部は、前記検出部で検出された第1の対象被写体の位置と、前記検出部で検出された前記第1の対象被写体とは異なる第2対象被写体の位置とにより、前記特定の撮像領域を設定する請求項4記載の電子機器。   The control unit is configured to detect the specific imaging based on a position of the first target subject detected by the detection unit and a position of a second target subject different from the first target subject detected by the detection unit. The electronic device according to claim 4, wherein the area is set. 前記制御部は、前記第1の対象被写体の位置と、前記第2の対象被写体とは異なる対象被写体の位置との間隔が接近した時の前記第1及び第2の対象被写体を含む撮像領域を前記特定の撮像領域に設定する請求項5記載の電子機器。   The control unit includes an imaging region including the first and second target subjects when the distance between the position of the first target subject and the position of the target subject different from the second target subject approaches. The electronic device according to claim 5, wherein the electronic device is set in the specific imaging area. 前記撮像部で撮像した画像データを外部の装置へ送信する送信部を備える請求項1〜6のいずれか一項に記載の電子機器。   The electronic device according to claim 1, further comprising: a transmission unit that transmits image data captured by the imaging unit to an external device. 前記撮像条件は、前記撮像部で撮像する際のゲインである請求項1〜7のいずれか一項に記載の電子機器。   The electronic apparatus according to claim 1, wherein the imaging condition is a gain when imaging is performed by the imaging unit. 前記撮像条件は、前記撮像部で撮像する際のフレームレートである請求項1〜8のいずれか一項に記載の電子機器。   The electronic apparatus according to claim 1, wherein the imaging condition is a frame rate at the time of imaging by the imaging unit. 前記撮像部が撮像するすべての撮像領域の画像処理を行う第1の画像処理部と、
前記撮像部が撮像する前記対象被写体を含む撮像領域の画像処理を行う第2の画像処理部と、を備える請求項1〜9のいずれか一項に記載の電子機器。
A first image processing unit that performs image processing of all imaging regions imaged by the imaging unit;
The electronic device according to claim 1, further comprising: a second image processing unit that performs image processing on an imaging region including the target subject that is captured by the imaging unit.
物品を搬送する搬送装置と、
対象被写体として前記物品を撮像する請求項1〜10のいずれか一項に記載の電子機器と、を備える搬送システム。
A transport device for transporting articles;
A transport system comprising: the electronic device according to claim 1 that images the article as a target subject.
前記電子機器の撮像部により撮像された画像を表示する表示装置を備える請求項11に記載の搬送システム。   The transport system according to claim 11, further comprising a display device that displays an image captured by the imaging unit of the electronic device. 請求項11又は請求項12に記載の搬送システムを備える工場。   A factory provided with the conveyance system according to claim 11 or 12. 少なくとも1つの画素を有する撮像領域を複数有し、前記撮像領域毎に撮像条件が設定可能である撮像部を制御するプログラムであって、
前記撮像部で撮像された画像から前記複数の撮像領域のうちの特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更するように制御する、
処理を、コンピュータに実行させるプログラム。
A program for controlling an imaging unit having a plurality of imaging regions each having at least one pixel and for which imaging conditions can be set for each imaging region,
A specific imaging area of the plurality of imaging areas is set from the image captured by the imaging unit, and the imaging condition of the specific imaging area is changed when the target subject is imaged in the specific imaging area. Control,
A program that causes a computer to execute processing.
JP2015240559A 2015-12-09 2015-12-09 Electronic devices and programs Active JP6701706B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015240559A JP6701706B2 (en) 2015-12-09 2015-12-09 Electronic devices and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015240559A JP6701706B2 (en) 2015-12-09 2015-12-09 Electronic devices and programs

Publications (2)

Publication Number Publication Date
JP2017108286A true JP2017108286A (en) 2017-06-15
JP6701706B2 JP6701706B2 (en) 2020-05-27

Family

ID=59060235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015240559A Active JP6701706B2 (en) 2015-12-09 2015-12-09 Electronic devices and programs

Country Status (1)

Country Link
JP (1) JP6701706B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014867A1 (en) * 2019-07-19 2021-01-28 キヤノン株式会社 Imaging device and control method for same
WO2021014921A1 (en) * 2019-07-19 2021-01-28 キヤノン株式会社 Image capturing device and control method for same
JP2021184613A (en) * 2017-09-29 2021-12-02 株式会社ニコン Imaging device
US11696013B2 (en) 2018-02-23 2023-07-04 Samsung Electronics Co., Ltd. Electronic device and recording method thereof
JP7478120B2 (en) 2017-09-29 2024-05-02 株式会社ニコン Imaging device and electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1065940A (en) * 1996-06-13 1998-03-06 Olympus Optical Co Ltd Image pickup device
JP2006203395A (en) * 2005-01-19 2006-08-03 Konica Minolta Holdings Inc Moving body recognition system and moving body monitor system
JP2010103884A (en) * 2008-10-27 2010-05-06 Sanyo Electric Co Ltd Image processing device, image processing method and electronic apparatus
JP2013120273A (en) * 2011-12-07 2013-06-17 Nikon Corp Digital camera
JP2015186155A (en) * 2014-03-25 2015-10-22 株式会社ニコン Electronic apparatus
JP2015186171A (en) * 2014-03-26 2015-10-22 株式会社ニコン Imaging apparatus, method for controlling the same, and control program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1065940A (en) * 1996-06-13 1998-03-06 Olympus Optical Co Ltd Image pickup device
JP2006203395A (en) * 2005-01-19 2006-08-03 Konica Minolta Holdings Inc Moving body recognition system and moving body monitor system
JP2010103884A (en) * 2008-10-27 2010-05-06 Sanyo Electric Co Ltd Image processing device, image processing method and electronic apparatus
JP2013120273A (en) * 2011-12-07 2013-06-17 Nikon Corp Digital camera
JP2015186155A (en) * 2014-03-25 2015-10-22 株式会社ニコン Electronic apparatus
JP2015186171A (en) * 2014-03-26 2015-10-22 株式会社ニコン Imaging apparatus, method for controlling the same, and control program

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021184613A (en) * 2017-09-29 2021-12-02 株式会社ニコン Imaging device
JP7478120B2 (en) 2017-09-29 2024-05-02 株式会社ニコン Imaging device and electronic device
US11696013B2 (en) 2018-02-23 2023-07-04 Samsung Electronics Co., Ltd. Electronic device and recording method thereof
WO2021014867A1 (en) * 2019-07-19 2021-01-28 キヤノン株式会社 Imaging device and control method for same
WO2021014921A1 (en) * 2019-07-19 2021-01-28 キヤノン株式会社 Image capturing device and control method for same
CN114128252A (en) * 2019-07-19 2022-03-01 佳能株式会社 Image pickup apparatus and control method thereof
CN114128251A (en) * 2019-07-19 2022-03-01 佳能株式会社 Image forming apparatus and control method thereof
US20220141409A1 (en) * 2019-07-19 2022-05-05 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
CN114128251B (en) * 2019-07-19 2023-12-08 佳能株式会社 Image forming apparatus and control method thereof
US11863891B2 (en) 2019-07-19 2024-01-02 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP7433792B2 (en) 2019-07-19 2024-02-20 キヤノン株式会社 Imaging device and its control method
JP7433793B2 (en) 2019-07-19 2024-02-20 キヤノン株式会社 Imaging device and its control method

Also Published As

Publication number Publication date
JP6701706B2 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
US11758303B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US10735650B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US11290652B2 (en) Electronic apparatus and control program
US9191566B2 (en) Image pickup apparatus, method for image pickup and computer-readable recording medium
JP6561428B2 (en) Electronic device, control method, and control program
US20240089402A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
JP6303689B2 (en) Electronics
JP6701706B2 (en) Electronic devices and programs
WO2016052434A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
US10686987B2 (en) Electronic apparatus with image capturing unit having first and second imaging regions that capture an image of a subject under differing imaging conditions
JP6747465B2 (en) Electronics
US20170324911A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
JP7248163B2 (en) Imaging device
JP7028279B2 (en) Electronics
US11082715B2 (en) Video compression apparatus, electronic apparatus, and video compression program
JP2019169988A (en) data structure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R150 Certificate of patent or registration of utility model

Ref document number: 6701706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250