JP2017108286A - Electronic apparatus, conveyance system, factory, and program - Google Patents
Electronic apparatus, conveyance system, factory, and program Download PDFInfo
- Publication number
- JP2017108286A JP2017108286A JP2015240559A JP2015240559A JP2017108286A JP 2017108286 A JP2017108286 A JP 2017108286A JP 2015240559 A JP2015240559 A JP 2015240559A JP 2015240559 A JP2015240559 A JP 2015240559A JP 2017108286 A JP2017108286 A JP 2017108286A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- control unit
- system control
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 229
- 238000012545 processing Methods 0.000 claims description 111
- 238000001514 detection method Methods 0.000 claims description 14
- 238000013459 approach Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 47
- 238000012544 monitoring process Methods 0.000 description 32
- 238000012546 transfer Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 230000035508 accumulation Effects 0.000 description 10
- 238000009825 accumulation Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000010949 copper Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000011265 semifinished product Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Abstract
Description
本発明は、電子機器、搬送システム、工場、及びプログラムに関する。 The present invention relates to an electronic device, a conveyance system, a factory, and a program.
複数の監視カメラの映像を並べて表示しながら集中監視する監視システムが知られている(例えば、特許文献1参照)。監視システムの監視カメラの撮像条件を撮像素子の一部で変化させることができない。 A monitoring system that performs centralized monitoring while displaying images from a plurality of monitoring cameras side by side is known (see, for example, Patent Document 1). The imaging condition of the surveillance camera of the surveillance system cannot be changed by a part of the imaging device.
本発明の電子機器は、少なくとも1つの画素を有する撮像領域を複数有し、前記撮像領域毎に撮像条件が設定可能である撮像部と、前記撮像部で撮像された画像により前記複数の撮像領域から特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更する制御部とを備えている。 The electronic apparatus according to the present invention includes a plurality of imaging regions having at least one pixel, an imaging unit in which imaging conditions can be set for each imaging region, and the plurality of imaging regions based on images captured by the imaging unit. A control unit that sets a specific imaging region and changes an imaging condition of the specific imaging region when a target subject is imaged in the specific imaging region.
本発明の搬送システムは、物品を搬送する搬送装置と、対象被写体として前記物品を撮像する上記に記載の電子機器と、を備えている。 The conveyance system of the present invention includes a conveyance device that conveys an article, and the electronic apparatus described above that images the article as a target subject.
本発明の工場は、上記に記載の搬送システムを備えている。 The factory of this invention is equipped with the conveyance system as described above.
本発明のプログラムは、少なくとも1つの画素を有する撮像領域を複数有し、前記撮像領域毎に撮像条件が設定可能である撮像部を制御するプログラムであって、前記撮像部で撮像された画像から前記複数の撮像領域のうちの特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更するように制御する、処理を、コンピュータに実行させる。 The program of the present invention is a program for controlling an image pickup unit that has a plurality of image pickup regions having at least one pixel and for which an image pickup condition can be set for each of the image pickup regions, from an image picked up by the image pickup unit. A process is executed in a computer that sets a specific imaging area of the plurality of imaging areas and controls the imaging condition of the specific imaging area to be changed when a target subject is imaged in the specific imaging area. Let
《第1の実施形態》
以下、第1の実施形態に係る監視カメラシステム500について、図1〜図11に基づいて詳細に説明する。図1には、本第1の実施形態に係る監視カメラシステム500の構成が概略的に示されている。
<< First Embodiment >>
Hereinafter, the
監視カメラシステム500は、図1に示すように、複数の監視カメラ10と、管理装置50と、を備える。監視カメラ10と管理装置50とは、LAN(Local Area Network)等のネットワーク60に接続されている。
As shown in FIG. 1, the
監視カメラ10は、ビル内や工場内、路上等を監視するために用いられるカメラであり、図2に示すような構成を有する。監視カメラ10は、図2に示すように、レンズ部12、撮像部14、画像処理部16、ワークメモリ18、操作部20、記録部22、システム制御部24、通信部26、及び照度計28を備えている。
The
レンズ部12は、複数のレンズ群から構成された撮像光学系である。レンズ部12は、被写体からの光束を撮像部14に導く。なお、レンズ部12は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
The
撮像部14は、撮像素子30と、駆動部32と、を有する。撮像素子30は、取得した画素信号を画像処理部16へ引き渡す。駆動部32は、システム制御部24からの指示に従って、撮像素子30の駆動を制御する制御回路である。なお、撮像素子30の具体的構成、及び駆動部32による撮像素子30の具体的な駆動制御については後述する。
The
画像処理部16は、ワークメモリ18をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。画像処理部16は、第1画像処理部16Aと、第2画像処理部16Bと、を有する。本第1の実施形態においては、後述するように、システム制御部24は、撮像素子30の画素領域内に移動被写体(例えば人)が侵入してきた場合に、画素領域のうちの当該移動被写体が含まれる範囲を変動ブロック(領域)として設定する。また、システム制御部24は、変動ブロックが設定される前の全ブロックの撮像条件とは異なる撮像条件によって変動ブロックの撮像を行うように撮像素子30を駆動制御する。この場合において、例えば第1画像処理部16Aは、全ブロックに含まれる画素からの信号の画像処理を実行し、第2画像処理部16Bは、変動ブロックに含まれる画素からの信号の画像処理を実行する。
The
画像処理部16は、種々の画像処理を実行する。例えば画像処理部16は、撮像素子30で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部16は、画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整等の画像処理を行う。また、画像処理部16は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部16は、生成した画像データを記録部22に出力する。
The
画像処理部16は、撮像部14から時系列的に得られる複数のフレームのうち所定タイミング毎のフレームを抽出する。また、画像処理部16は、撮像部14から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。
The
ワークメモリ18は、画像処理部16による画像処理が行われる際に画像データ等を一時的に記憶する。
The
操作部20は、使用者によって使用されるスイッチ等である。操作部20は、使用者による操作に応じた信号をシステム制御部24に出力する。なお、操作部20は、タッチパネルを含んでいてもよい。
The
記録部22は、メモリカード等の記録媒体を装着可能なカードスロットを有する。記録部22は、カードスロットに装着された記録媒体に画像処理部16において生成された画像データや各種データを記憶する。記録部22の第1記録部22Aは、第1画像処理部16Aにおいて生成された画像データ等を記憶し、第2記録部22Bは、第2画像処理部16Bにおいて生成された画像データ等を記憶する。なお、記録部22は、内部メモリを有する。記録部22は、画像処理部16において生成された画像データや各種データを内部メモリに記憶することも可能である。
The
システム制御部24は、監視カメラ10の全体の処理及び動作を統括的に制御する。システム制御部24は、CPU(Central Processing Unit)24Aを有する。本第1の実施形態において、システム制御部24は、撮像素子30の撮像面を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部24は、ブロックの位置、形状、範囲、及びブロック用の蓄積条件を駆動部32に対して指示する。また、システム制御部24は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部24は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部32に対して指示する。また、画像処理部16は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率等の制御パラメータ)で画像処理を実行する。このため、システム制御部24は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率等の制御パラメータ)を画像処理部16に対して指示する。
The system control unit 24 comprehensively controls the overall processing and operation of the
また、システム制御部24は、画像処理部16において生成された画像データを記録部22に記憶させる。また、システム制御部24は、通信部26に指示を出し、ネットワーク60(図1参照)を介して、管理装置50と通信する。システム制御部24は、管理装置50に対して、画像処理部16において生成された画像データ等を送信する。
In addition, the system control unit 24 stores the image data generated in the
照度計28は、監視カメラ10周辺の照度を検出する。照度計28の検出結果は、システム制御部24に入力される。
The
次に、撮像素子30について、図3〜図7に基づいて詳細に説明する。本第1の実施形態の撮像素子30は、積層型撮像素子である。
Next, the
図3には、撮像素子30の断面図が示されている。撮像素子30は、図3に示すように、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112と、を備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、銅(Cu)等の導電性を有するバンプ109により互いに電気的に接続されている。
FIG. 3 shows a cross-sectional view of the
なお、図3に示すように、入射光は主に白抜き矢印で示す方向で入射する。本第1の実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。
In addition, as shown in FIG. 3, incident light is incident mainly in the direction indicated by the white arrow. In the first embodiment, in the
撮像チップ113は、一例として、裏面照射型のMOSイメージセンサであり、PD層106、配線層108等を有する。
The
PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配列され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode:PD)104、及びPD104に対応して設けられたトランジスタ105を有する。
The
PD層106における入射光の入射側にはパッシベーション膜103を介してフィルタ部102が設けられている。フィルタ部102は、カラーフィルタを有する。カラーフィルタは、可視光のうち特定の波長領域を通過させるフィルタであり、互いに異なる波長領域を透過する複数の種類を有している。カラーフィルタは、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタの配列については後述する。なお、フィルタ部102、PD104、及びトランジスタ105の組が1つの画素を形成する。フィルタ部102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられている。マイクロレンズ101は、対応するPD104に向けて入射光を集光する。
A
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。
The
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via:シリコン貫通電極)110を有する。なお、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
The
図4は、撮像チップ113の画素配列と単位グループを説明する図である。図4は、撮像チップ113を裏面側から見た状態を示す図である。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図4に示す例では、隣接する4画素×4画素の16画素が1つの単位グループ131を形成する。なお、図4の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示している。なお、単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
FIG. 4 is a diagram for explaining a pixel array and a unit group of the
単位グループ131は、画素領域113Aの部分拡大図(図4の右下図)に示すように、緑色画素Gb、Gr、青色画素B、及び赤色画素Rの4画素からなる、いわゆるベイヤー配列を上下左右に4つ内包する。緑色画素Gb、Grは、フィルタ部102(カラーフィルター)として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Bは、フィルタ部102として青色フィルタを有する画素であり、青色波長帯の光を受光する。赤色画素Rは、フィルタ部102として赤色フィルタを有する画素であり、赤色波長帯の光を受光する。
As shown in a partially enlarged view of the
図5は、各画素の等価回路図を示す図である。なお、以下において、画素に符号150を付して説明する。各画素150は、上記PD104、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156、及び選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は、図3のトランジスタ105に対応する。更に、各画素には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、及び画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャネル型FETとして説明するが、トランジスタの種類はこれに限られない。
FIG. 5 is a diagram showing an equivalent circuit diagram of each pixel. In the following description, the pixel is denoted by
転送トランジスタ152のソース、ゲート、ドレインはそれぞれPD104の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続される。負荷電流源309は、出力配線308に電流を供給する。即ち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
The source, gate, and drain of the
図6は、単位グループ131における画素150の接続関係を示す回路図である。なお、図6では、転送配線及び出力配線を示しているが、各画素の他の構成は省略している。
FIG. 6 is a circuit diagram showing the connection relationship of the
本第1の実施形態では、単位グループ131内で同じ色のカラーフィルタを有する画素150が画素群を形成する。即ち、本第1の実施形態では、8つの画素G(Gr、Gb)がG画素群を形成し、4つの画素RがR画素群を形成し、4つの画素BがB画素群を形成する。
In the first embodiment, the
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。即ち、G画素群に含まれる画素の転送トランジスタのゲートは共通のG転送配線330に接続され、R画素群に含まれる画素の転送トランジスタのゲートは共通のR転送配線332に接続され、B画素群に含まれる画素の転送トランジスタのゲートは共通のB転送配線334に接続されている。これにより、駆動部32は、転送トランジスタのゲートを画素群内で一斉に、且つ、画素群間で独立して制御することができる。
Here, the gates of the transfer transistors are commonly connected between a plurality of pixels included in each pixel group. That is, the gates of the transfer transistors of the pixels included in the G pixel group are connected to the common
また、各画素群に含まれる複数の画素間で選択トランジスタの出力側が共通に接続されている。即ち、G画素群の画素の選択トランジスタの出力側は共通のG出力配線340に接続され、R画素群の画素の選択トランジスタの出力側は共通のR出力配線342に接続され、B画素群の画素の選択トランジスタの出力側は共通のB出力配線344に接続されている。
In addition, the output side of the selection transistor is connected in common between a plurality of pixels included in each pixel group. That is, the output side of the selection transistor of the pixel of the G pixel group is connected to the common
なお、図6では図示していないが、リセット配線及び電源配線は、単位グループ131で共通である。また、選択配線は、各画素に1対1に16本配され、対応する選択トランジスタのゲートに接続されている。さらに、出力配線には、それぞれ負荷電流源が接続される。
Although not shown in FIG. 6, the reset wiring and the power supply wiring are common to the
以上により、駆動部32は、各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。また、駆動部32は、特定の画素群に対して他の画素群とは異なる蓄積時間で電荷を蓄積させることができる。
As described above, the driving
図7は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131のG画素群の8個の画素Gを順番に選択して、それぞれの画素信号をG出力配線320へ出力させる。マルチプレクサ411を介して出力された画素信号は、アンプ416により増幅され、増幅された画素信号は、G出力配線320を介して、相関二重サンプリング(CDS:Correlated Double Sampling)・アナログ/デジタル(Analog / Digital)変換を行う信号処理回路412により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。A/D変換された画素信号は、G出力配線321を介してデマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
FIG. 7 is a block diagram illustrating a functional configuration of the image sensor. The
同様に、マルチプレクサ421、431は、単位グループ131のR、B画素群の画素をそれぞれ順番に選択して、各画素の画素信号を出力配線322、324へ出力させる。出力配線322、324へ出力された画素信号は、アンプ426、436により増幅され、信号処理回路422、432は、増幅された画素信号に対してCDS及びA/D変換を行う。A/D変換された画素信号は、出力配線323、325を介してデマルチプレクサ423、433に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
Similarly, the
なお、マルチプレクサ411、421、431はそれぞれ、撮像チップ113上で、図5の選択トランジスタ158と選択配線306により形成される。アンプ416、426、436、及び信号処理回路412、422、432は、信号処理チップ111に形成される。デマルチプレクサ413、423、433、及び画素メモリ414は、メモリチップ112に形成される。
Note that each of the
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部16に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図6では、1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131毎に存在し、並列で動作する。但し、演算回路415は、単位グループ131毎に存在しなくてもよい。例えば、1つの演算回路415がそれぞれの単位グループ131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
The
次に、撮像素子30の画素領域113A(図4参照)に設定されるブロックについて説明する。本第1の実施形態において、撮像素子30の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数等が挙げられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
Next, blocks set in the
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。
Here, the charge accumulation time refers to the time from when
また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートは、例えば駆動部32がリセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ154、転送トランジスタ152、及び選択トランジスタ158に印加するタイミング(又はタイミングの周期)を制御することによって制御される。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(即ち、撮像される対象物)の動きが滑らかになる。
The frame rate is a value representing the number of frames processed (displayed or recorded) per unit time in a moving image. The frame rate is controlled, for example, by controlling the timing (or timing cycle) at which the
また、ゲインとは、アンプ416、426、436の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子30の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子30が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
Further, the gain means a gain factor (amplification factor) of the
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号の読み出しが行われることを意味する。 The thinning-out rate is the ratio of the number of pixels that do not read out pixel signals with respect to the total number of pixels in a predetermined area. For example, when the thinning rate of a predetermined area is 0, it means that pixel signals are read from all pixels in the predetermined area. Further, when the thinning rate of the predetermined area is 0.5, it means that the pixel signal is read from half of the pixels in the predetermined area.
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路415において行われる。演算回路415が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路415が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
Further, the number of added rows refers to the number of vertical pixels (number of rows) to be added when pixel signals of pixels adjacent in the vertical direction are added. Further, the number of added columns refers to the number of horizontal pixels (number of columns) to be added when pixel signals of pixels adjacent in the horizontal direction are added. Such addition processing is performed in the
また、デジタル化のビット数とは、信号処理回路412、422、432がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
The number of bits for digitization means the number of bits when the
本第1の実施形態では、図2の駆動部32は、一例として、ブロック毎にフレームレート、ゲイン、及び間引き率を制御する。また、駆動部32は、撮像素子30の画素領域113Aにおけるブロックの設定を行う。なお、システム制御部24は、駆動部32に対するブロックの位置、形状、範囲などの指示を行う。
In the first embodiment, as an example, the
図1に戻り、管理装置50は、PC(Personal Computer)等の端末を含み、監視カメラ10で撮像された画像をネットワーク60を介して収集し、表示する。また、管理装置50は、ユーザ(管理者)からの監視カメラ10の操作や設定に関する指示を受け付けると、ネットワーク60を介して、監視カメラ10に対して指示を送信する。
Returning to FIG. 1, the
次に、本第1の実施形態の監視カメラ10の処理について、図8〜図11に基づいて詳細に説明する。図8及び図9には、第1の実施形態に係る監視カメラ10の処理がフローチャートにて示されている。なお、図8及び図9の処理は、監視カメラ10に電源が投入され、管理装置50との間の通信が成立した段階で開始される。
Next, processing of the
図8の処理では、ステップS10において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。
In the process of FIG. 8, in step S10, the system control unit 24 sets common imaging conditions (for example, a frame rate, a gain, and a thinning rate) for all the plurality of blocks obtained by dividing the
次いで、ステップS12では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS12では、システム制御部24は、画像処理部16に指示を出し、全ブロックで撮像される画像を用いた動体検知処理を実行させる。この場合、画像処理部16は、撮像した画像とその直前に撮像された画像との比較を行う等することで、移動被写体を検知する。また、システム制御部24は、ステップS12において、通信部26を介して、管理装置50に対して撮像データを送信する。管理装置50では、受信した撮像データをディスプレイ等に表示するため、管理者は、監視カメラ10で撮像された画像を見ることが可能となる。
Next, in step S12, the system control unit 24 starts imaging using the
次いで、ステップS14では、システム制御部24は、画像処理部16からブロックのいずれかで移動被写体が検知されたことが通知されるまで待機する。即ち、移動被写体が検知されるまでは、システム制御部24は、ステップS10で設定された撮像条件での撮像を継続する。そして、移動被写体が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS16に移行する。
Next, in step S14, the system control unit 24 waits until it is notified from the
ステップS16では、システム制御部24は、変動ブロックとその撮像条件の設定を行う。例えば、図10に示すように、システム制御部24は、移動被写体(図10では人)が含まれる範囲を変動ブロック70に設定する。なお、図10等では、図示の便宜上、単位グループ131の大きさ(正方形の1マスの大きさ)を大きく表現している。また、システム制御部24は、変動ブロック70の撮像条件(例えばフレームレート、ゲイン、間引き率)を、移動被写体の撮像に適した条件に設定する。例えば、システム制御部24は、移動被写体が逆光で暗い場合にはゲインを大きくし、移動被写体の移動速度が速い場合にはフレームレートを高くし、移動被写体の拡大表示要求を受け付けた場合には間引き率を低くしたりする。また、システム制御部24は、変動ブロック70以外のブロックの撮像条件については、ステップS10で設定した撮像条件を維持する。なお、変動ブロック70のフレームレートを変える場合(例えば高くする場合)、変動ブロック70のフレームレートを他のブロックのフレームレートの倍数とする。 In step S16, the system control unit 24 sets a variable block and its imaging condition. For example, as illustrated in FIG. 10, the system control unit 24 sets a range including a moving subject (a person in FIG. 10) in the fluctuation block 70. In FIG. 10 and the like, the size of the unit group 131 (the size of one square) is greatly expressed for convenience of illustration. In addition, the system control unit 24 sets the imaging conditions (for example, frame rate, gain, thinning rate) of the variable block 70 to conditions suitable for imaging the moving subject. For example, the system control unit 24 increases the gain when the moving subject is backlit and dark, increases the frame rate when the moving subject has a high moving speed, and receives an enlarged display request for the moving subject. Decrease the thinning rate. Further, the system control unit 24 maintains the imaging conditions set in step S10 for the imaging conditions of blocks other than the variable block 70. When the frame rate of the variable block 70 is changed (for example, when it is increased), the frame rate of the variable block 70 is set to a multiple of the frame rate of other blocks.
次いで、ステップS18では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、第1画像処理部16Aからの画像データの記録は、ステップS12の直後から開始してもよいが、本実施形態では、移動被写体を検出した後から開始することとしている。これにより、移動被写体が撮像されている画像のみを記録することができる。
Next, in step S18, the system control unit 24 instructs the
次いで、ステップS20では、システム制御部24は、変動ブロック70を移動被写体に追従させる。即ち、システム制御部24は、画像処理部16から得られる画像内の移動被写体の動きに合わせて、変動ブロック70に含まれる画素(単位グループ131)と、変動ブロック70以外のブロックに含まれる画素(単位グループ131)とを随時異ならせるようにする。ここで、変動ブロック70は移動被写体に追従しており、該変動ブロック70では移動被写体に適した撮像条件で撮像されることから、移動被写体の様子を適切な画質で撮像・記録することが可能となる。これにより、管理装置50を利用する管理者による、移動被写体の監視を行い易くすることができる。
Next, in step S20, the system control unit 24 causes the variable block 70 to follow the moving subject. That is, the system control unit 24 adjusts the pixels included in the variation block 70 (unit group 131) and the pixels included in blocks other than the variation block 70 in accordance with the movement of the moving subject in the image obtained from the
次いで、ステップS22では、システム制御部24は、複数の移動被写体が存在し、その移動被写体同士が接近したか否かを判断する。例えば、システム制御部24は、移動被写体それぞれを含む変動ブロック70同士で重なりが生じた場合や、変動ブロック70同士が重なってはいないが所定の間隔よりも接近した場合に、移動被写体同士が接近したと判断する。このように、移動被写体同士が接近したか否かを判断するのは、移動被写体同士が接近した場合は、図11に示すように、移動被写体同士が衝突することが起こり得るためである。 Next, in step S22, the system control unit 24 determines whether there are a plurality of moving subjects and the moving subjects have approached each other. For example, the system control unit 24 may cause the moving subjects to approach each other when there is an overlap between the moving blocks 70 including the moving subjects, or when the moving blocks 70 are not overlapped but are closer than a predetermined interval. Judge that The reason why it is determined whether or not the moving subjects have approached each other is that the moving subjects may collide as shown in FIG. 11 when the moving subjects approach each other.
移動被写体同士が接近した場合、ステップS22の判断は肯定されて、図9のステップS24に移行する。ステップS24では、システム制御部24は、変動ブロック70の撮像条件の再設定を行う。例えば、システム制御部24は、変動ブロック70のゲインをステップS16で設定した値よりも大きくしたり、変動ブロック70のフレームレートをステップS16で設定した値よりも高くしたり、変動ブロック70の間引き率をステップS16で設定した値よりも小さくしたりする。これにより、移動被写体の様子を高画質で撮像・記録することができるようになり、移動被写体同士が衝突した場合でも、その解析が行い易くなる。 When the moving subjects are close to each other, the determination in step S22 is affirmed, and the process proceeds to step S24 in FIG. In step S <b> 24, the system control unit 24 resets the imaging condition of the variable block 70. For example, the system control unit 24 increases the gain of the variable block 70 larger than the value set in step S16, makes the frame rate of the variable block 70 higher than the value set in step S16, or thins the variable block 70. The rate is made smaller than the value set in step S16. As a result, the moving subject can be imaged and recorded with high image quality, and even when the moving subjects collide with each other, the analysis can be easily performed.
一方、複数の移動被写体が存在し、その移動被写体同士が接近していない場合、ステップS22の判断は否定され、図9のステップS30に移行する。ステップS30に移行すると、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS30の判断は否定されて、ステップS22に戻る。 On the other hand, when there are a plurality of moving subjects and the moving subjects are not close to each other, the determination in step S22 is denied and the process proceeds to step S30 in FIG. In step S30, the system control unit 24 determines whether the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S30 is denied and the process returns to step S22.
ステップS24の後は、ステップS26に移行し、システム制御部24は、移動被写体同士が離れるまで待機する。例えば、システム制御部24は、移動被写体それぞれを含む変動ブロック70同士の重なりが解消されたり、変動ブロック70同士が所定の間隔よりも離れたりするまで待機する。したがって、移動被写体同士が離れるまでは、システム制御部24は、変動ブロック70に関してはステップS24で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS10で設定された撮像条件での撮像を行う。移動被写体同士が離れた場合、ステップS28に移行し、システム制御部24は、ステップS24で再設定した変動ブロック70の撮像条件を、ステップS16で設定した撮像条件に戻す。 After step S24, the process proceeds to step S26, and the system control unit 24 waits until the moving subjects are separated from each other. For example, the system control unit 24 waits until the overlapping of the variable blocks 70 each including the moving subject is eliminated or the variable blocks 70 are separated from each other by a predetermined interval. Therefore, until the moving subjects are separated from each other, the system control unit 24 performs imaging under the imaging condition set in step S24 for the variable block 70, and the imaging set in step S10 for blocks other than the variable block 70. Perform imaging under conditions. When the moving subjects are separated from each other, the process proceeds to step S28, and the system control unit 24 returns the imaging condition of the variable block 70 reset in step S24 to the imaging condition set in step S16.
次いで、ステップS30では、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS30の判断は否定されて、ステップS22に戻る。 Next, in step S30, the system control unit 24 determines whether or not the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S30 is denied and the process returns to step S22.
一方、移動被写体が撮像範囲から居なくなった場合には、ステップS30の判断は肯定されて、ステップS32に移行する。ステップS32では、システム制御部24は、終了か否かを判断する。なお、システム制御部24は、終了か否かを、管理者が管理装置50あるいは操作部20から終了指示を入力したか否かにより判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS34に移行し、システム制御部24は、全ブロックの撮像条件をステップS10で設定した状態に戻し、ステップS14に戻る。以降は、ステップS32の判断が肯定されるまで、ステップS14〜S34の処理・判断を繰り返す。
On the other hand, if the moving subject is no longer in the imaging range, the determination in step S30 is affirmed and the process proceeds to step S32. In step S32, the system control unit 24 determines whether or not the process is finished. Note that the system control unit 24 determines whether or not the process is to end based on whether or not the administrator inputs an end instruction from the
以上詳細に説明したように、本第1の実施形態によると、撮像部14は、少なくとも1つの画素を有するブロックを複数有し、ブロック毎に撮像条件が設定可能となっている。システム制御部24は、撮像部14で撮像された画像により変動ブロック70を設定し、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像条件を変更する(ステップS24)。これにより、その時々に適した撮像条件で移動被写体を撮像することができ、移動被写体の様子を状況に応じた適切な画質で撮像することが可能となる。例えば複数の移動被写体の間で生じる事象(例えば移動被写体同士の衝突等)を適切な撮像条件で撮像することができ、当該事象の解析等を行い易くすることができる。また、移動被写体を含む変動ブロック70の撮像条件を変え(例えば高ゲイン、高フレームレート、低間引き率等に変更)、その他のブロックの撮像条件は変えないため、データ量の増加や監視カメラ10の温度上昇を抑制することができる。このようにデータ量の増加を抑圧することにより、ネットワーク60を介して管理装置に画像データを送信する際の通信回線のデータ量に関する負荷を減らすことができる。
As described above in detail, according to the first embodiment, the
また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体の少なくとも一部が撮像されたら、変動ブロック70の撮像条件を第1撮像条件から第2撮像条件に変更している。これにより、複数の移動被写体の間で生じる事象(例えば移動被写体同士の衝突等)をより適切な撮像条件で撮像することができる。 In the first embodiment, when at least a part of the other moving subject is imaged by the variable block 70, the system control unit 24 changes the imaging condition of the variable block 70 from the first imaging condition to the second imaging condition. It has changed. Thereby, an event (for example, a collision between moving subjects) occurring between a plurality of moving subjects can be imaged under more appropriate imaging conditions.
また、本第1の実施形態のように、システム制御部24は、変動ブロック70で画像処理部16によって検出された他方の移動被写体が撮像されたら、変動ブロック70の撮像条件を変更するようにしてもよい。
Further, as in the first embodiment, when the other moving subject detected by the
また、本第1の実施形態のように、システム制御部24は、画像処理部16で検出された一方の移動被写体の位置と他方の移動被写体の位置とによって変動ブロック70を設定するようにしてもよい。
Further, as in the first embodiment, the system control unit 24 sets the variable block 70 based on the position of one moving subject detected by the
また、本第1の実施形態では、システム制御部24は、一方の移動被写体の位置と他方の移動被写体の位置との間隔が接近したときの一方の移動被写体と他方の移動被写体とを含むブロックを変動ブロック70に設定している。これにより、複数の移動被写体の間で生じる事象をより確実に撮像することができる。 Further, in the first embodiment, the system control unit 24 includes a block including one moving subject and the other moving subject when the distance between the position of one moving subject and the position of the other moving subject approaches. Is set in the fluctuation block 70. As a result, an event that occurs between a plurality of moving subjects can be captured more reliably.
また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像におけるゲインを異ならせるので、適切な明るさで移動被写体を撮像することができる。 In the first embodiment, when the other moving subject is imaged in the variable block 70, the system control unit 24 changes the gain in the imaging of the variable block 70, so that the moving subject is imaged with appropriate brightness. be able to.
また、本第1の実施形態では、システム制御部24は、変動ブロック70で他方の移動被写体が撮像されたら変動ブロック70の撮像におけるフレームレートを異ならせている。これにより、適切な速さでのスロー再生が可能となる。 In the first embodiment, when the other moving subject is imaged in the variable block 70, the system control unit 24 changes the frame rate in imaging of the variable block 70. Thereby, slow playback at an appropriate speed is possible.
また、本第1の実施形態では、撮像部14が撮像する全ブロック(領域)の画像処理を行う第1画像処理部16Aと、撮像部14が撮像する移動被写体を含む変動ブロック70(領域)の画像処理を行う第2画像処理部16Bと、を備える。これにより、図12に示すように、全ブロックから変動ブロック70の画像を切り出して、変動ブロック70の画像を拡大してリアルタイム表示することができる。なお、図12においては、変動ブロック70は動体検知処理に加えて、顔認識処理も用いて設定している。また、第2画像処理部16Bが常時作動していて、拡大表示が常時行われるようにしてもよいし、管理装置50のディスプレイ等に対して管理者がタッチした場合に、第2画像処理部16Bが作動して、拡大表示が行われるようにしてもよい。
In the first embodiment, the first
また、本第1の実施形態のように、システム制御部24は、移動被写体を含む変動ブロック70の撮像条件を、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで異ならせるようにしてもよい。これにより、その時々に適した撮像条件で移動被写体を撮像することができ、移動被写体の様子を状況に応じた適切な画質で撮像することが可能となる。 Further, as in the first embodiment, the system control unit 24 sets the imaging condition of the variable block 70 including the moving subject at the time when the moving subject enters the image (in the object scene) (first field). The time point may be different from the time point when the moving subjects approach (second time point). As a result, it is possible to image the moving subject under imaging conditions suitable for each occasion, and it is possible to capture the state of the moving subject with an appropriate image quality according to the situation.
また、本第1の実施形態のように、移動被写体を含む変動ブロック70が画像内(被写界内)に複数存在し、システム制御部24は、複数の移動被写体を含む変動ブロック70の位置関係に応じて撮像条件を変更するようにしてもよい。これにより、複数の移動被写体の間で生じる事象を適切な撮像条件で撮像することができ、当該事象の解析等を行い易くすることができる。 Further, as in the first embodiment, a plurality of variable blocks 70 including a moving subject exist in the image (in the field), and the system control unit 24 determines the position of the variable block 70 including a plurality of moving subjects. You may make it change imaging conditions according to a relationship. As a result, an event occurring between a plurality of moving subjects can be imaged under appropriate imaging conditions, and the event can be easily analyzed.
また、本第1の実施形態のように、システム制御部24は、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで、移動被写体を含む変動ブロック70の撮像におけるゲインを異ならせてもよい。例えば、移動被写体が画像内に侵入してきた時点よりも移動被写体同士が接近した時点の撮像におけるゲインを大きくすることで、移動被写体同士の衝突現場の撮像を明るくして行うことができる。 In addition, as in the first embodiment, the system control unit 24 detects the time (first time) when the moving subject enters the image (in the object scene) and the time when the moving subjects approach (first time). 2), the gain in imaging of the variable block 70 including the moving subject may be different. For example, by increasing the gain in imaging when the moving subjects approach each other than when the moving subject enters the image, it is possible to brighten the imaging of the collision site between the moving subjects.
また、本第1の実施形態のように、システム制御部24は、移動被写体が画像内(被写界内)に侵入してきた時点(第1の時点)と移動被写体同士が接近した時点(第2の時点)とで、移動被写体を含む変動ブロック70の撮像におけるフレームレートを異ならせてもよい。例えば、移動被写体が画像内に侵入してきた時点よりも移動被写体同士が接近した時点の撮像におけるフレームレートを高くすることで、移動被写体同士が衝突した際の動画をよりゆっくりとスロー再生することが可能となる。 In addition, as in the first embodiment, the system control unit 24 detects the time (first time) when the moving subject enters the image (in the object scene) and the time when the moving subjects approach (first time). 2), the frame rate in imaging of the variable block 70 including the moving subject may be different. For example, by increasing the frame rate at the time when moving subjects approach each other than when the moving subject has entered the image, it is possible to slow-play a moving image when the moving subjects collide more slowly. It becomes possible.
なお、上記第1の実施形態において、システム制御部24は、変動ブロック70の撮像におけるゲイン、フレームレート、間引き率を異ならせる場合を例に説明したが、その他の撮像条件を異ならせることとしてもよい。例えば、システム制御部24は、撮像素子30を制御するための制御パラメータ(例えば電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)や撮像素子30からの信号の読み出しを制御するための制御パラメータ(例えば間引き率)、撮像素子30からの信号を処理するための制御パラメータ(例えば画素信号を加算する加算行数又は加算列数、デジタル化のビット数)等を異ならせる場合でもよい。 In the first embodiment, the system control unit 24 has been described with respect to an example in which the gain, frame rate, and thinning rate in imaging of the variable block 70 are varied. However, other imaging conditions may be varied. Good. For example, the system control unit 24 controls control parameters for controlling the image sensor 30 (for example, charge accumulation time or number of accumulations, frame rate, gain) and control parameters for controlling signal readout from the image sensor 30 ( For example, the control parameters for processing signals from the image sensor 30 (for example, the number of added rows or added columns to which pixel signals are added, the number of digitization bits), or the like may be different.
《第2の実施形態》
次に、第2の実施形態について、図13〜図16に基づいて詳細に説明する。
<< Second Embodiment >>
Next, a second embodiment will be described in detail based on FIGS.
第2の実施形態に係る監視カメラシステムの構成は、図1の第1の実施形態に係る監視カメラシステム500と同一又は同等である。また、監視カメラの構成は、図2〜図7の第1の実施形態に係る監視カメラと同一又は同等である。なお、画像処理部16の第1画像処理部16Aは、全ブロックに含まれる画素からの信号の画像処理を実行し、第2画像処理部16Bは、注目ブロックに含まれる画素からの信号の画像処理を実行する。
The configuration of the surveillance camera system according to the second embodiment is the same as or equivalent to that of the
次に、本第2の実施形態の監視カメラの処理について、図13〜図16に基づいて詳細に説明する。図13及び図14には、第2の実施形態に係る監視カメラ10の処理がフローチャートにて示されている、なお、図13及び図14の処理は、監視カメラ10の電源が投入され、管理装置50との間の通信が成立した段階で開始される。
Next, the process of the surveillance camera of the second embodiment will be described in detail based on FIGS. 13 and 14 show the processing of the
図13の処理では、ステップS40において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。
In the process of FIG. 13, in step S40, the system control unit 24 sets common imaging conditions (for example, frame rate, gain, and thinning rate) for all the plurality of blocks obtained by dividing the
次いで、ステップS42では、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを注目ブロック72に設定する。例えば、図15に示すように、監視カメラ10の撮像範囲内において通路の曲がり角が撮像されている場合に、曲がり角の範囲を注目ブロック72に設定する。これは、曲がり角で移動被写体同士が衝突することが起こり易いためである。
Next, in step S <b> 42, the system control unit 24 sets some blocks in the image as the target block 72 in accordance with an input from the administrator. For example, as shown in FIG. 15, when the turning angle of the passage is imaged within the imaging range of the
次いで、ステップS44では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS44では、システム制御部24は、画像処理部16に指示を出し、全ブロックで撮像される画像を用いた動体検知処理を実行させる。また、システム制御部24は、ステップS44において、通信部26を介して、管理装置50に対して撮像データを送信する。
Next, in step S44, the system control unit 24 starts imaging using the
次いで、ステップS46では、システム制御部24は、画像処理部16からブロックのいずれかで移動被写体が検知されたことが通知されるまで待機する。即ち、移動被写体が検知されるまでは、システム制御部24は、ステップS40で設定された撮像条件での撮像を継続する。そして、移動被写体が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS48に移行する。
Next, in step S46, the system control unit 24 waits until it is notified from the
ステップS48では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、画像データの記録は、ステップS44の直後から開始してもよい。
In step S48, the system control unit 24 instructs the
次いで、ステップS50では、システム制御部24は、画像処理部16から得られる画像内の移動被写体の位置が注目ブロック72に入ったか否かを判断する。例えば、システム制御部24は、図16(a)のように、撮像範囲内に入ってきた移動被写体(人)が、図16(b)のように、注目ブロック72に入ったか否かを判断する。なお、移動被写体が注目ブロック72に入ったか否かの判断は、移動被写体の全体が注目ブロック72内に完全に入った場合を注目ブロック72に入ったと判断するようにしてもよいし、移動被写体の一部が注目ブロック72内に入った場合を注目ブロック72に入ったと判断するようにしてもよい。
Next, in step S <b> 50, the system control unit 24 determines whether the position of the moving subject in the image obtained from the
移動被写体が注目ブロック72に入った場合、ステップS50の判断は肯定されて、図14のステップS52に移行する。ステップS52では、システム制御部24は、注目ブロック72の撮像条件の設定を行う。例えば、システム制御部24は、注目ブロック72のゲインをステップS40で設定した値よりも大きくしたり、注目ブロック72のフレームレートをステップS40で設定した値よりも高くしたり、注目ブロック72の間引き率をステップS40で設定した値よりも小さくしたりする。これにより、移動被写体が注目ブロック72に入った状況下において、移動被写体の様子を高画質で撮像・記録することが可能となる。 When the moving subject enters the attention block 72, the determination in step S50 is affirmed, and the process proceeds to step S52 in FIG. In step S52, the system control unit 24 sets the imaging condition of the block of interest 72. For example, the system control unit 24 makes the gain of the block of interest 72 larger than the value set in step S40, makes the frame rate of the block of interest 72 higher than the value set in step S40, The rate is made smaller than the value set in step S40. This makes it possible to capture and record the moving subject with high image quality in a situation where the moving subject enters the target block 72.
一方、移動被写体が注目ブロック72に入っていない場合、ステップS50の判断は否定されて、図14のステップS58に移行する。ステップS58に移行すると、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS58の判断は否定されて、ステップS50に戻る。 On the other hand, if the moving subject is not in the target block 72, the determination in step S50 is negative and the process proceeds to step S58 in FIG. In step S58, the system control unit 24 determines whether the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S58 is negative and the process returns to step S50.
ステップS52の後は、ステップS54に移行し、システム制御部24は、移動被写体が注目ブロック72から出て行くまで待機する。なお、移動被写体が注目ブロック72から出て行ったか否かの判断は、移動被写体の全体が注目ブロック72から完全に出て行った場合を注目ブロック72から出て行ったと判断するようにしてもよいし、移動被写体の一部が注目ブロック72から出て行った場合に注目ブロック72から出て行ったと判断するようにしてもよい。したがって、移動被写体が注目ブロック72から出て行くまでは、システム制御部24は、注目ブロック72に関してはステップS52で設定された撮像条件での撮像を行い、注目ブロック72以外のブロックに関してはステップS40で設定された撮像条件での撮像を行う。 After step S52, the process proceeds to step S54, and the system control unit 24 waits until the moving subject goes out of the block of interest 72. The determination as to whether or not the moving subject has left the attention block 72 may be made by determining that the movement subject has completely left the attention block 72 and that the movement subject has left the attention block 72. Alternatively, when a part of the moving subject has left the attention block 72, it may be determined that the movement subject has left the attention block 72. Therefore, until the moving subject leaves the target block 72, the system control unit 24 performs imaging under the imaging conditions set in step S52 for the target block 72, and step S40 for blocks other than the target block 72. Imaging is performed under the imaging conditions set in.
移動被写体が注目ブロック72から出て行った場合、ステップS56に移行し、システム制御部24は、ステップS52で設定した注目ブロック72の撮像条件を、ステップS40で設定した撮像条件に戻す。 When the moving subject leaves the target block 72, the process proceeds to step S56, and the system control unit 24 returns the imaging condition of the target block 72 set in step S52 to the imaging condition set in step S40.
次いで、ステップS58では、システム制御部24は、移動被写体が画像内(被写界内)から居なくなったか否かを判断する。移動被写体が撮像範囲に存在し続けている場合、ステップS58の判断は否定されて、ステップS50に戻る。 Next, in step S58, the system control unit 24 determines whether or not the moving subject is no longer in the image (in the object scene). If the moving subject continues to exist in the imaging range, the determination in step S58 is negative and the process returns to step S50.
一方、移動被写体が撮像範囲から居なくなった場合には、ステップS58の判断は肯定されて、ステップS60に移行する。ステップS60では、システム制御部24は、終了か否かを判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS46に戻る。以降は、ステップS60の判断が肯定されるまで、ステップS46〜S60の処理・判断を繰り返す。 On the other hand, if the moving subject is no longer in the imaging range, the determination in step S58 is affirmed and the process proceeds to step S60. In step S60, the system control unit 24 determines whether the process is finished. When judgment here is denied, ie, when it is not completion | finish, it returns to step S46. Thereafter, the processes and determinations in steps S46 to S60 are repeated until the determination in step S60 is affirmed.
以上詳細に説明したように、本第2の実施形態では、システム制御部24は、撮像部14で撮像された画像により注目ブロック72を設定し、注目ブロック72で移動被写体が撮像されたら注目ブロック72の撮像条件を変更する(ステップS52)。これにより、移動被写体を注目して監視することが望まれる場所(例えば移動被写体に危険が生じる恐れのある場所等)において、移動被写体を適切な撮像条件によって撮像することができる。
As described above in detail, in the second embodiment, the system control unit 24 sets the attention block 72 based on the image captured by the
また、本第2の実施形態では、システム制御部24は、移動被写体の少なくとも一部が注目ブロック72で撮像されたら、注目ブロック72の撮像条件を第1撮像条件から第2撮像条件に変更している。これにより、注目ブロック72で生じる事象(例えば移動被写体同士の衝突等)をより適切な撮像条件で撮像することができる。 In the second embodiment, the system control unit 24 changes the imaging condition of the target block 72 from the first imaging condition to the second imaging condition when at least a part of the moving subject is captured by the target block 72. ing. Thereby, an event (for example, a collision between moving subjects) occurring in the target block 72 can be imaged under a more appropriate imaging condition.
また、本第2の実施形態のように、システム制御部24は、画像処理部16で検出された移動被写体が注目ブロック72で撮像されたら、注目ブロック72の撮像条件を変更するようにしてもよい。
Further, as in the second embodiment, when the moving subject detected by the
なお、上記第2の実施形態においては、通路の曲がり角を注目ブロック72に設定する場合を例に示したが、ビルや工場、家等の建物の出入口や銀行のATMの前等、移動被写体を注目して見たい場所を注目ブロック72に設定してもよい。 In the second embodiment, the case where the turning corner of the passage is set to the attention block 72 is shown as an example. However, moving objects such as entrances and exits of buildings such as buildings, factories, and houses and bank ATMs are used. You may set to the attention block 72 the place which wants to see paying attention.
《第3の実施形態》
次に、第3の実施形態について、図17〜図21(b)に基づいて詳細に説明する。第3の実施形態は、移動被写体が人ではなく、工場に備わる搬送システムで搬送される物品の場合の例である。
<< Third Embodiment >>
Next, the third embodiment will be described in detail with reference to FIGS. 17 to 21B. The third embodiment is an example in the case where the moving subject is not a person but an article conveyed by a conveyance system provided in a factory.
図17は、第3の実施形態に係る搬送システム80を備える工場90を示す図である。図17に示すように、搬送システム80は、工場90内に備わっている。搬送システム80は、物品(例えば半製品)82を搬送する搬送装置(例えばベルトコンベア)84と、搬送装置84によって搬送される物品82を撮像する監視カメラ10と、監視カメラ10で撮像された画像を表示する表示装置86と、を備える。監視カメラ10の構成は、図2〜図7の第1の実施形態に係る監視カメラと同一又は同等である。表示装置86は、例えばLCD(Liquid Crystal Display)である。作業員は、搬送装置84で搬送されて来る物品82に対して、搬送装置84上の作業場88で作業を行う。作業が終了した物品82は、次の工程を行うために作業場88から搬送されて行く。
FIG. 17 is a diagram illustrating a
なお、工場90内に複数の搬送システム80が設けられていて、それぞれの搬送システム80に含まれる監視カメラ10がネットワーク等によって管理装置50と接続されていてもよい。
A plurality of
次に、本第3の実施形態の搬送システム80に備わる監視カメラの処理について、図18〜図21(b)に基づいて詳細に説明する。図18及び図19には、第3の実施形態に係る搬送システム80に備わる監視カメラ10の処理がフローチャートにて示されている。なお、図18及び図19の処理は、監視カメラ10の電源が投入された段階で開始される。
Next, processing of the monitoring camera provided in the
図18の処理では、ステップS70において、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを動体検知ブロック74に設定する。例えば、図20(a)に示すように、搬送装置84上の作業場88よりも上流部分を含む範囲が動体検知ブロック74に設定される。
In the process of FIG. 18, in step S <b> 70, the system control unit 24 sets some blocks in the image as the moving object detection block 74 in accordance with an input from the administrator. For example, as shown in FIG. 20A, a range including the upstream portion of the
次いで、ステップS72において、システム制御部24は、撮像素子30の画素領域113Aを分割した複数のブロック全てに対して、共通の撮像条件(例えばフレームレート、ゲイン、間引き率)を設定する。
Next, in step S72, the system control unit 24 sets common imaging conditions (for example, a frame rate, a gain, and a thinning rate) for all of a plurality of blocks obtained by dividing the
次いで、ステップS74では、システム制御部24は、管理者からの入力に応じて、画像内の一部のブロックを注目ブロック72に設定する。例えば、図20(b)に示すように、搬送装置84上の作業場88を含む範囲が注目ブロック72に設定される。これは、作業場88で物品82に対して作業を行うので、その作業を監視するためである。
Next, in step S <b> 74, the system control unit 24 sets some blocks in the image as the target block 72 in accordance with an input from the administrator. For example, as illustrated in FIG. 20B, a range including the
次いで、ステップS76では、システム制御部24は、全ブロックに共通の撮像条件が設定された撮像素子30を用いた撮像を開始する。なお、ステップS76では、システム制御部24は、画像処理部16に指示を出し、動体検知ブロック74で撮像される画像を用いた動体検知処理を実行させる。また、システム制御部24は、ステップS76において、通信部26を介して、表示装置86に対して撮像データを送信して、表示装置86に撮像画像を表示させる。
Next, in step S76, the system control unit 24 starts imaging using the
次いで、ステップS78では、システム制御部24は、画像処理部16から動体検知ブロック74で移動被写体(物品82)が検知されたことが通知されるまで待機する。即ち、物品82が検知されるまでは、システム制御部24は、ステップS72で設定された撮像条件での撮像を継続する。そして、物品82が検知されたことが、画像処理部16から通知されると、システム制御部24は、ステップS80に移行する。
Next, in step S78, the system control unit 24 waits until the
ステップS80では、システム制御部24は、変動ブロックとその撮像条件の設定を行う。例えば、図21(a)に示すように、システム制御部24は、物品82が含まれる範囲を変動ブロック70に設定する。そして、システム制御部24は、変動ブロック70の撮像条件(例えばフレームレート、ゲイン、間引き率)を、物品82の撮像に適した条件に設定する。例えば、システム制御部24は、物品82が逆光で暗い場合にはゲインを大きくし、物品82の移動速度が速い場合にはフレームレートを高くし、物品82の拡大表示要求を受け付けた場合には間引き率を低くする。また、システム制御部24は、変動ブロック70以外のブロックの撮像条件については、ステップS72で設定した撮像条件を維持する。
In step S80, the system control unit 24 sets a variable block and its imaging condition. For example, as illustrated in FIG. 21A, the system control unit 24 sets a range in which the
次いで、ステップS82では、システム制御部24は、記録部22に指示を出し、画像データの記録を開始する。例えば、システム制御部24は、第1記録部22Aに指示を出して、第1画像処理部16Aからの画像データの記録を開始し、第2記録部22Bに指示を出して、第2画像処理部16Bからの画像データの記録を開始する。なお、第1画像処理部16Aからの画像データの記録は、ステップS76の直後から開始してもよい。
Next, in step S82, the system control unit 24 instructs the
次いで、ステップS84では、システム制御部24は、変動ブロック70を物品82に追従させる。即ち、システム制御部24は、画像処理部16から得られる画像内の物品82の動きに合わせて、変動ブロック70に含まれる画素(単位グループ131)と、変動ブロック70以外のブロックに含まれる画素(単位グループ131)とを随時異ならせるようにする。
Next, in step S84, the system control unit 24 causes the variable block 70 to follow the
次いで、図19のステップS86では、システム制御部24は、物品82が注目ブロック72に入るまで待機する。例えば、システム制御部24は、図21(b)のように、搬送装置84で搬送される物品82が、作業場88を含む注目ブロック72に入るまで待機する。なお、物品82が注目ブロック72に入ったか否かの判断は、変動ブロック70の一部が注目ブロック72に重なった場合に物品82が注目ブロック72に入ったと判断してもよいし、変動ブロック70の全てが注目ブロック72に重なった場合に物品82が注目ブロック72に入ったと判断してもよい。したがって、物品82が注目ブロック72に入るまでは、システム制御部24は、変動ブロック70に関してはステップS80で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。そして、物品82が注目ブロック72に入ると、システム制御部24は、ステップS88に移行する。
Next, in step S <b> 86 of FIG. 19, the system control unit 24 waits until the
ステップS88では、システム制御部24は、変動ブロック70の撮像条件の再設定を行う。例えば、システム制御部24は、変動ブロック70のゲインをステップS80で設定した値よりも大きくしたり、変動ブロック70のフレームレートをステップS80で設定した値よりも高くしたり、変動ブロック70の間引き率をステップS80で設定した値よりも小さくしたりする。これにより、物品82に不具合を生じさせる恐れがある作業場88での物品82の様子を高画質で撮像・記録することが可能となる。
In step S88, the system control unit 24 resets the imaging condition of the variable block 70. For example, the system control unit 24 increases the gain of the variable block 70 larger than the value set in step S80, makes the frame rate of the variable block 70 higher than the value set in step S80, or thins the variable block 70. The rate is made smaller than the value set in step S80. This makes it possible to capture and record the state of the
ステップS88の後は、ステップS90に移行し、システム制御部24は、物品82が注目ブロック72から出て行くまで待機する。なお、物品82が注目ブロック72から出て行ったか否かの判断は、変動ブロック70の一部が注目ブロック72と重ならなくなった場合に物品82が注目ブロック72から出て行ったと判断してもよいし、変動ブロック70の全てが注目ブロック72と重ならなくなった場合に物品82が注目ブロック72から出て行ったと判断してもよい。したがって、物品82が注目ブロック72から出て行くまでは、システム制御部24は、変動ブロック70に関してはステップS88で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。
After step S88, the process proceeds to step S90, and the system control unit 24 waits until the
物品82が注目ブロック72から出て行った場合、ステップS92に移行し、システム制御部24は、変動ブロック70の撮像条件を再設定する。この場合において、変動ブロック70の撮像条件をステップS80で設定した撮像条件に戻してもよいし、ステップS80とは異なる撮像条件に変更してもよい。
When the
次いで、ステップS94では、システム制御部24は、物品82が画像内(被写界内)から居なくなるまで待機する。即ち、物品82が画像内から居なくなるまでは、システム制御部24は、変動ブロック70に関してはステップS92で設定された撮像条件での撮像を行い、変動ブロック70以外のブロックに関してはステップS72で設定された撮像条件での撮像を行う。物品82が画像内から居なくなった後、システム制御部24は、ステップS96に移行する。
Next, in step S94, the system control unit 24 stands by until the
ステップS96では、システム制御部24は、終了か否かを判断する。ここでの判断が否定された場合、即ち、終了ではない場合には、ステップS78に戻る。以降は、ステップS96の判断が肯定されるまで、ステップS78〜S96の処理・判断を繰り返す。 In step S96, the system control unit 24 determines whether or not the process is finished. When judgment here is denied, ie, when it is not completion | finish, it returns to step S78. Thereafter, the processes and determinations in steps S78 to S96 are repeated until the determination in step S96 is affirmed.
以上詳細に説明したように、本第3の実施形態では、移動被写体が搬送装置84で搬送される物品82であり、システム制御部24は、物品82を含む変動ブロック70が注目ブロック72に入ったら、物品82を含む変動ブロック70の撮像条件を変更している(ステップS88)。例えば、本第3の実施形態では、システム制御部24は、物品82を含む変動ブロック70の撮像条件を、物品82が作業場88外にある時点(第1の時点)と作業場88内にある時点(第2の時点)とで異ならせている。この場合でも、物品82の様子をその時々の状況に応じた適切な画質で撮像することができる。例えば、物品82に不具合が生じた場合の原因解析を、適切な画像(例えば高解像度や高フレームレート等の画像)を用いて行うことができる。
As described above in detail, in the third embodiment, the moving subject is the
また、第3の実施形態では、搬送システム80は監視カメラ10によって撮像された画像を表示する表示装置86を備えるので、物品82を撮像した画像を搬送装置84近傍で作業員やその上長等が見ることができる。このため、物品82に生じた不具合の原因解析を、作業現場で行うことができる。
Further, in the third embodiment, the
なお、上記第3の実施形態において、物品82を含む変動ブロック70が注目ブロック72に入った場合に変動ブロック70の撮像条件を変更するのではなく、上記第1の実施形態と同様に、物品82を含む変動ブロック70に、作業員の工具を含むブロックが接近した場合に変動ブロック70の撮像条件を変更するようにしてもよい。
In the third embodiment, when the variable block 70 including the
なお、上記第3の実施形態において、注目ブロック72は、1つの場合に限らず、複数ある場合でもよい。 In the third embodiment, the number of target blocks 72 is not limited to one, but may be plural.
なお、上記第1の実施形態〜第3の実施形態において、システム制御部24は、移動被写体の速度が異なる第1の時点と第2の時点とにおいて、移動被写体を含むブロックの撮像条件が異なるように撮像部14を制御する等、移動被写体の状態に応じて、撮像部14を制御してもよい。
In the first to third embodiments, the system control unit 24 has different imaging conditions for blocks including the moving subject at the first time point and the second time point when the moving subject speed is different. The
なお、上記第1の実施形態〜第3の実施形態において、撮像素子は撮像領域毎に撮像条件が変えられるが、すべての撮像領域を同一の撮像条件にしかできない撮像素子であってもよい。この場合は、撮像条件を変更するときはすべての撮像領域の撮像条件を同じように変更する。 In the first to third embodiments, the imaging element can change the imaging condition for each imaging area. However, the imaging element may be an imaging element in which all imaging areas can only have the same imaging condition. In this case, when changing the imaging conditions, the imaging conditions of all the imaging areas are changed in the same way.
なお、上記第1、第2の実施形態では、移動被写体が人であり、上記第3の実施形態では、移動被写体が物品(半製品)である場合について説明したがこれに限られるものではない。移動被写体は、例えば人以外の動物、車、災害時に撮像される可能性のあるもの(水や火等)など、その他の場合でもよい。 In the first and second embodiments, the moving subject is a person, and in the third embodiment, the moving subject is an article (semi-finished product). However, the present invention is not limited to this. . The moving subject may be other cases such as animals other than humans, cars, and objects that may be imaged during a disaster (water, fire, etc.).
なお、上記第1〜第3の実施形態において、監視カメラ10は、ビル内や工場内、路上に配置されている場合に限られず、例えば車内や競技場等、その他の場所に配置されていてもよい。監視カメラ10が車内に配置されている場合は、車の前方に現れる対向車や歩行者等を移動被写体として撮像してもよい。また、監視カメラ10が競技場に配置されている場合は、競技中の選手を移動被写体として撮像してもよい。また、管理装置50が監視カメラ10と一体となっていてもよい。
In the first to third embodiments, the
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。 The above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the processing apparatus should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium (except for a carrier wave).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 Each embodiment mentioned above is an example of suitable implementation of the present invention, and can be combined suitably. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.
10 監視カメラ
14 撮像部
16 画像処理部
16A 第1画像処理部
16B 第2画像処理部
20 操作部
22 記録部
22A 第1記録部
22B 第2記録部
24 システム制御部
30 撮像素子
32 駆動部
70 変動ブロック
72 注目ブロック
74 動体検知ブロック
80 搬送システム
82 物品
84 搬送装置
86 表示装置
90 工場
DESCRIPTION OF
Claims (14)
前記撮像部で撮像された画像により前記複数の撮像領域から特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更する制御部と
を備える電子機器。 An imaging unit having a plurality of imaging regions having at least one pixel, and imaging conditions can be set for each imaging region;
A control unit configured to set a specific imaging region from the plurality of imaging regions based on an image captured by the imaging unit, and to change an imaging condition of the specific imaging region when a target subject is imaged in the specific imaging region; Electronic equipment provided.
前記撮像部で撮像された画像により特定の領域を設定し、設定された前記特定の領域で対象被写体が撮像されたら前記撮像部の撮像条件を変更する制御部と
を備える電子機器。 An imaging unit having a plurality of pixels;
An electronic apparatus comprising: a control unit that sets a specific area based on an image captured by the imaging unit, and changes an imaging condition of the imaging unit when a target subject is imaged in the set specific area.
前記制御部は、前記検出部で検出された前記対象被写体が前記特定の撮像領域で撮像されたら、前記撮像条件を変更する請求項1または3記載の電子機器。 A detection unit that detects a target subject from an image captured by the imaging unit;
The electronic device according to claim 1, wherein the control unit changes the imaging condition when the target subject detected by the detection unit is imaged in the specific imaging region.
前記撮像部が撮像する前記対象被写体を含む撮像領域の画像処理を行う第2の画像処理部と、を備える請求項1〜9のいずれか一項に記載の電子機器。 A first image processing unit that performs image processing of all imaging regions imaged by the imaging unit;
The electronic device according to claim 1, further comprising: a second image processing unit that performs image processing on an imaging region including the target subject that is captured by the imaging unit.
対象被写体として前記物品を撮像する請求項1〜10のいずれか一項に記載の電子機器と、を備える搬送システム。 A transport device for transporting articles;
A transport system comprising: the electronic device according to claim 1 that images the article as a target subject.
前記撮像部で撮像された画像から前記複数の撮像領域のうちの特定の撮像領域を設定し、前記特定の撮像領域で対象被写体が撮像されたら前記特定の撮像領域の撮像条件を変更するように制御する、
処理を、コンピュータに実行させるプログラム。 A program for controlling an imaging unit having a plurality of imaging regions each having at least one pixel and for which imaging conditions can be set for each imaging region,
A specific imaging area of the plurality of imaging areas is set from the image captured by the imaging unit, and the imaging condition of the specific imaging area is changed when the target subject is imaged in the specific imaging area. Control,
A program that causes a computer to execute processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240559A JP6701706B2 (en) | 2015-12-09 | 2015-12-09 | Electronic devices and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240559A JP6701706B2 (en) | 2015-12-09 | 2015-12-09 | Electronic devices and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017108286A true JP2017108286A (en) | 2017-06-15 |
JP6701706B2 JP6701706B2 (en) | 2020-05-27 |
Family
ID=59060235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015240559A Active JP6701706B2 (en) | 2015-12-09 | 2015-12-09 | Electronic devices and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6701706B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021014867A1 (en) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | Imaging device and control method for same |
WO2021014921A1 (en) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | Image capturing device and control method for same |
JP2021184613A (en) * | 2017-09-29 | 2021-12-02 | 株式会社ニコン | Imaging device |
US11696013B2 (en) | 2018-02-23 | 2023-07-04 | Samsung Electronics Co., Ltd. | Electronic device and recording method thereof |
JP7478120B2 (en) | 2017-09-29 | 2024-05-02 | 株式会社ニコン | Imaging device and electronic device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1065940A (en) * | 1996-06-13 | 1998-03-06 | Olympus Optical Co Ltd | Image pickup device |
JP2006203395A (en) * | 2005-01-19 | 2006-08-03 | Konica Minolta Holdings Inc | Moving body recognition system and moving body monitor system |
JP2010103884A (en) * | 2008-10-27 | 2010-05-06 | Sanyo Electric Co Ltd | Image processing device, image processing method and electronic apparatus |
JP2013120273A (en) * | 2011-12-07 | 2013-06-17 | Nikon Corp | Digital camera |
JP2015186155A (en) * | 2014-03-25 | 2015-10-22 | 株式会社ニコン | Electronic apparatus |
JP2015186171A (en) * | 2014-03-26 | 2015-10-22 | 株式会社ニコン | Imaging apparatus, method for controlling the same, and control program |
-
2015
- 2015-12-09 JP JP2015240559A patent/JP6701706B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1065940A (en) * | 1996-06-13 | 1998-03-06 | Olympus Optical Co Ltd | Image pickup device |
JP2006203395A (en) * | 2005-01-19 | 2006-08-03 | Konica Minolta Holdings Inc | Moving body recognition system and moving body monitor system |
JP2010103884A (en) * | 2008-10-27 | 2010-05-06 | Sanyo Electric Co Ltd | Image processing device, image processing method and electronic apparatus |
JP2013120273A (en) * | 2011-12-07 | 2013-06-17 | Nikon Corp | Digital camera |
JP2015186155A (en) * | 2014-03-25 | 2015-10-22 | 株式会社ニコン | Electronic apparatus |
JP2015186171A (en) * | 2014-03-26 | 2015-10-22 | 株式会社ニコン | Imaging apparatus, method for controlling the same, and control program |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021184613A (en) * | 2017-09-29 | 2021-12-02 | 株式会社ニコン | Imaging device |
JP7478120B2 (en) | 2017-09-29 | 2024-05-02 | 株式会社ニコン | Imaging device and electronic device |
US11696013B2 (en) | 2018-02-23 | 2023-07-04 | Samsung Electronics Co., Ltd. | Electronic device and recording method thereof |
WO2021014867A1 (en) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | Imaging device and control method for same |
WO2021014921A1 (en) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | Image capturing device and control method for same |
CN114128252A (en) * | 2019-07-19 | 2022-03-01 | 佳能株式会社 | Image pickup apparatus and control method thereof |
CN114128251A (en) * | 2019-07-19 | 2022-03-01 | 佳能株式会社 | Image forming apparatus and control method thereof |
US20220141409A1 (en) * | 2019-07-19 | 2022-05-05 | Canon Kabushiki Kaisha | Imaging apparatus and control method thereof |
CN114128251B (en) * | 2019-07-19 | 2023-12-08 | 佳能株式会社 | Image forming apparatus and control method thereof |
US11863891B2 (en) | 2019-07-19 | 2024-01-02 | Canon Kabushiki Kaisha | Imaging apparatus and control method thereof |
JP7433792B2 (en) | 2019-07-19 | 2024-02-20 | キヤノン株式会社 | Imaging device and its control method |
JP7433793B2 (en) | 2019-07-19 | 2024-02-20 | キヤノン株式会社 | Imaging device and its control method |
Also Published As
Publication number | Publication date |
---|---|
JP6701706B2 (en) | 2020-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11758303B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
US10735650B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
US11290652B2 (en) | Electronic apparatus and control program | |
US9191566B2 (en) | Image pickup apparatus, method for image pickup and computer-readable recording medium | |
JP6561428B2 (en) | Electronic device, control method, and control program | |
US20240089402A1 (en) | Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method | |
JP6303689B2 (en) | Electronics | |
JP6701706B2 (en) | Electronic devices and programs | |
WO2016052434A1 (en) | Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method | |
US10686987B2 (en) | Electronic apparatus with image capturing unit having first and second imaging regions that capture an image of a subject under differing imaging conditions | |
JP6747465B2 (en) | Electronics | |
US20170324911A1 (en) | Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method | |
JP7248163B2 (en) | Imaging device | |
JP7028279B2 (en) | Electronics | |
US11082715B2 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
JP2019169988A (en) | data structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6701706 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |