JP2006319879A - 集積回路装置、マイクロコンピュータ及び監視カメラシステム - Google Patents

集積回路装置、マイクロコンピュータ及び監視カメラシステム Download PDF

Info

Publication number
JP2006319879A
JP2006319879A JP2005142779A JP2005142779A JP2006319879A JP 2006319879 A JP2006319879 A JP 2006319879A JP 2005142779 A JP2005142779 A JP 2005142779A JP 2005142779 A JP2005142779 A JP 2005142779A JP 2006319879 A JP2006319879 A JP 2006319879A
Authority
JP
Japan
Prior art keywords
image
change
area
transmission destination
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005142779A
Other languages
English (en)
Other versions
JP4741283B2 (ja
Inventor
Kazuyuki Shibao
和之 柴尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2005142779A priority Critical patent/JP4741283B2/ja
Priority to US11/408,002 priority patent/US7482569B2/en
Publication of JP2006319879A publication Critical patent/JP2006319879A/ja
Application granted granted Critical
Publication of JP4741283B2 publication Critical patent/JP4741283B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19669—Event triggers storage or change of storage policy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Abstract

【課題】連続した画像の送信先を変化の検出の有無や検出エリアに応じてリアルタイムに切り替えることが出来る集積回路装置、マイクロコンピュータ及び監視カメラシステムを提供すること。
【解決手段】集積回路装置１０は、ネットワークを介して外部に送信する送信機能を有する。撮像手段１１０で撮影された画素単位の画像データ１２を時系列に受け取り、画像を１又複数のエリアに分割し、前記１又複数のエリア単位でリアルタイムに画像の変化の有無を検出して変化検出信号１３２を生成する画像変化検出回路１３０と、前記変化検出信号１３２に基づき、画像の送信先を設定又は変更する送信先設定／変更部１２０と、を含む。
【選択図】 図１

Description

本発明は、集積回路装置、マイクロコンピュータ及び監視カメラシステムに関する。
防犯システムに用いる監視カメラシステムにおいては、監視カメラで監視すべき場所の画像を取り込み、画像処理によりフレーム間の変化を検出して、あるレベルで変化があった場合に画像の保存を行っていた。
特開２００４−２８２１６３号公報
常時設置されたカメラ等で連続画像で変化のあったときだけ画像を取得したい場合、変化のあったことをＣＰＵや接続されたＰＣ、又は接続されたアナログ温度センサ等を使って検出する必要があった。
ＣＰＵやＰＣで検出する場合、一旦フレームバッファにいれた後処理をするので、ＣＰＵやメモリの負荷は大きくなり、消費電力も大きくなる。
またアナログ人体センサー等を使う場合は部品が高価となりコストが上昇する。
このように従来は変化の検出に時間がかかり画像の取り込みエリアをダイナミックに変化させることができなかったため、連続した画像の送信先を変化の検出の有無や検出エリアに応じてリアルタイムに切り替えることは困難であった。
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、連続した画像の送信先を変化の検出の有無や検出エリアに応じてリアルタイムに切り替えることが出来る集積回路装置、マイクロコンピュータ及び監視カメラシステムを提供することにある。
（１）本発明は、
ネットワークを介して外部に送信する送信機能を有する集積回路装置であって、
撮像手段で撮影された画素単位の画像データを時系列に受け取り、画像を１又複数のエリアに分割し、前記１又複数のエリア単位でリアルタイムに画像の変化の有無を検出して変化検出信号を生成する画像変化検出回路と、
前記変化検出信号に基づき、画像の送信先を設定又は変更する送信先設定／変更部と、を含むことを特徴とする。
ここにおいてリアルタイムにとは、垂直同期信号（ＶＳＩＮＣ）に同期して変化を検出するような場合である。従って受け取った画像データを一旦ワーク領域に記憶させ、ワーク領域から読み出した画像データを比較して変化を検出するような構成は含まれない。
画像データとは例えば画素単位のＹＵＶデータやＲＧＢデータであり、垂直同期信号（ＶＳＹＮＣ）や水平同期信号（ＨＳＹＮＣ）を含むようにしてもよい。
画像の送信先の設定又は変更は、画像毎に行うような構成でもよいし、数画像単位で行う構成でもよい。
ここにおいて変化検出信号とは、各エリア単位での変化の有無を示す情報を含む。変化検出信号に基づき画像の送信先を設定又は変更するとは、いずれかのエリアで変化が検出された場合に画像の送信先を変更するような構成（変化の有無に応じて送信先を変更する構成）でもよいし、変化があったエリアに応じて送信先を決定する構成でもよい。
なお画像データの送信先として、予め複数の送信先アドレスが登録されており、その中から送信先アドレスを設定／変更するようにしても良い。送信先アドレスとしては例えばＩＰアドレス等を用いるようにしてもよい。例えば検出エリアと送り先の定義テーブルを持たせ、変化ありの検出エリアに対応して定義されたＩＰアドレスを送り先に設定するようにしてもよい。
本発明によれば、画像毎にＬＡＮ上の別ＩＰアドレスに送付することができる。
また画像変化検出回路が変化を検出したエリアに応じて圧縮用の取り込み画像範囲を変化させることも可能であるため、必要な部分（変化のあった部分）のみ取り込むことでデータ量の増大を防止することができる。
また１台のカメラで複数のエリアの変化の有無をエリア単位に検出して以降の処理を行うことができるので、エリア毎にカメラを持たなくて済む。
（２）本発明の集積回路装置は、
前記送信先設定／変更部は、
前記変化検出信号がいずれのエリアでも変化が検出されていないことを示す
画像については送信先を第１の送信先に設定し、前記変化検出信号がいずれかのエリアに変化が検出されていることを示す画像については、第１の送信先と他の送信先のいずれかを送信先として設定することを特徴とする。
例えば画像に変化が無い場合には第１の端末（例えば監視モニタ）に、変化があった場合には第１の端末（例えば監視モニタ）と第２の端末（例えば記憶装置）とに画像単位で切り替えて送信するようにしてもよい。このようにすると変化があった場合のみ第２の端末（例えば記憶装置）に記憶させることができる。
（３）本発明の集積回路装置は、
前記送信先設定／変更部が、
連続して取得された画像に対し所与のルールに従って送信先アドレスを割り付け、いずれかのエリアに変化が検出された場合には、前記所与のルールに従って割り付けられた送信先アドレスを送信先として決定し、いずれのエリアにも変化が検出されない場合にはデフォルトとして用意されてた送信先アドレスを送信先として決定する処理を行うことを特徴とする。
所与のルールとは、連続して取得された画像に対し所定のサイクルで順番に又は交互に予め用意された複数の送信先アドレスの中から１の送信先アドレスを割り当てるような場合でもよいし、予め用意された複数の送信先アドレスを所定の確率でランダムに割り当てるような場合でもよい。
例えば変化がない場合には送信先をモニタ装置に割り当てるようにし、変化がある場合には、所与のルールに従ってモニタ装置と記憶装置のいずれかを送信先アドレスに割り付けるようにしてもよい。
例えば１秒間にｎ個分の画像データが入力されるとすると一旦変化が検出されると所定期間（少なくとも１秒間）は連続して変化が検出されるので、例えばｍ秒間の間変化が検出されたとすると、ｍ×ｎ個の画像が変化ありとなる。この場合にｍ×ｎ個の画像は所与のルールに従って送信先アドレスを割り付けられることになる。
（４）本発明の集積回路装置が、
前記変化検出信号又は前記変化検出信号に基づき設定又は変更された送信先に基づき、送出データサイズ及び送出位置の少なくとも一方を含むリサイズ情報を決定するリサイズ情報決定部と、
リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して画像の縮小又は切り取りを行うリサイズ回路とを含むことを特徴とする。
前記変化検出信号に基づきリサイズ情報を決定するとは、例えば変化の有無に応じてリサイズ情報を決定する場合でも良いし、どのエリアで変化があったかに基づきリサイズ情報を決定する場合でも良い。また送信先に基づきリサイズ情報を決定するようにすると、送信先の用途（例えばモニタに表示するのか、記憶部に記憶させるのか）に応じてリサイズ情報の設定を行うことができる。
一般にモニタ装置には全体画像を送ることが好ましいので、送りさきがモニタ装置である場合には、元画像をそのまま送るようにリサイズ情報を設定しても良いし、データ量を削減するために元画像を縮小（データの間引きを行う）して送るようにリサイズ情報を設定しても良い。
またストレージ装置には変化のあった部分の詳細な画像を送ることが好ましいので、送りさきがストレージ装置である場合には、元画像から変化のあった部分を切り出し、縮小せずに送るようにリサイズ情報を設定しても良い。
（５）本発明の集積回路装置は、
前記リサイズ情報決定部が、
前記変化検出信号が変化なしを示している場合は元画像を縮小することを指示するリサイズ情報を生成し、
前記リサイズ回路は、
リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して画像の縮小を行うことを特徴とする。
本発明によれば変化無しの場合には画像を縮小してから圧縮等を行うのでデータ量が少なくなるのでハイスピードで送信することができる。
また変化無しの場合には後で詳細な画像が必要になるケースはまれなので、縮小することによる弊害は少ない。
（６）本発明の集積回路装置は、
前記リサイズ情報決定部が、
前記変化検出信号が変化ありを示している場合は変化が検出されたエリアを元画像から切り出すことを指示するリサイズ情報を生成し、
前記リサイズ回路は、
リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して変化が検出されたエリアを元画像から切り出すことを特徴とする。
本発明によれば変化ありの場合には変化したエリアを切り出してから圧縮等を行うのでデータ量が少なくなるのでハイスピードで送信することができる。
しかも縮小を行わないことから後に詳細な画像が必要になっても元画像の解像度を保ったままの画像が提供できる。
（７）上記いずれかの記載の集積回路装置を含むマイクロコンピュータである。
（８）本発明は、
上記記載のマイクロコンピュータと撮像装置を含む監視カメラ装置と複数の端末がネットワークを介して接続された監視カメラシステムであって、
前記監視カメラ装置は、
撮像装置で撮影された画像を１又複数のエリアに分割し、変化の有無及び変化が検出されたエリアの少なくとも一方に応じて送信先の端末及び送信する画像のサイズ及び位置を決定し、決定された画像のサイズ及び位置に基づき画像を取り込んで圧縮し、圧縮された画像をネットワークを介して決定された送信先の端末に送信することを特徴とする。
（９）本発明の集積回路装置は、
前記画像変化検出回路が、
画像を１又複数のエリアに分割し、時系列に受け取った第１の画像及び第２の画像の画像データについて前記１又複数のエリア単位で各エリアに属する画素の画素値を積算して積算レジスタに保持する積算回路と、
積算レジスタに保持された第１の画像及び第２の画像の対応するエリアの積算値を比較して変化の有無を検出し、変化有りと判断した場合には変化検出信号を生成する変化検出信号生成回路と、
を含む事を特徴とする。
ここにおいて画素値とは例えばＹＵＶフォーマットで受け取る場合でもよいし、ＲＧＢフォーマットで受け取る場合でもよいし、ＹＣｂＣｒフォーマットで受け取る場合でもよい、その他の形式（輝度や色差）の受け取る場合でもよい。なお積算対象は上記各画素値のいずれか１つの成分の値（例えば輝度成分や色差成分）でもよい。またいずれか１つの成分の値の上位の所定ビットでもよい。
ここで比較対照となる第１の画像と第２の画像は例えばＣＣＤカメラ等の撮像手段で撮影された動画像等を時系列に受け取ったものである。受け取ったすべての画像について画素値を積算して変化の有無を検出するようにしてもよいし、所定の積算周期で（例えばｍフレーム毎に）画素値を積算して変化の有無を検出するようにしてもよい。
変化検出信号は例えばＣＰＵやその他のモジュールへの変化検出の割り込み信号として使用することで、変化の有無をＣＰＵやその他のモジュールに通知するようにしてもよい。
本発明では画像変化検出回路が撮像手段からの画像データをリアルタイムに受け取り変化を検出できるので、一旦フレームバッファに格納した後ＣＰＵやＰＣがフレームバッファから読み出して変化検出処理を行う場合にくらべてメモリ容量やメモリ負荷も少なくて済み消費電力も削減することができる。
本発明によれば、撮像手段により撮影された画像に生じた変化を低コスト、低消費電力かつ少ないストレージ容量で検出することが出来る
（１０）本発明の集積回路装置は、
前記積算回路が、
画像を複数のエリアに分割し、時系列に受け取った第１の画像及び第２の画像の画像データについて前記複数のエリア単位で各エリアに属する画素の画素値を積算して積算レジスタに保持し、
前記変化検出信号生成回路は、
積算レジスタに保持された第１の画像及び第２の画像の対応する各エリアの積算値を比較して変化の有無を検出し、変化有りと判断した場合には変化検出信号を生成する事を特徴とする。
本発明では各エリア毎に変化（例えばコントラストの変化）を検出することができる。従ってどのエリアで検出されたかを時系列に読み出すことで、どの方向に変化が移動したか判別できるので、簡易的な動きの検出もできる。
また本発明によればエリア単位で変化を検出できるので、部分的な動きの検出にも対応することが可能である。
またエリアの分割数を変更する（１エリアの面積を変更する）ことで変化検出の感度を変更することができる。たとえばエリアの分割数を上げる（１エリアを小さくする）ことで変化検出の感度を上げることができる。
（１１）本発明の集積回路装置は、
前記画像変化検出回路が、
変化エリア特定レジスタを含み、
前記変化検出信号生成回路は、
積算レジスタに保持された第１の画像及び第２の画像の対応する各エリアの積算値を比較して変化の有無を検出し、各エリア毎の変化の有無を変化エリア特定レジスタに保持する事を特徴とする。
変化エリア特定レジスタは、各エリア毎に変化の有無の検出結果を格納するためのレジスタであり、例えば各ビットの位置とエリアを対応付けて、ビットのＯＮ、ＯＦＦ（１，０の値）により変化の有無を特定できるような構成にしてもよい。
このようにするとＣＰＵやその他のモジュールが変化エリア特定レジスタを参照することにより、どのエリアに変化が生じたかを検出することができる。
（１２）本発明の集積回路装置は、
前記画像変化検出回路が、
画像を複数の矩形エリアに分割して、矩形エリア単位で変化を検出することを特徴とする。
矩形のエリアに分割することで画素の属するエリアの特定処理や変化の位置検出が容易になる。
なおエリアの分割数を増やすほど感度や位置検出の精度があがるので、目的に応じてエリア分割の設定をすることが好ましい。
（１３）本発明の集積回路装置は、
前記画像変化検出回路が、
積算周期に関する条件を設定するための積算周期設定レジスタを含み、
前記積算回路は、
積算周期設定レジスタの値に基づき積算周期を特定し、受け取った画像データが特定された積算周期に合致するか否か判断し、積算周期に合致する画像データについて、画素値を積算して積算レジスタに保持する事を特徴とする。
本発明によれば積算周期設定レジスタの値を変更することで、変化検出のための画像をピックアップする周期を変更することができる。積算周期を短くすると速い変化の検出が可能となり、積算周期を長くすると遅い変化の検出が可能になり、目的に応じてエリア分割の設定をすることが好ましい。
なお実際に積算周期設定レジスタに格納する値は、積算周期そのものでもよいし、積算周期を特定可能な値（例えば所定の積算周期に一義的に対応付けが可能な値）でもよい。
本発明によれば積算周期設定レジスタの値を変更することで速い／遅いいずれの変化の検出にも対応可能である。
（１４）本発明の集積回路装置は、
前記画像変化検出回路が、
変化を検出する際の基準となる基準変化率に関する条件を設定するための基準変化率設定レジスタを含み、
前記変化検出信号生成回路は、
前記基準変化率設定レジスタの値に基づき基準変化率を特定し、
積算レジスタに保持された第１の画像及び第２の画像の対応するエリアの積算値を比較して前記基準変化率に基づき変化の有無を検出する事を特徴とする。
本発明によれば基準変化率設定レジスタの値を変更することで、変化対象となる変化の度合いを変更することができる。基準変化率は前回積算値に対する変化量の割合等、例えば（今回積算値−前回積算値）／前回積算値等で表すことができる。基準変化率の値を小さく設定すると、大きい場合に比べ変化検出の感度が上昇するので目的に応じてエリア分割の設定をすることが好ましい。
なお実際に基準変化率設定レジスタに格納する値は、基準変化率そのものでもよいし、基準変化率を特定可能な値（例えば所定の基準変化率に一義的に対応付けが可能な値）でもよい。
（１５）本発明の集積回路装置は、
前記画像変化検出回路は、
変化検出の対象となるエリアを特定するための条件であるエリア特定情報を設定するためのエリア特定情報設定レジスタを含み、
前記変化検出信号生成回路は、
前記エリア特定情報設定レジスタの値に基づき当該エリアが検出対象エリアであるか否か判断し、検出対象エリアでない場合には、変化検出信号の生成を省略することを特徴とする。
本発明によれば、検出対象エリアに変化が行った場合のみＣＰＵ等に変化を通知することが可能になる。撮影する状況によっては常に画像が変化していて変化を検出すること自体が無意味なエリア等もある。本発明によればかかるエリアの変化検出をマスクすることができるので、必要なエリアのみから効率良く変化を検出することができる。
（１６）本発明の集積回路装置は、
前記画像変化検出回路は、
画素値のうち積算対象となる成分を特定するため条件である積算成分特定情報を設定するための積算成分特定情報設定レジスタを含み、
前記積算回路は、
積算成分特定情報設定レジスタの値に基づき画素成分を選択し、画像データのうち選択した画素成分を積算することを特徴とする。
一般に画素値は複数の成分により構成されている場合がおおい。例えばＹＵＶ形式の画素値の場合には画素値はＹ成分、Ｕ成分、Ｖ成分から構成されている。
本発明によれば、これらの各成分のいずれを使用するかを積算成分特定情報設定レジスタによって設定／変更することが可能である。
従って画像撮影の状況や環境や対象被写体に応じて、変化検出に最も適した成分を設定することがこのましい。
なお実際に積算成分特定情報設定レジスタに格納する値は、積算成分特定情報そのものでもよいし、積算成分特定情報を特定可能な値（例えば所定の積算成分特定情報に一義的に対応付けが可能な値）でもよい。
（１７）本発明の集積回路装置は、
前記積算回路が、
水平同期信号及び垂直同期信号を受け取り、受け取った水平同期信号及び垂直同期信号と水平分割数及び垂直分割数に基づき各画素がどのエリアに属するか特定し、特定したエリアに対応した積算レジスタに積算することを特徴とする。
（１８）本発明の集積回路装置は、
前記積算回路が、
各画素値の画像データの上位数ビットの値を積算することを特徴とする。
このようにすることにより積算回路や積算レジスタのハード上規模を小さくすることができる。
（１９）本発明の集積回路装置は、
前記画像変化検出回路が、
画像を水平方向にｍ分割、垂直方向にｎ分割してｎ×ｍ個のエリアに分割し、
ｎ×ｍ個のエリアに対応したｍ×ｎ個の今回積算レジスタ及びｍ×ｎ個の前回積算レジスタを含み、
前記積算回路が、第１の画像の画像データの後に受け取った第２の画像の画像データの積算値を今回レジスタに格納した後に、
比較回路は、今回積算レジスタの積算値と、第１の画像の画像データの積算値が保持されている前回積算レジスタの対応する積算値とを比較して変化の有無を検出し、比較後に今回積算レジスタの積算値を前回積算レジスタに移すことを特徴とする。
（２０）本発明の集積回路装置は、
前記画像変化検出回路が、
画像を水平方向にｍ分割、垂直方向にｎ分割してｎ×ｍの個のエリアに分割し、
水平方向のｍ個のエリアに対応したｍ個の今回積算レジスタ及びｎ×ｍ個のエリアに対応したｍ×ｎ個の前回積算レジスタを含み、
前記積算回路が、第１の画像の画像データの後に受け取った第２の画像の水平方向にｎ個分のエリアの積算値を今回レジスタに格納した後に、
比較回路は、今回積算レジスタの積算値と、第１の画像の画像データの積算値が保持されている前回積算レジスタの対応する積算値とを比較して変化の有無を検出し、比較後に今回積算レジスタの積算値を前回積算レジスタに移すことを特徴とする。
このようにすることで、第２のレジスタの個数を水平方向の分割数まで削減することができるため、ハードウエア規模を削減することが可能となる。
以下、本発明の好適な実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
図１は本実施の集積回路装置のブロック図を示す。
本実施の集積回路装置１０は、ネットワークを介して外部に送信する送信機能を有する集積回路装置であって、ＣＰＵ１２０、エリアセンサ１３０、リサイズ回路１４０、画像圧縮処理部１５０、画像メモリ１５２、送信処理部１６０等を含む。
エリアセンサ１３０は、外部のカメラ（撮像手段）１１０で撮影された画素単位の画像データ（例えばＹＵＶデータ１２やＲＧＢデータ等、ＨＳＹＮＣ（水平同期信号）９０、ＶＳＹＮＣ（垂直同期信号）９２等）を時系列に受け取り、リアルタイムに（ＶＳＩＮＣに同期して）、エリア単位で画像の変化の有無を検出して変化検出信号１３３（エリア単位の画像の変化の有無を示す信号）を生成する画像変化検出回路として機能する。
ＣＰＵ１２０は、例えば外部のプログラムメモリ１７０に記憶されている種々の命令の実行処理を行うものである。ＣＰＵ１２０はエリアセンサ１３０が出力する検出信号１３２に基づき、画像データ（圧縮後の画像データ）の送信先を設定又は変更し、送信先情報１６２を送信処理部１６０に通知する処理送信先設定／変更部として機能する。ここで画像データの送信先として、複数の送信先アドレスが登録されており、ＣＰＵがその中のいずれかのアドレスを送信先アドレスとして設定して送信先情報１６２を通知する。
またＣＰＵ１２０は、前記変化検出信号１３２がいずれのエリアでも変化が検出されていないことを示す画像については送信先を第１の送信先に設定し、前記変化検出信号１３２がいずれかのエリアに変化が検出されていることを示す画像については、第１の送信先と他の送信先とのいずれかを送信先として設定するようにしてもよい。
またＣＰＵ１２０は、連続して取得された画像に対し所与のルールに従って送信先アドレスを割り付け、いずれかのエリアに変化が検出された場合には、前記所与のルールに従って割り付けられた送信先アドレスを送信先として決定し、いずれのエリアにも変化が検出されない場合にはデフォルトとして用意されてた送信先アドレスを送信先として決定して、送信処理部１６０に送信先情報１６２を通知するようにしてもよい。
またＣＰＵ１２０は、前記変化検出信号１３２又は前記変化検出信号に基づき設定又は変更された送信先に基づき、送出データサイズ及び送出位置の少なくとも一方を含むリサイズ情報１４２を決定するリサイズ情報決定部として機能する。決定されたリサイズ情報１４２は、リサイズ回路１４０に通知される。
リサイズ回路１４０は、カメラ（撮像手段）１１０で撮影された画素単位の画像データを時系列に受け取り、前記リサイズ情報１４２に基づき、時系列に受け取った画素単位の画像データに対して画像の縮小又は切り取りを行い、リサイズ処理後のデータを画像圧縮処理部１５０に出力する。例えばリサイズ情報が切り取りや縮小を行わない旨を示している場合には、受け取った画像データ（元画像の画像データ）に対してリサイズ処理を行わずに画像圧縮処理部１５０に出力する。
画像圧縮処理部１５０は、リサイズされた画像の画像データをエンコードして圧縮画像（ＪＰＥＧ／ＭＰＥＧ画像）を生成し、画像メモリ１５２に出力する。画像メモリ１５２は、少なくとも１画像分の画像データを格納可能なメモリであり、ＲＡＭ、ＳＲＡＭ等の書き換え可能なメモリで構成される。
送信処理部１６０は、送信先情報１６２に基づき圧縮された画像データをネットワークを介して送信先の端末（例えば監視モニタ１８０やストレージ装置１９０）に送信する処理を行う。
図２は本実施の形態の監視カメラシステムの一例について説明するための図である。
本実施の形態の監視カメラシステム１１４は、監視カメラ装置１１２と監視カメラ装置１１２から画像データが配信される複数の端末（監視モニタ１８０、ストレージ装置１（１９０）、ストレージ装置１（１９２））等を含み、これらがＬＡＮ１８２、１８４等のネットワークを介して接続されている。
監視カメラ装置１１２は、本実施の集積回路装置（例えば図１に示す集積回路装置）１０及びデジタル画像を撮影する監視カメラ１１０を含む。
２００は監視カメラ１１０が取得する画像の範囲を模式的に示したものである。監視カメラ１１０は例えば２台のＡＴＭ４０６、４０８、２つの出入り口のドア４０２、４０４を含む範囲の画像を連続的に撮影する。例えば動画像として撮影する場合でもよいし、静止画像を所定間隔で連続して撮像する場合でもよい。
集積回路装置１０は、監視カメラ１１０で撮影された画素単位の画像データを時系列に受け取り、リアルタイムに画像の変化の有無をエリア単位で検出する。
ここでは、画像の送り先として監視モニタ（ＩＰアドレスがＩＰ−１）１８０、ストレージ装置１（ＩＰアドレスがＩＰ−２）１９０、ストレージ装置２（ＩＰアドレスがＩＰ−３）１９２のＩＰアドレスが設定されている。
監視モニタ１８０では、ネットワーク（例えばＬＡＮ１８２）を介して受け取った画像をモニタに表示する。ストレージ装置１（１９０）、ストレージ装置２（１９０）では、ネットワーク（例えばＬＡＮ１８２）を介して受け取った画像を記憶部に記憶させる。
本実施の形態では、連続して取得された画像データが監視モニタ１８０かストレージ装置１（１９０）、ストレージ装置２（１９２）のいずれかに振り分けられて送信される。例えば所与のルールに従って送り先を巡回させて振り分けるようにしてもよい（例えば所定数の画像単位で、監視モニタ１８０と、ストレージ装置１（１９０）、ストレージ装置２（１９２）が交互に割り当てられるようにしてもよい）。
ここでエリアセンサが変化を検出した場合には、所定のルールに割り付けられた送り先（ここではストレージ装置１（１９０）又はストレージ装置２（１９２））に送信し、変化を検出しない場合にはデフォルトの送信先（ここでは監視モニタ１８０）に送信するようにしてもよい。
そして監視モニタ１８０には全体画像を２００を送信し、ストレージ装置１（１９０）、ストレージ装置２（１９２）には、変化が検出されたエリアの画像を送信するようにしてもよい。例えばエリアＡ，Ｃで変化が検出された場合にはストレージ装置１（１９０）に、エリアＢ，Ｄで変化が検出された場合にはストレージ装置２（１９２）に送信するようにしてもよい。
またエリアＡで変化が検出された場合には、全体画像を送信するのではなくエリアＡの部分を切り出してエリアＡの部分の画像を送信するようにしてもよい。なお複数のエリアで変化が検出された場合には、順番にいずれか１つのエリアを切り出して送信するようにしても良いし、全体画像を送信するようにしてもよい。いずれか１つのエリアを切り出して送信する場合には、送信する画像が１／４になるので、その分画像データも削減できる。
また全体画像を送信する場合には、その画像サイズのまま圧縮して送信してもよいし、例えば１／４のサイズにリサイズ（縮小）して送信するようにしてもよい。後者の場合、送信する画像が１／４になるので、その分画像データも削減できる。
このように前記変化検出信号が変化なしを示している場合は元画像を縮小することを指示するリサイズ情報を生成し、リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して画像の縮小を行って送信するようにしてもよい。このようにすると送信するデータ量の削減を図ることが可能で、変化がない場合には、モニタに出力するだけなので縮小により画像の解像度が多少おちても問題ない。
また前記変化検出信号が変化ありを示している場合は変化が検出されたエリアを元画像から切り取ることを指示するリサイズ情報を生成し、リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して変化が検出されたエリアを元画像から切り取っておくるようにしてもよい。変化があった場合にはその変化した部分の詳細な画像があることが好ましいので、そのエリアを切り取って送ることにより、送信するデータ量の削減を図ることができる。
本発明によれば変化が検出されたエリアに応じて画像の取り込み位置を変えれ圧縮画像を生成し、端末に送信することができる。また検出されたエリアに応じて送信先の端末アドレスを変えて送信することもできる。また全体画像とエリア画像を交互に切り替えて送信することも可能である。
本実施の形態によれば、例えば広角レンズ又は高解像度のカメラを使用することにより、１台のカメラで４つのエリアが入る範囲を撮像し、監視カメラの台数を削減することができる。また全体画像とエリア画像を別アドレスに送信することができる。また画像に変化があった時だけエリア画像をストレージ装置に送付し、記憶部に格納することができるので、少ない記憶部の容量で変化画像を記憶させることができる。
またエリアセンサは撮像手段から入力された画像の各エリア単位の変化をリアルタイムに検出することができるので、全体画像とエリア画像の取り込みを高速に切り替えることができる。
また例えば変化がない場合には縮小した全体画像を取り込み、変化があった場合には変化エリアを切り取ったエリア画像を取り込み、圧縮画像にタイムスタンプ（ymdhms）を挿入しておくようにしてもよい。
このようにすると、全体画像で検索し、その時刻とリンクさせてより詳細なエリア画像で確認するようにすることもできる。
また通常は全体画像を送付し、変化があった場合のみ変化があったエリア画像を混ぜて送付するようにしてもよい。また変化があった場合のみ全体画像と、変化があったエリア画像を混ぜて送付するようにしてもよい。
なお上記実施の形態では、画像の配信先として監視モニタ（ＩＰアドレスがＩＰ−１）１８０、ストレージ装置１（ＩＰアドレスがＩＰ−２）１９０、ストレージ装置２（ＩＰアドレスがＩＰ−３）１９２の３つの端末が設定されている場合を例にとり説明したが是に限られない。例えば画像の配信先として２つの端末が設定されている場合でもよいし、４つ以上の端末が設定されている場合でもよい。また画像の配信先として、複数のモニタ装置のみ設定されている場合でもよいし、複数のストレージ装置のみ設定されている場合でもよい。
図３は、本実施の形態の集積回路装置の画像データの振り分け送信の一例について説明するための図である。
ここでは１６枚／秒で画像が入力される場合を例にとり説明する。
カメラで撮影された全体画像２００のサイズ（解像度）は、１２８０×９６０である。２２０−１〜２２０−４は全体画像を４分割した各エリアＡ〜Ｄであり、画像のサイズは６４０×４８０である。本実施の形態では、全体画像を３２０×２４０（元画像の１／１６）に縮小して圧縮画像を生成する。また変化が検出されたエリアについてはエリア単位（元画像の１／４）に切り出して圧縮画像を生成する。このため、そのままのサイズで取り込んで圧縮する場合に比べデータ量が少なくて済む。
本実施の形態では、４２１〜４２８に示すように、連続して取得された画像の送り先を３枚単位で監視モニタとストレージ装置に交互に割り当てる。そして監視モニタ１８０には全体画像の縮小して生成した圧縮画像データを送信し（４２１、４２２）、ストレージ装置１９０には、エリア画像を切り出して生成した圧縮画像データを送信する（４２３，４２７）。
サイズの設定変更や送信先を変更する際には４２２、４２４、４２６，４２８に示すような１画像分のオーバーヘッド（ロス）が生じる。従ってサイズの設定変更や送信先を変更を短いサイクルで行うと画像のロスが大きくなるので、画像のロスとの兼ね合いを考えて適当なサイクルサイズの設定することが好ましい。なおここではサイズの設定や送信先設定の変更で１枚のオーバーヘッドが発生すると想定しているが、制御方法や集積回路装置によっては不要となる。
ここで例えば送信先がストレージ装置に割り当てられたサイクル４２３，４２７においてエリアセンサが変化を複数のエリアの変化を検出した場合（例えばすべでのエリアで変化を検出した場合）には、１つの元画像に対して１パターンの縮小画像を生成する構成の場合には、連続して入力された各画像に対してエリアＡ、エリアＢ、・・と順番に切り出しエリアを変更するようにしてもよい。
また４３０に示すように例えばエリアセンサが変化を検出したときのみストレージ装置へ送信するようにすると、エリアセンサが変化を検出しない場合には受け取った画像は監視モニタ装置に送信される。
例えばエリアセンサが変化を検出しない間は第１の送信先（監視モニタ）を割り当て、エリアセンサが変化を検出した場合には、第１の送信先（監視モニタ）と第２の送信先（ストレージ装置）を所定間隔で交互にわりあてるようにしてもよい。
図４は本実施の形態の処理の流れについて説明するためのフローチャート図である。
カメラセンサから１画像分の画像データを入力する（ステップＳ２１０）。
ＶＳＹＮＣ同期で、エリアセンサでエリア単位の変化を検出する（ステップＳ２２０）。
変化検出結果に基づき、リサイズ情報及び送信先の設定を行う（ステップＳ２３０）。
画像エンコード処理を行い圧縮（ＪＰＥＧ／ＭＰＥＧ）画像を生成（ステップＳ２４０）。
図５に、本実施形態のエリアセンサ１３０のブロック図の一例を示す。
本実施形態のエリアセンサ１３０は、カメラ１１０等の撮像手段で撮影された画素単位の画像データ１２を時系列に受け取り、画像の変化を検出して変化検出信号１４を生成する画像変化検出回路２０を含む。
画像変化検出回路２０は、画像を１又複数のエリアに分割し、時系列に受け取った第１の画像及び第２の画像の画像データについて前記１又複数のエリア単位で各エリアに属する画素の（又は輝度に関する）画素値を積算して積算レジスタ５０、６０に保持する積算回路３０を含む。
また画像変化検出回路２０は、積算レジスタ５０、６０に保持された第１の画像及び第２の画像の対応するエリアの積算値を比較して変化の有無を検出し、変化有りと判断した場合には変化検出信号を生成する変化検出信号生成回路４０を含む。
また画像変化検出回路２０は、時系列に受け取った第１の画像及び第２の画像の画像データについてエリア単位の積算値を保持する積算レジスタ５０、６０を含む。例えば第１の画像データのエリア単位の画素値の積算値を積算レジスタ５０に保持し、その後に積算レジスタ５０に保持された積算値を第２の積算レジスタ６０に移動するようにしても良い。そして第１の画像よりあとに受け取った第２の画像の画像データについてエリア単位の積算値を再び積算レジスタ５０に保持し、積算レジスタ５０、６０に保持された第１の画像及び第２の画像の対応するエリアの積算値を比較して変化の有無を検出するようにしても良い。
また積算回路３０は、画像を複数のエリアに分割し、時系列に受け取った第１の画像及び第２の画像の画像データについて前記複数のエリア単位で各エリアに属する画素の（又は輝度に関する）画素値を積算して積算レジスタ５０、６０に保持し、変化検出信号生成回路４０は、積算レジスタ５０、６０に保持された第１の画像及び第２の画像の対応する各エリアの積算値を比較して変化の有無を検出し、変化有りと判断した場合には変化検出信号１４を生成するようにしてもよい。
また画像変化検出回路２０は、変化エリア特定レジスタ７０を含むように構成してもよい。そして変化検出信号生成回路４０は、積算レジスタ５０、６０に保持された第１の画像及び第２の画像の対応する各エリアの積算値を比較して変化の有無を検出し、各エリア毎の変化の有無を変化エリア特定レジスタ７０に保持するようにしてもよい。
また画像変化検出回路２０は、積算周期を設定するための積算周期設定レジスタ８２を含むようにしてもよい。そして積算回路３０は、積算周期設定レジスタ８２の値に基づき積算周期を特定し、受け取った画像データ１２が特定された積算周期に合致するか否か判断する画像選択部３４を含み、積算周期に合致する画像データ１２について、変化前記１又複数のエリア単位で各エリアに属する画素の（又は輝度に関する）画素値を積算して積算レジスタ５０、６０に保持するように構成してもよい。
画像変化検出回路２０は、変化を検出する際の基準となる基準変化率を設定するための基準変化率設定レジスタ８４を含むようにしてもよい。そして変化検出信号生成回路４０は、基準変化率設定レジスタ８４の値に基づき基準変化率を特定し、積算レジスタ５０、６０に保持された第１の画像及び第２の画像の対応するエリアの積算値を比較して前記基準変化率に基づき変化の有無を検出するようにしてもよい。
また画像変化検出回路２０は、変化検出の対象となるエリアを特定するためのエリア特定情報を設定するためのエリア特定情報設定レジスタ８６を含むようにしてもよい。そして変化検出信号生成回路４０は、エリア特定情報設定レジスタ８６の値に基づき当該エリアが検出対象エリアであるか否か判断し、検出対象エリアでない場合には、変化検出信号の生成を省略する変化マスク処理部４２を含むようにしてもよい。
また画像変化検出回路２０は、画素値のうち積算対象となる成分を特定するための積算成分特定情報を設定するための積算成分特定情報設定レジスタ８８を含むようにしてもよい。そして積算回路３０は、積算成分特定情報設定レジスタ８８の値に基づき画素成分を選択し、画像データのうち選択した画素成分を積算するようにしてもよい。
積算回路３０は、水平同期信号９０及び垂直同期信号９２を受け取り、受け取った水平同期信号９０及び垂直同期信号９２と水平分割数及び垂直分割数に基づき各画素がどのエリアに属するか判断して積算するエリア検出部３２を含むようにしてもよい。
また画像を水平方向にｍ分割、垂直方向にｎ分割してｎ×ｍの分割エリアを設けるようにしてもよい。そして画像変化検出回路２０は、ｍ×ｎ個の積算値を保持するための今回積算レジスタ５０及びｍ×ｎ個の積算値を保持するための前回積算レジスタ６０を含み、前記積算回路３０が、第２の画像の画像データの積算値を今回レジスタ５０に格納した後に、変化信号生成回路４０が、今回積算レジスタの積算値と、第１の画像の画像データの積算値が保持されている前回積算レジスタの対応する積算値とを比較して変化の有無を検出し、比較後に今回積算レジスタの積算値を前回積算レジスタに移すようにしてもよい。
また画像を水平方向にｍ分割、垂直方向にｎ分割してｎ×ｍの分割エリアを設けるようにしてもよい。そして画像変化検出回路４０は、
ｍ個の積算値を保持するための今回積算レジスタ及びｍ×ｎ個の積算値を保持するための前回積算レジスタを含み、積算回路３０が、第２の画像の水平方向にｎ個分のエリアの積算値を今回積算レジスタ５０に格納した後に、変化信号生成回路４０が、今回積算レジスタ５０の積算値と、第１の画像の画像データの積算値が保持されている前回積算レジスタ６０の対応する積算値とを比較して変化の有無を検出し、比較後に今回積算レジスタの積算値を前回積算レジスタに移すようにしてもよい。
図６は本実施の形態におけるエリア単位の画素値の積算について説明するための図である。
２１０、２１２は時系列に入力される第１の画像及び第２の画像である。本実施の形態では、第１の画像２１０と第２の画像２１２を同一の分割パターンでパターンで複数のエリアに分割する。例えば同図では各画像を、水平方向に３等分、垂直方向に３等分して３×３＝９個のエリアに分割している。
第１の画像のエリアの所与２２０が例えばｍ１×ｍ２＝ｎの画素Ｐ１、Ｐ２・・・Ｐｎで構成されており、各画素Ｐ１、Ｐ２・・・Ｐｎの画素値の値がａ１，ａ２・・・ａｎであるとする。ここにおいてａ１，ａ２・・・ａｎは、例えばＹＵＶ成分やＲＧＢ成分のいずれか成分の値でもよい。
この場合に、第１の画像のエリアＡ１の画素値の積算値をＡｓ１とすると、Ａｓ１は例えば以下の式で表すことが出来る。
Ａｓ１＝ａ１＋ａ２＋・・・＋ａｎ
なおａ１、ａ２、・・・ａｎの上位数ビットの値であるａ１’、ａ２’、・・・ａｎ’を積算して積算値Ａｄ１’を求めるようにしてもよい。
同様にして第２の画像の所与のエリア２２２が例えばｍ１×ｍ２＝ｎの画素Ｐ１、Ｐ２・・・Ｐｎで構成されており、各画素Ｐ１、Ｐ２・・・Ｐｎの画素値の値がｂ１，ｂ２・・・ｂｎであるとする。ここにおいてｂ１，ｂ２・・・ｂｎは、ＹＵＶ成分やＲＧＢ成分のいずれかの成分の値でもよい（ただしａ１，ａ２・・・ａｎと同じ成分の値である）。
この場合に、第２の画像のエリアＢ１の画素値の積算値をＢｓ１とすると、Ｂｓ１は例えば以下の式で表すことが出来る。
Ｂｓ１＝ｂ１＋ｂ２＋・・・＋ｂｎ
なおｂ１、ｂ２、・・・ｂｎの上位数ビットの値であるｂ１’、ｂ２’、・・・ｂｎ’を積算して積算値Ｂｓ１’を求めるようにしてもよい。
本実施の形態では各エリア毎に積算値（例えばＡｓ１とＢｓ１）を比較して変化の有無を検出する。ここで基準変化率設定レジスタに変化を検出する際の基準となる基準変化率に関する条件を設定し、当該基準変化率に基づき積算レジスタに保持された第１の画像及び第２の画像の対応するエリアの積算値を比較して変化の有無を検出するようにしてもよい。基準変化率は全体に対する変化の割合等で設定することが可能で、例えば基準変化率がｈ％と設定されている場合には（Ｂｓ１−Ａｓ１）／Ａｓ１の値（変化率）がｈ％以上である場合に変化有りと判断する（変化を検出する）。ここでｈ１＜ｈ２の基準変化率が与えられた場合にはｈ１を採用したほうがｈ２を採用した場合に場合に比べ変化検出の感度があがることになる。従って監視カメラ等の用途や撮影場所の状況等によって基準変化率を設定することがこのましい。
例えば複数の基準変化率を用意しておいて（１の基準変化率を３％〜６％、第２の変化率を３％、第３の変化率を２５％）切り替えて設定するようにしてもよい。
また第１の画像の各エリアＡ１からＡ９の積算値Ａｓ１〜Ａｓ９を保持するための積算レジスタを９個設け、第２の画像の各エリアＢ１からＢ９の積算値Ｂｓ１〜Ｂｓ９を保持するための積算レジスタを９個設けるようにしてもよい。
なお積算する値は各画素値の例えば上位数ビットでもよい。例えば画素値の上位５ビットを積算し、積算レジスタは２４ビットの構成としてもよい。積算する値を各画素値の上位数ビットとすることでハードウエア規模を削減することができる。
図７は本実施の形態の画像の変化を検出する処理の一例について説明するためのフローチャート図である。
まず積算条件（積算周期、変化率、ＹＵＶ選択、エリア選択等）を特定するための値を積算条件設定レジスタに設定する（ステップＳ１０）。
次に第１の画像及び第２の画像の入力画像データの各画素のＹＵＶ各成分を積算レジスタ（今回積算レジスタ、前回積算レジスタ）に仮積算する（ステップＳ２０）。
次にＹＵＶ選択を切り替えて今回積算レジスタと対応する前回積算レジスタを比較し、よりダイナミックレンジの取れる成分を選択する（ステップＳ３０）。
次に入力データの受け取りを開始する（ステップＳ４０）。
次に入力画像データが積算周期の画像データであるか否か判断し、積算周期の画像データであれば各画素の選択された成分（その上位数ビットでもよい）についてエリア毎に積算して積算レジスタ（今回積算レジスタ）に保持する（ステップＳ５０）。
そして１画像分の画像データについて積算処理を終了したかいなか判断し（ステップＳ６０）、終了していない場合にはステップＳ５０にもどり、終了している場合には以下の処理を行う。
積算レジスタに保持された第１の画像及び第２の画像の対応する各エリアの積算値を比較して変化の有無を検出し、各エリア毎の変化の有無を変化エリア特定レジスタに保持する（ステップＳ７０）。
そしていずれかのエリアに変化ありの場合には（ステップＳ８０）、エリアセンサ割り込みを発生させ、変化検出信号を生成出力して、ＣＰＵその他のモジュールを起動する（ステップＳ９０）。
そしてＣＰＵその他のモジュールがエリア検出レジスタを読み出したのちエリア検出レジスタをクリアする（ステップＳ１００）。
処理終了でなければステップＳ５０にもどる（ステップＳ１１０）。
図８（Ａ）〜（Ｃ）は、本実施の形態の画像のエリア分割パターンについて説明するための図である。
図８（Ａ）は画像を水平方向に２分割、垂直方向に２分割して４個のエリア（長方形（大）エリア）に分割する第１の分割パターンであり、図８（Ｂ）は画像を水平方向に３分割垂直方向に３分割して９個のエリア（長方形（中）エリア）に分割する第２の分割パターンであり、図８（Ｃ）は画像を水平方向に６分割垂直方向に６分割して３６個のエリア（長方形（小）エリア）に分割する第３の分割パターンである。
分割パターンを外部入力によって設定、変更出来るようにしても良い。
各エリアの積算値の変化を検出して画像が変化したかいなか調べる場合には、よりこまかなエリアに分割した方が精度良く変化を検出することが出来るといえる。すなわち第１の分割パターン＜第２の分割パターン＜第３の分割パターンの順で精度良く変化を検出することが出来る。
このようにエリアの分割数を変更する（１エリアの面積を変更する）ことで変化検出の感度を変更することができる。たとえばエリアの分割数を上げる（１エリアを小さくする）ことで変化検出の感度を上げることができる。
ただしよりこまかなエリアに分割すると、回路規模が増大するため監視カメラ等の目的や設定状況等に応じてエリアの分割数を設定することが望ましい。
図９（Ａ）（Ｂ）は本実施の形態の積算周期について説明するための図である。
図９（Ａ）は積算周期が１／２０秒の場合に積算対象となる画像を示している。３１０−１、３１０−２、・・・は例えば監視カメラ等の撮像手段から送られてくる時系列の画像ｇ１，画像ｇ１１、・・である。画像ｇ１は１フレーム目の画像、画像ｇ１１は１１フレーム目の画像、・・・、画像ｇｎはｎフレーム目の画像であるとする。例えば１／６０秒毎に画像が撮影される場合、積算周期が１／２０秒の場合、２０フレーム毎に画像の積算が行われる。図９（Ａ）では画像ｇ１（３１０−１）、画像ｇ２１（３１０−３）、・・の画像について積算比較対照となり、その間に受け取った他の画像については積算、比較対象としない。
図９（Ｂ）は積算周期が１／６０秒の場合に積算対象となる画像を示している。３１０−１、３１０−２、・・・は例えば監視カメラ等の撮像手段から送られてくる時系列の画像ｇ１，画像ｇ１１、・・である。画像ｇ１は１フレーム目の画像、画像ｇ１１は１１フレーム目の画像、・・・、画像ｇｎはｎフレーム目の画像であるとする。例えば１／６０秒毎に画像が撮影される場合、積算周期が１／６０秒の場合、６０フレーム毎に画像の積算が行われる。図９（Ｂ）では画像ｇ１（３１０−１）、画像ｇ６１（３１０−３）、・・の画像について積算比較対照となり、その間に受け取った他の画像については積算、比較対象としない。
本実施の形態によれば積算周期設定レジスタの値を変更することで、変化検出のための画像をピックアップする周期を変更することができる。積算周期を短くすることで速い変化の検出が可能となり、積算周期を長くすると遅い動きの検出が可能になるので、目的に応じてエリア分割の設定をすることが好ましい。
図１０（Ａ）（Ｂ）は変化検出の対象となるエリアについて説明するための図である。
図１０（Ａ）の３２０は、画像がＡ１からＡ９の９個のエリアに分割されてＡ１、Ａ３、Ａ７、Ａ９が変化検出対象となっていることを示している。３２０はこのときのエリア特定情報設定レジスタの内容に示している。例えば画像を９分割した場合には少なくとも９ビットを有するエリア特定情報設定レジスタを設け、エリア特定情報設定レジスタの各ビットと各エリアを対応付けし（ここではエリア特定情報設定レジスタのビット０〜８が各エリアＡ１〜Ａ９に対応している）、各ビットのＯＮ、ＯＦＦで対応するエリアが検出対象であるか否かを設定する。
図１０（Ａ）では、Ａ１、Ａ３、Ａ７、Ａ９が変化検出対象となっているので、エリア特定情報設定レジスタの対応するビット０，２，６，８が１となり、それ以外が０となっている。
このようにすると変化対象となっているＡ１、Ａ３、Ａ７、Ａ９に変化が生じた場合のみ割り込み等を発生してＣＰＵ等に通知することができる。
例えばＡ２、Ａ４、Ａ５、Ａ６、Ａ８のエリアは常に変化が生じている場合等は変化を検出しても意味がない場合等にこれらのエリアに生じた変化をマスクすることが可能となる。
図１０（Ｂ）の３２２は、画像がＡ１からＡ９の９個のエリアに分割されてＡ５が変化検出対象となっていることを示している。３２２はこのときのエリア特定情報設定レジスタの内容に示している。
図１０（Ｂ）では、Ａ５が変化検出対象となっているので、エリア特定情報設定レジスタの対応するビット４が１となり、それ以外が０となっている。
このようにすると変化対象となっているＡ５に変化が生じた場合のみ割り込み等を発生してＣＰＵ等に通知することができる。
例えばＡ５のエリアにドアや窓等がありドアや窓付近に生じた変化のみを検出すれば事足りるような場合にはＡ１以外のエリアに生じた変化をマスクすることが可能となる。
このように本実施の形態によれば、検出対象エリアに変化が行った場合のみＣＰＵ等に変化を通知することが可能になる。撮影する状況によっては常に画像が変化していて変化を検出すること自体が無意味なエリア等もある。本発明によればかかるエリアの変化検出をマスクすることができるので、必要なエリアのみから効率良く変化を検出することができる。
図１１（Ａ）（Ｂ）は本実施の形態における位置検出について説明するための図である。
図１１（Ａ）は、画像がＡ１からＡ９の９個のエリアに分割されて変化が検出されたエリアがＡ４→Ａ５→Ａ６と変化している様子を示している。このような場合画像の中央付近を左から右方向に何かが移動したと考えられる。
また図１１（Ｂ）は、画像がＡ１からＡ９の９個のエリアに分割されて変化が検出されたエリアがＡ２→Ａ５→Ａ８と変化している様子を示している。このような場合画像の中央付近を上から下方向に何かが移動したと考えられる。
このように本実施の形態によればどのエリアで検出されたかを時系列に読み出すことで、どの方向に変化が移動したかが判別可能なので、簡易的な動きの検出もできる。
図１２は本実施の形態で使用する画素値について説明するための図である。
画素の画素値情報とし例えばＹＵＶデータを使用する場合には、各画素のＹ成分のデータを用いることが出来る。
ここでは、撮像手段から受け取る画像データがＲＧＢフォーマットであるものとして説明するが、これに限定されるものではない。ＲＧＢフォーマットの画像データは、各画素がＲＧＢの原色信号により表される。
ＲＧＢフォーマットの取得画像データは、Ｙ成分（輝度成分）、Ｃｂ成分及びＣｒ成分からなる画像データに変換される。そして、画像変化検出部は、取得画像データのＹ成分を積算して変化検出処理を行う。
このように、輝度成分のみ抽出して輝度成分に基づき変化検出処理を行うことで、データ量の削減と処理負荷の軽減を図ることができる。
なお、本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。
本実施形態の集積回路装置のブロック図を示す。 本実施の形態の監視カメラシステムの一例である。 画像データの振り分け送信の一例について説明するための図。 本実施の形態の処理の流れについて説明するためのフローチャート図である。 本実施形態のエリアセンサのブロック図を示す。 本実施の形態におけるエリア単位の画素値の積算について説明するための図である。 本実施の形態の画像の変化を検出する処理の一例について説明するためのフローチャート図である。 図８（Ａ）〜（Ｃ）は、本実施の形態の画像のエリア分割パターンについて説明するための図である。 図９（Ａ）（Ｂ）は本実施の形態の積算周期について説明するための図である。 図１０（Ａ）（Ｂ）は変化検出の対象となるエリアについて説明するための図である。 図１１（Ａ）（Ｂ）は本実施の形態における位置検出について説明するための図である。 本実施の形態で使用する画素値について説明するための図である。
符号の説明
１０ 集積回路装置（ＩＣ）、１２ 画像データ、１４ 変化検出信号、２０ 変化検出回路、３０ 積算回路、３２ エリア検出部、３４ 画像選択部、３６ 画素成分選択部３６、４０ 変化信号検出回路、４２ 変化マスク処理部、５０ 今回積算レジスタ、６０ 前回積算レジスタ、７０ 変化エリア特定レジスタ、８０ 積算条件設定レジスタ、８２ 積算周期設定レジスタ、８４ 基準変化率設定レジスタ、８６ エリア特定情報設定レジスタ、８８ 積算成分特定情報設定レジスタ、９０ 水平同期信号、９２ 垂直同期信号、１１０ カメラ（撮像手段）、１２０ ＣＰＵ、１３０ エリアセンサ、１４０ リサイズ回路、１５０ 画像圧縮処理部、１５２ 画像メモリ、１６０ 送信処理部、１７０ プログラムメモリ

Claims (8)

  1. ネットワークを介して外部に送信する送信機能を有する集積回路装置であって、
    撮像手段で撮影された画素単位の画像データを時系列に受け取り、画像を１又複数のエリアに分割し、前記１又複数のエリア単位でリアルタイムに画像の変化の有無を検出して変化検出信号を生成する画像変化検出回路と、
    前記変化検出信号に基づき、画像の送信先を設定又は変更する送信先設定／変更部と、を含むことを特徴とする集積回路装置。
  2. 請求項１において、
    前記送信先設定／変更部は、
    前記変化検出信号がいずれのエリアでも変化が検出されていないことを示す画像については送信先を第１の送信先に設定し、前記変化検出信号がいずれかのエリアに変化が検出されていることを示す画像については、第１の送信先と他の送信先のいずれかを送信先として設定することを特徴とする集積回路装置。
  3. 請求項１乃至２のいずれかにおいて、
    前記送信先設定／変更部は、
    連続して取得された画像に対し所与のルールに従って送信先アドレスを割り付け、いずれかのエリアに変化が検出された場合には、前記所与のルールに従って割り付けられた送信先アドレスを送信先として決定し、いずれのエリアにも変化が検出されない場合にはデフォルトとして用意されてた送信先アドレスを送信先として決定する処理を行うことを特徴とする集積回路装置。
  4. 請求項１乃至３のいずれかにおいて、
    前記変化検出信号又は前記変化検出信号に基づき設定又は変更された送信先に基づき、送出データサイズ及び送出位置の少なくとも一方を含むリサイズ情報を決定するリサイズ情報決定部と、
    リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して画像の縮小又は切り取りを行うリサイズ回路とを含むことを特徴とする集積回路装置。
  5. 請求項４において、
    前記リサイズ情報決定部は、
    前記変化検出信号が変化なしを示している場合は元画像を縮小することを指示するリサイズ情報を生成し、
    前記リサイズ回路は、
    リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して画像の縮小を行うことを特徴とする集積回路装置。
  6. 請求項４乃至５のいずれかにおいて、
    前記リサイズ情報決定部は、
    前記変化検出信号が変化ありを示している場合は変化が検出されたエリアを元画像から切り出すことを指示するリサイズ情報を生成し、
    前記リサイズ回路は、
    リサイズ情報に基づき、時系列に受け取った画素単位の画像データに対して変化が検出されたエリアを元画像から切り出すことを特徴とする集積回路装置。
  7. 請求項１乃至６のいずれかに記載の集積回路装置を含むマイクロコンピュータ
  8. 請求項７記載のマイクロコンピュータと撮像装置を含む監視カメラ装置と複数の端末がネットワークを介して接続された監視カメラシステムであって、
    前記監視カメラ装置は、
    撮像装置で撮影された画像を１又複数のエリアに分割し、変化の有無及び変化が検出されたエリアの少なくとも一方に応じて送信先の端末及び送信する画像のサイズ及び位置を決定し、決定された画像のサイズ及び位置に基づき画像を取り込んで圧縮し、圧縮された画像をネットワークを介して決定された送信先の端末に送信することを特徴とする監視カメラシステム。
JP2005142779A 2005-05-16 2005-05-16 集積回路装置、マイクロコンピュータ及び監視カメラシステム Expired - Fee Related JP4741283B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005142779A JP4741283B2 (ja) 2005-05-16 2005-05-16 集積回路装置、マイクロコンピュータ及び監視カメラシステム
US11/408,002 US7482569B2 (en) 2005-05-16 2006-04-21 Integrated circuit device, microcomputer, and monitoring camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005142779A JP4741283B2 (ja) 2005-05-16 2005-05-16 集積回路装置、マイクロコンピュータ及び監視カメラシステム

Publications (2)

Publication Number Publication Date
JP2006319879A true JP2006319879A (ja) 2006-11-24
JP4741283B2 JP4741283B2 (ja) 2011-08-03

Family

ID=37418252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005142779A Expired - Fee Related JP4741283B2 (ja) 2005-05-16 2005-05-16 集積回路装置、マイクロコンピュータ及び監視カメラシステム

Country Status (2)

Country Link
US (1) US7482569B2 (ja)
JP (1) JP4741283B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103612A (ja) * 2008-10-21 2010-05-06 Nikon Corp 電子カメラおよび画像処理プログラム
JP2015100019A (ja) * 2013-11-19 2015-05-28 横河電機株式会社 緩除変化検出システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4361080B2 (ja) * 2006-11-28 2009-11-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像データを生成するための方法、プログラム、および装置
US20100034514A1 (en) * 2008-08-05 2010-02-11 Mathieu Paul Luc Massart Display device and method with content recording and/or streaming
JP5769468B2 (ja) * 2011-03-30 2015-08-26 キヤノン株式会社 物体検出システム及び物体検出方法
US10325167B1 (en) 2015-01-13 2019-06-18 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating data representative of vehicle driver ratings
KR102421141B1 (ko) * 2015-10-30 2022-07-14 삼성전자주식회사 이벤트 신호 및 영상의 저장 방법 및 저장 장치, 저장 장치로 이벤트 신호를 전송하는 비전 센서의 동작 방법
US11321951B1 (en) 2017-01-19 2022-05-03 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps
CN114554656B (zh) * 2022-02-24 2022-09-09 北京三月雨文化传播有限责任公司 数字化多媒体展厅展览环境智能调节管理系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9206651D0 (en) * 1992-03-26 1992-05-06 Solid State Logic Ltd Video processing
US5581297A (en) * 1992-07-24 1996-12-03 Intelligent Instruments Corporation Low power video security monitoring system
US5956424A (en) * 1996-12-23 1999-09-21 Esco Electronics Corporation Low false alarm rate detection for a video image processing based security alarm system
US6618074B1 (en) * 1997-08-01 2003-09-09 Wells Fargo Alarm Systems, Inc. Central alarm computer for video security system
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6069655A (en) * 1997-08-01 2000-05-30 Wells Fargo Alarm Services, Inc. Advanced video security system
KR100457506B1 (ko) * 1998-02-25 2005-01-17 삼성전자주식회사 개인용 컴퓨터를 이용한 감시 시스템 및 감시 방법
WO2003039144A2 (en) * 2001-11-01 2003-05-08 A4S Technologies, Inc. Remote surveillance system
JP2004282163A (ja) 2003-03-12 2004-10-07 Minolta Co Ltd カメラ、監視画像生成方法、プログラム、監視システム
US7280673B2 (en) * 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103612A (ja) * 2008-10-21 2010-05-06 Nikon Corp 電子カメラおよび画像処理プログラム
JP2015100019A (ja) * 2013-11-19 2015-05-28 横河電機株式会社 緩除変化検出システム

Also Published As

Publication number Publication date
US20060255241A1 (en) 2006-11-16
US7482569B2 (en) 2009-01-27
JP4741283B2 (ja) 2011-08-03

Similar Documents

Publication Publication Date Title
JP4741283B2 (ja) 集積回路装置、マイクロコンピュータ及び監視カメラシステム
KR101180474B1 (ko) 셔터 지연을 방지하는 영상 획득 모듈 및 영상 획득 방법
US7991203B2 (en) Video communication device and image processing system and method of the same
EP3024227A1 (en) Image processing apparatus and image processing method
EP2188778A1 (en) Smart network camera system-on-a-chip
US20020191866A1 (en) Image signal processing system
JP2008042695A (ja) 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法
JPH11161773A (ja) 画像処理方法及び画像入力装置
US20120033854A1 (en) Image processing apparatus
JP5069091B2 (ja) 監視カメラおよび監視カメラシステム
US7502492B2 (en) Integrated circuit device and microcomputer
JP2009100259A (ja) 監視カメラおよび画像監視システム
US11922610B2 (en) Multi-eye camera system, multi-eye photographing camera head, image processing device, multi-eye photographing program and multi-eye photographing method
US8842193B2 (en) Imaging apparatus
JP4508043B2 (ja) 映像監視装置及び映像監視用プログラム
JP6543214B2 (ja) 動き監視装置
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
KR101076372B1 (ko) 카메라 모듈을 이용한 감시 장치 및 방법
EP3261057A1 (en) Head mounted display and transmission control method
JP2009071771A (ja) 画像処理装置、画像データ記録システム、監視カメラシステム及び画像処理装置の制御方法
JP3435746B2 (ja) 遠隔監視装置
JP4906603B2 (ja) 圧縮画像伸張装置及び重畳画像データ処理装置
JP2001285872A (ja) 画像伝送装置
JP6917800B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2006222617A (ja) 遠隔撮影システム、遠隔表示制御装置及び遠隔撮影装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090528

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110506

R150 Certificate of patent or registration of utility model

Ref document number: 4741283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees