JP2004023373A - 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents
画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP2004023373A JP2004023373A JP2002174347A JP2002174347A JP2004023373A JP 2004023373 A JP2004023373 A JP 2004023373A JP 2002174347 A JP2002174347 A JP 2002174347A JP 2002174347 A JP2002174347 A JP 2002174347A JP 2004023373 A JP2004023373 A JP 2004023373A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- background
- background image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
- G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
- G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
【課題】従来のようにコマ落ちさせることなく、異なる撮像倍率で撮像された画像データの符号量を効率よく削減できる画像処理装置を提供する。
【解決手段】所定の撮像倍率で撮像された第１の撮像画像と第１の撮像画像の撮像倍率より高い撮像倍率で撮像された第２の撮像画像背景を符号化する画像処理装置において、画像生成部１１１で生成された第１の背景画像と被写体抽出部１１３で生成された第１の被写体画像より背景画像生成部１１２で第２の背景画像を生成し、被写体抽出部１１４で第２の被写体画像を生成する。生成された第１及び第２の背景画像と第１及び第２の被写体画像はそれぞれ背景画像符号化部１１６、１１７、任意形状符号化部１１８、１１９で符号化する。
【選択図】 図１
【解決手段】所定の撮像倍率で撮像された第１の撮像画像と第１の撮像画像の撮像倍率より高い撮像倍率で撮像された第２の撮像画像背景を符号化する画像処理装置において、画像生成部１１１で生成された第１の背景画像と被写体抽出部１１３で生成された第１の被写体画像より背景画像生成部１１２で第２の背景画像を生成し、被写体抽出部１１４で第２の被写体画像を生成する。生成された第１及び第２の背景画像と第１及び第２の被写体画像はそれぞれ背景画像符号化部１１６、１１７、任意形状符号化部１１８、１１９で符号化する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関し、特に異なる撮像倍率で撮像された複数の画像データに対する画像処理に関するものである。
【０００２】
【従来の技術】
従来、撮像装置を用いた映像による監視システムについては様々な提案がされている。
【０００３】
≪広角レンズを用いた監視システム≫
監視システムの一つとして魚眼レンズで代表されるような広角レンズを用いた監視システムがある。
【０００４】
広角レンズを用いた監視システムの特徴は、一台の撮像装置による撮影像で広範囲な領域を監視できることがあげられ、監視領域面積に対する撮像装置設備費用のコスト比率が低い利点がある。また広範囲な監視領域撮影像は、侵入者の移動に対しても画面から外れることも少なく、侵入者の位置が視認しやすいという利点もある。
【０００５】
図１３は、あるオフィス内上部に一台の広角カメラ１３０１を設置し、比較的広範囲な監視領域１３０２を監視している状態を表した図である。
【０００６】
いま、オフィス内に不法侵入者１３０３が侵入している。このような状況において、広角カメラ１３０１は撮像視野範囲が広いため、オフィス内に侵入してきた侵入者１３０３のほか、机、ドアなどオフィス内の多数の什器設備も同一映像内に撮影している。故に侵入者のいる場所が視覚的に直ちに判断できる。また、侵入者の移動にも撮像視野範囲が広いため、撮影像から外れて見えなくなることが起こり難い。
【０００７】
このような広角カメラを用いた監視システムに関する技術としては、撮像光学系が広角になるほど撮影像の歪曲が大きくなるため、撮影像の歪曲を画像処理によって補正する技術や、撮像光学系にミラー光学部材を用い、周囲３６０°の全方位を監視領域にするものなどが提案されている。
【０００８】
一方、広角レンズを用いた監視システムにおいて前述のような特徴がある反面、広範囲領域にいる侵入者の像は監視撮像領域が広範囲になるほど小さく視認しにくくなるという問題が生じる。
【０００９】
図１４は、図１３で示したように、オフィス内に不法侵入者が侵入してきた状況を広角カメラ１３０１で撮影した映像の１シーンを表した図である。図からもわかるように、撮影領域が広いほど侵入者の位置は認識し易い反面、侵入者の顔、表情、容姿の細部を認識は難しい。
【００１０】
≪複数台の撮像装置を用いた監視システム≫
また他の監視システムとして、監視領域内を複数台の撮像装置を用いて監視するシステムも提案されている。
【００１１】
図１５は、図１３の広角カメラ１３０１による監視領域１３０１を３つの監視領域に分割し、それぞれ各監視領域を標準レンズを搭載した３台のカメラ１５０１で監視している様子を示す図である。
【００１２】
それぞれのカメラは独立に監視領域（たとえば監視領域１５０２）を撮像し、その撮影像はカメラに１対１対応したモニタによって表示される。また映像表示に関しては、複数台のカメラからの映像をマルチチャネル入力し一台のモニタでマルチウィンドウ表示するコントローラーなどもある。
【００１３】
図１６は、オフィス内に侵入者１３０３が侵入してきて、図１５に図示した３台のカメラのうち、１台のカメラ（中央のカメラ）が撮影像中に侵入者を捉え、このカメラに１対１対応した１台モニタの画面を表した図である。または、前述の３台のカメラからのマルチチャネル映像のうち侵入者を捉えたチャンネルのウィンドウに表示された映像でもよい。
【００１４】
この監視システムの特徴は、図１４と図１６の比較によって明らかなように、若干侵入者の大きさが大きく撮影できるため、侵入者の顔、表情、容姿細部の認識は前述の広角カメラを用いた監視システムよりは優れている。
【００１５】
しかし、この監視システムの利用者（例えば監視員など）は、常時多数のモニタまたはマルチウィンドウの各画面を監視しなければならないという問題点もある。
【００１６】
この問題点を解決するための技術としては、特開２０００−２９５６００号に開示されているように、複数のカメラを用いて監視領域を撮像し、該撮影像から移動体を検出し、移動体の存在するカメラ映像を１台のモニタで表示するシステムが提案されている。
【００１７】
≪異なる撮影倍率を有する複数のカメラを用いた監視システム≫
またさらに他の監視システムとして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムも提案されている。
【００１８】
図１７は、図１３で示したオフィス内に、広角カメラ１３０１に加えて、さらにパン・チルト・ズームにより撮像視野範囲を変えることの可能なカメラ（ここでは単にズームカメラと呼ぶ）１７０１が設置されており、広角カメラ１３０１で広範囲な領域を監視しつつ、ズームカメラ１７０１で侵入者の顔や容姿の特徴がわかるべく拡大像を撮影できる監視システムを表している図である。
図１８は、図１７の監視システムによる撮影像である。
【００１９】
図１８（ａ）は広角カメラ１３０１による撮影像で、この映像は図１４と同様である。また、図１８（ｂ）は、ズームカメラ１７０１による撮影像を表している。これら映像は前述の複数台の撮像装置を用いた監視システムと同様に、カメラに１対１対応したモニタによってそれぞれ個別に表示される場合やマルチチャネル入力コントローラーを用いて一台のモニタでマルチウィンドウ表示する場合もある。
【００２０】
この監視システムの特徴は、広角カメラの広範囲監視領域撮影像による侵入者位置が視認性の良さと、ズームカメラの侵入者拡大像による侵入者の顔、表情、容姿詳細の確認のし易さの両立である。これに関する技術としては、特開２０００−３２３１９号に開示されている技術がある。
【００２１】
特開２０００−３２３１９号では、広角カメラとズームカメラの両画像をネットワーク上接続された装置に伝送、表示するシステムが開示されており、さらには、広角カメラで撮影された画像を見ながら、前記装置を操作することによってズームカメラをパン・チルト・ズームし、所望の被写体の拡大像を得る監視システムが提案されている。
【００２２】
また、本特開２０００−３２３１９号の拡張として前述の特開２０００−２９５６００号に、ズームカメラの撮影対象を人為的な操作によるものでなく、広角カメラ撮影像から移動体を検出し、移動体の位置や大きさから自動的にズームカメラをパン・チルト・ズームし、移動体の拡大像を得る監視システムも提案されている。
【００２３】
【発明が解決しようとする課題】
しかしながら上記従来の方法においては、以下に説明する多くの課題が残されている。
【００２４】
まず、魚眼レンズのような広角レンズを用いた監視システムにおいて、監視領域内撮影像に対し侵入者の大きさが小さく顔などが認識しにくい問題点に関し、前記従来例で示したような侵入者を検知し検知された領域を拡大表示する方法は、デジタル化された画像信号の拡大及び補間処理によって可能ではあるが、拡大像に存在する情報量（画像中の周波数成分）はデジタルサンプリング時に決まるので、拡大処理後の情報量が増えることはない。
【００２５】
すなわち、拡大することによって、従来見えていなかった詳細が見えてくることはないのである。画像の周波数成分に関しては拡大率に応じて見かけ上の周波数成分は低周波数にシフトするので、その拡大像は、単にボケた画像、もしくは補間処理を行なわない場合はブロック状モザイクのかかった画像に感じるのはよく経験することである。
【００２６】
次に、監視領域内を複数台の撮像装置を用いて監視するシステムは、単純なシステムであり、特開２０００−２９５６００号に開示されているように表示の仕方で監視員の労力を軽減させるなど工夫されているが、監視領域が広域になるほど多くの台数のカメラが必要となり、設備投資にかかるコスト負荷が重くなるという問題がある。
【００２７】
また、それぞれのカメラの監視領域が狭いため侵入者の位置の把握がしにくい、侵入者の移動によって視点の異なるカメラが頻繁に切り替わり侵入者を捉えるなど、視認性に問題がある。さらに、前記提案にはカメラからの撮影像を画像処理によって拡大像を得る方法が記載されているが、前述の理由から被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離（または視野範囲）、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を要する問題がある。
【００２８】
そして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムについては、前記従来例の問題点を光学的に解決しているが、一人の侵入者に対し広角カメラ撮影像とズームカメラ撮影像の２つのビデオ信号をネットワーク上に伝送する必要がありネットワーク伝送路上に多くの負荷をかける問題点がある。
【００２９】
特に広角カメラによる撮影映像は、図１４または図１８（ａ）でもわかるように、侵入者以外の多くの領域は侵入以前の状態と変化がなく動画像毎フレームの多くの部分が冗長な映像を伝送しているという、有効な映像信号の伝送という観点で問題点を含む。
【００３０】
この点について特開２０００−３２３１９号は、ズームカメラ拡大像は広角カメラ広範囲監視領域像より重要度が高い為、ズームカメラ拡大像を伝送するフレームレートを広角カメラ映像を伝送するフレームレートより高くし、ズームカメラ拡大像の動きが滑らかになるようなシステムについて記載されているが、広角カメラ映像のフレームレートを落とすことで侵入者の行動行為がコマ落ちすることは、監視目的のシステムにおいては問題を含んでいると考えられる。
【００３１】
特に犯罪に関する行動は瞬時に行なわれるものも多く、フレームレートの低下は重要な証拠映像をコマ落ちさせる可能性を含んでいる点で監視システムにおいては問題である。
【００３２】
本発明は上記問題を鑑みて成されたものであり、異なる撮像倍率で撮像された画像データの符号量を効率よく削減して、従来のようにコマ落ちさせることがない画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【００３３】
また、本発明は更に、異なる撮像倍率で撮像された複数の画像データから特定の被写体像を効率よく抽出することができる画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【００３４】
また、本発明は更に、簡単に被写体の拡大画像が得られる画像処理装置及びその方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成手段と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出手段と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成手段と、前記第２の撮像画像より第２の被写体画像を抽出する第２の被写体抽出手段と、前記第１の背景画像生成手段より生成された第１の背景画像を符号化する第１の背景画像符号化手段と、前記第１の被写体抽出手段より抽出された第１の被写体画像を符号化する第１の被写体画像符号化手段と、前記第２の背景画像生成手段より生成された第２の背景画像を符号化する第２の背景画像符号化手段と、前記第２の被写体抽出手段より抽出された第２の被写体画像を符号化する第２の被写体画像符号化手段とを有することを特徴とする。
【００３６】
また、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成手段と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出手段と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成手段と、前記第２の撮像画像と前記第２の背景画像より第２の被写体画像を抽出する第２の被写体抽出手段とを有することを特徴とする。
【００３７】
また、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第１の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第１の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第２の被写体画像とを入力する入力手段と、前記第１の背景画像と前記第１の被写体画像とに基づいて第２の被写体画像に対応する第２の背景画像を生成する背景画像生成手段と、前記第２の背景画像と前記第２の被写体画像とを合成する画像合成手段とを有することを特徴とする。
【００３８】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成工程と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出工程と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成工程と、前記第２の撮像画像より第２の被写体画像を抽出する第２の被写体抽出工程と、前記第１の背景画像生成工程で生成された第１の背景画像を符号化する第１の背景画像符号化工程と、前記第１の被写体抽出工程で抽出された第１の被写体画像を符号化する第１の被写体画像符号化工程と、前記第２の背景画像生成工程で生成された第２の背景画像を符号化する第２の背景画像符号化工程と、前記第２の被写体抽出工程で抽出された第２の被写体画像を符号化する第２の被写体画像符号化工程とを有することを特徴とする。
【００３９】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成工程と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出工程と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成工程と、前記第２の撮像画像と前記第２の背景画像より第２の被写体画像を抽出する第２の被写体抽出工程とを有することを特徴とする。
【００４０】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第１の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第１の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第２の被写体画像とを入力する入力工程と、前記第１の背景画像と前記第１の被写体画像とに基づいて第２の被写体画像に対応する第２の背景画像を生成する背景画像生成工程と、前記第２の背景画像と前記第２の被写体画像とを合成する画像合成工程とを有することを特徴とする。
【００４１】
また、本発明に係る画像処理装置は、撮像画像より被写体画像を抽出する被写体抽出手段と、前記被写体抽出手段により抽出された被写体の位置と大きさを求め、カメラの向きとズーム倍率を計算する計算手段と、前記計算手段により計算された向きとズーム倍率で撮像する手段を有することを特徴とする。
【００４２】
また、本発明に係る画像処理方法は、撮像画像より被写体画像を抽出する被写体抽出工程と、前記被写体抽出工程で抽出された被写体の位置と大きさを求め、カメラの向きとズーム倍率を計算する計算工程と、前記計算工程により計算された向きとズーム倍率で撮像する工程を有することを特徴とする。
【００４３】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００４４】
（第１の実施例）
≪システム構成の説明≫
図１は、本発明の第１の実施例における監視システムの画像符号化側の構成例を示すブロック図である。また、ビットストリームを入力し、映像信号を復号、表示装置への出力するまでの画像受信側の構成例を示すブロック図を図２に示す。図２の詳細は後述する。
【００４５】
図１において、１０１は本監視システムのユーザーインターフェースを備えた操作部であり、例えば監視員などによって本監視システムの起動、終了などシステムに指示することによって本監視システムの動作が制御される。
【００４６】
１０２は本監視システムを統括制御するシステム制御部であり、操作部１０１の指示に従って、本システムの各部の動作や、映像信号の処理タイミングの同期制御等も本制御部によって一括制御される。
【００４７】
１０３は予め設定した監視領域を撮像する広角カメラで、広角カメラ１０３では比較的広範囲な領域を監視領域とし、本カメラで使用されるレンズも広角レンズの他に、魚眼レンズなど超広角レンズやミラー光学部材を使った全方位撮像光学系なども含まれる。
【００４８】
１０４は広角カメラ１０３より高い撮影倍率を有し、特に監視領域内に侵入してきた侵入者を適当な倍率で望遠撮影する為の変倍機能を持つズームカメラである。また、ズームカメラ１０４には侵入者を追尾するためのパンニング、チルト可能な図示しない雲台が装備されており、後述する方法によって侵入者の位置に光軸を移動し侵入者を視界内に捉える。
【００４９】
１０５は前述の広角カメラ１０３、ズームカメラ１０４から映像信号を取り込むための映像入力部である。映像入力部１０５は、カメラ撮影条件を設定制御する広角カメラ１０３用のカメラ制御部１０６とズームカメラ１０４用のカメラ制御部１０７、カメラから出力されたカメラ機種毎の映像信号形式を例えばフレーム毎のＲＧＢ２４ビットデジタル信号にフォーマット変換する広角カメラ１０３用のビデオキャプチャ１０８とズームカメラ１０４用のビデオキャプチャ１０９から構成される。
【００５０】
１１０は侵入者検出部であり、広角カメラ１０３用の背景画像生成部１１１、被写体検出部１１３と、ズームカメラ１０４用の背景画像生成部１１２、被写体抽出部１１４とから構成される。
【００５１】
広角カメラ１０３用の背景画像生成部１１１は、侵入者が現れる前の正常状態の画像を背景画像として、生成・保存しておく手段である。広角カメラ１０３用の被写体抽出部１１３は、入力画像と先の背景画像との比較から侵入者の存在を検出し、監視員に発報、ズームカメラ１０４による侵入者追尾の為の情報出力などを行なう。
【００５２】
ズームカメラ１０４用の背景画像生成部１１２は、広角カメラ１０３側で生成した背景画像と、広角カメラ側の被写体抽出部１１３によって抽出された被写体情報を元に、ズームカメラ１０４用の背景画像の生成を行う。ズームカメラ１０４用の被写体抽出部１１４は、ズームカメラからの入力画像と先の背景画像との比較から拡大した侵入者の画像を抽出する。
【００５３】
１１５は、高能率符号化のための映像信号圧縮符号化部で、後述するいくつかの方式による圧縮符号化部から構成される。
【００５４】
１１６、１１７は、背景の静止画像を圧縮符号化する背景画像符号化部である。背景画像符号化部での符号化方式はＩＳＯ／ＩＥＣで標準化されているＪＰＥＧやＪＰＥＧ２０００など静止画像用圧縮符号化方式でも良いし、ＭＰＥＧ−４符号化のスプライト符号化を用いても良い。また、単にフレーム数が１の動画像として、ＩＳＯ／ＩＥＣで標準化されているＭＰＥＧ−２の動画像符号化方式を用いてもよい。
【００５５】
１１８、１１９は映像フレームなど映像全領域からその中に含まれる任意形状の構成要素（オブジェクト）のみを符号化する任意形状符号化部である。任意形状符号化部１１８、１１９は、例えばＩＳＯ／ＩＥＣで標準化されているＭＰＥＧ−４符号化方式のオブジェクト単位符号化方式を用いており、以下ＭＰＥＧ−４符号化方式を以って具体的に説明をしていくが、オブジェクト単位の符号化可能な方式であれば、方式は特にＭＰＥＧ−４符号化方式に限定するものでない。
【００５６】
１２０は圧縮符号化された複数のビットストリームを多重化する多重化部である。多重化されたビットストリームは、蓄積系の場合、しかるべきファイルフォーマットに変換されて、ハードディスク、ＶＣＲ、ＣＤ−Ｒなどの蓄積メディアに保存される。伝送系の場合は、多重化されたビットストリームを通信路に応じたパケットに分割し、ネットワークに伝送される。
【００５７】
以下、図１のように構成された本システムの動作について説明する。
【００５８】
≪システム起動−初期化まで≫
広角カメラ１０３およびズームカメラ１０４は室内を広く見渡せる屋内上部など予め所定の位置に設置されており、特に広角カメラ１０３は予め所望の領域（監視領域）を撮影できるよう光軸方向、撮影倍率が調整されているものとする。また、後述する被写体位置推定に必要な初期設定などは、本システム設置時に済ませており、本監視システムはユーザーの指示に従い、いつでも監視状態に入れるとする。
【００５９】
操作部１０１の図示されてない監視システム稼動スイッチがＯＮにセットされると、システム制御部１０２はまず、各部に対し初期化命令を下す。例えば初期化命令を受けたカメラ制御部１０６及び１０７は、広角カメラ１０３およびズームカメラ１０４に電源を投入し、自動露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、オートゲインコントロール（ＡＧＣ）などの初期化が行なわれ、さらにズームカメラ１０４用のカメラ制御部１０７はズームカメラ１０４に対し予め決められた初期光軸方向、初期撮影倍率になるようパン・チルト・ズーミングを行なうよう制御する。
【００６０】
また、侵入者検出部１１０の初期化では、広角カメラ１０３用の背景画像生成部１１１が、広角カメラ１０３の監視領域の撮影像（予め被写体（侵入者）のいない撮影像）を１フレーム分記憶保存する。また、このデータは実際に１フレームだけ撮影した映像を記憶保存してもよいが、ある短時間の撮影像を平均化して用いた方がＣＣＤ暗電流ノイズ等の影響を受けにくく好ましい。
【００６１】
また、ズームカメラ１０４用の背景画像生成部１１２では、侵入者を検出してからの動作となるので、広角カメラ１０３用の背景画像生成部１１１で行った初期化は必要ない。
【００６２】
また、初期化時点から以後システム終了までの期間、システム全体に同期信号が流れ、複数のカメラからの映像信号の多重化などのタイミング調整に使用される。
【００６３】
≪システム監視開始≫
システム各部の初期化が終了すると、続けてシステム制御部１０２は監視動作状態に入ることを指示し、画像入力部１０５に対してカメラによる監視領域の撮像と映像信号の取得、侵入者検出部に対して撮影像から不法侵入者の検出が開始される。
【００６４】
ここでシステムが監視状態にあるときの「監視モード」について説明する。
【００６５】
本監視システムは２つのモードを有する。ひとつは監視領域内に侵入者のいない「正常状態」を表す「正常モード」、他のひとつは監視領域内に侵入者が存在する「異常状態」で、侵入者の行動を追尾する必要のある「侵入者追尾モード」である。これら「正常モード」と「侵入者追尾モード」の２つの監視モードは侵入者検出手段１１０における、広角カメラ１０３用の被写体抽出部１１３の侵入者抽出結果より判定される。どちらのモードに判定されたかはシステム制御部１０２に送られ、それぞれのモードに対応してシステム制御部１０２はシステム各部の動作を制御する。
【００６６】
システム制御部１０２から監視開始命令を受けたカメラ制御部１０６は広角カメラ１０３に対して前述の初期設定状態から撮影を開始し、その撮影像はビデオキャプチャ１０８でフレーム毎に例えばＲＧＢ２４ビットデジタル信号にフォーマット変換し、広角カメラ１０３用の被写体抽出部１１３へと出力される。
【００６７】
一方、ズームカメラ１０４も初期設定状態から撮影を開始し、その撮影像はビデオキャプチャ１０９でフレーム毎に広角カメラの場合と同様ＲＧＢ２４ビットデジタル信号にフォーマット変換される。ただし、ズームカメラ用のキャプチャ画像は、後述の侵入者検出部による検出結果で侵入者の存在が検知されるまで（すなわちは「侵入者追尾モード」になるまで）は、被写体抽出部１１４に出力されることはない。
【００６８】
「侵入者追尾モード」になった場合は、ズームカメラの制御に関するデータが、広角カメラ１０３側の被写体抽出部１１３から、システム制御部１０２を介して、カメラ制御部１０７に送られる。カメラ制御部１０７にて侵入者の画像をズームカメラ１０４に捕らえると、そのときキャプチャした画像は、ズームカメラ１０４用の被写体抽出部１１４に出力される。
【００６９】
≪被写体抽出方法≫
ここで被写体抽出部１１３、１１４で行なわれる被写体抽出方法を説明する。本実施例では被写体抽出方法として良く知られている「背景差分法」と一般に呼ばれている方式を用いる。図３を用いて説明する。
【００７０】
図３は、本実施例における被写体抽出処理を説明する図である。
【００７１】
図３（ａ）は、あるオフィス内のカメラ撮影像を表している図である。
【００７２】
本実施例に適用すれば、広角カメラ１０３で監視領域を撮影している撮影像を表しており、監視領域に侵入者が存在しない「正常モード」の監視領域像である。
【００７３】
背景差分法では映像画面中に移動物体（侵入者）が存在しない状態でその映像画面を参照画像（背景画像）として記憶しておく。本実施例では、背景画像生成部１１１にて予め背景画像を内部メモリに保存している。
【００７４】
さて、背景差分法は対象となる画像（対象画像）と参照画像（背景画像）との差を取り、対象画像に背景画像とは異なる領域を見つける方法であり、本実施例に照らし合わせて説明すると、広角カメラ１０３によって撮影され時系列に順次キャプチャされてくるリアルタイム映像（対象画像）は、そのフレーム毎にフレーム座標の対応する「背景画像」（参照画像）との差分が計算される。
【００７５】
監視領域に侵入者が存在しない状態（図３（ａ））では、リアルタイム映像の各フレーム映像（対象画像）は背景画像と変わりなくフレーム内の差分はノイズ等の影響を排除すればほぼゼロに等しい。
【００７６】
一方、監視領域に侵入者が存在する状態（図３（ｂ））では、対象画像中の侵入者領域は背景画像と信号値が異なる。
【００７７】
これを式で表すと、
ｄ＝（Ｉｒ（ｘ、ｙ）−Ｉｂ（ｘ、ｙ））２ − （１）
ｄ＜Ｔｈのとき ｂ（ｘ、ｙ）＝０ − （２）
ｄ≧Ｔｈのとき ｂ（ｘ、ｙ）＝１ − （２）
ここで、Ｉｒ（ｘ、ｙ）は対象画像の座標（ｘ、ｙ）における信号値、Ｉｂ（ｘ、ｙ）背景画像の座標（ｘ、ｙ）における信号値、Ｔｈは予め決められた閾値、ｂ（ｘ、ｙ）はビットマッププレーンである。
【００７８】
また、（１）式では対象画像と背景画像の差の２乗を計算しているが、差信号を正符号にそろえるもので、差の２乗のかわりにデジタル信号で表されたｄの符号ビットをマスクし、差の絶対値｜Ｉｒ（ｘ、ｙ）−Ｉｂ（ｘ、ｙ）｜を用いても構わない。
【００７９】
（２）式で画像中に含まれるノイズ等による影響を排除する為、差分が一定の値以下のときは差分を０とする。また、（２）式は同時に照明などにより環境変化があるときでも、次に背景画像を取得するまでの耐性も兼ね備えている。すなわち、雲の見え隠れなどによる太陽光の強弱が多少あって、現画像が背景画像より若干暗くなった場合でも、閾値Ｔｈによって侵入物とカウントしない役目を果たしている。
【００８０】
（１）、（２）式は画像の全画素について計算され、各画素について閾値以上の画素と閾値以下の画素とを０または１のビットマッププレーンｂ（ｘ、ｙ）で表す。
【００８１】
図３（ｃ）は、ビットマッププレーンｂ（ｘ、ｙ）の０を黒、１を白で表した図であり、侵入者の存在する領域のみ他と区別されているのがわかる。また、フレーム内全画素について（２）式のｂ（ｘ、ｙ）の累積を取ると、背景とは異なる画素の総数を得ることができる。
ｓ＝ΣｙΣｘｂ（ｘ、ｙ） − （３）
これをフレーム全画素数で割れば、背景とは異なる画素の画面全体との比率がわかり、一定以上の大きさの侵入物が監視領域内に存在するときにのみ、侵入者が存在すると判定するといったことも可能である。
【００８２】
≪「監視モード」の判定≫
上述の被写体抽出方法によって、広角カメラ１０３によって撮影され時系列にキャプチャされて送られてくるリアルタイム映像に対し、被写体抽出部１１３は監視領域内の侵入者の有無を検知し、侵入者の存在しない状態である「正常モード」と、侵入者が存在する状態での「侵入者追尾モード」の判定を行なう。
【００８３】
判定結果である「正常モード」および「侵入者追尾モード」の識別信号はシステム制御部１０２に送られるが、システム制御部１０２に送るタイミングは、被写体抽出部１１３が判定の度にすなわち広角カメラ１０３の撮影像毎フレームごとに識別信号を送っても良いし、被写体抽出部１１３が現在のモードを記憶しておきモードが遷移した時（「正常モード」→「侵入者追尾モード」への遷移、または「侵入者追尾モード」→「正常モード」への遷移）、システム制御手段１０２に送信しても良い。
【００８４】
また、このモード判定の信号は、ズームカメラを制御するためのデータによって、代用することもできる。被写体抽出部１１３は、侵入者を検出すると、侵入者を映像を拡大撮影するための、カメラパラメータを計算し、この情報をシステム制御手段１０２に送っている。したがって、システム制御部１０２が、データを受け取らなければ、「正常モード」、データを受け取ったら「侵入者追尾モード」とする、簡易的な判定手段を用いることも可能である。
【００８５】
次に、それぞれの監視モードでの本システムの動作について説明する。
【００８６】
≪「正常モード」≫
正常モードにおける画像の蓄積・伝送方法は、蓄積メディアの容量や伝送路の帯域といった条件に合わせていくつかの方法をとることができる。
【００８７】
いま、監視領域内に侵入者が存在しない場合（「正常モード」）、広角カメラ１０３用の被写体抽出部１１３に入力される画像は、背景生成部１１１に保存されている背景画像とほぼ同じ画像となる。したがって、正常モード時の記録、伝送が不要の場合は、この画像を圧縮符号化部１１５へ出力する必要はない。画像の処理を一切行わないので、もっとも符号化効率のよい方法と言える。
【００８８】
背景画像を最初に１フレーム分符号化する場合は、背景画像符号化部１１６を用いて、符号化を行う。理想的には、侵入者を検出するまでは、背景の状態は変わらないので、最初に１フレーム分符号化すればよいはずだが、外光等による背景の状態変化に対応するため、定期的に背景画像を更新してもよい。また「正常モード」においては、ズームカメラ１０４は特定対象物を撮影する必要がないので、キャプチャ画像に対し、何の処理も行わなくてもよい。
【００８９】
≪「侵入者追尾モード」≫
システムが「正常モード」から「侵入者追尾モード」に状態遷移すると、システム制御部１０２は、広角カメラに対しては、引き続き監視領域を撮影するよう指示し、さらにズームカメラに対しても、撮影を開始するよう制御する。
【００９０】
具体的には、システム制御部１０２はカメラ制御部１０７に対し、被写体抽出部１１３から送られてきた侵入者の位置情報および変倍率を制御パラメータとして、ズームカメラ１０４で侵入者拡大像を撮影するよう要求する。
【００９１】
要求を受けたカメラ制御部１０７は、侵入者位置情報からズームカメラ１０４のパン／チルト角を決定し、図示しない雲台を駆動し、その光軸を侵入者の位置に向ける。また変倍に関しては、広角カメラ１０３の焦点距離をｆとしてＦ＝Ｍｆで表されるＦを、ズームカメラの焦点距離となるようにズームカメラ１０４のレンズを移動し、ズーミングを行なう。さらに、ビデオキャプチャ１０９も駆動し、システムにズームカメラ撮影像が取り込まれる。
【００９２】
このようにしてズームカメラ１０４による侵入者拡大像の撮影が開始され、監視領域に侵入者が存在する間（「侵入者追尾モード」の間）、逐次被写体抽出部１１３から侵入者の位置と変倍率がシステム制御部１０２に送り続けられ、システム制御部１０２はカメラ制御部１０７に対し順次侵入者の位置と変倍率を制御変数としてパン・チルト・ズーム要求を発し続けるためズームカメラ１０４による侵入者追尾が実行される。
【００９３】
侵入者追尾中は、被写体抽出部１１４は、背景画像生成部１１２から生成される背景画像との比較から被写体を抽出し、結果を任意形状符号化手段１１９へ出力し続ける。背景画像生成手段１１２も広角カメラ側の抽出結果に応じて、毎回背景画像を生成し、背景画像符号化部１１７に出力し続ける。
【００９４】
≪侵入者位置とズームカメラ変倍率の決定≫
ここで、被写体抽出部１１３の侵入者の位置決定とズームカメラ変倍率の決定方法についてその一例を説明する。
【００９５】
一般にカメラで撮影された画像座標から物体の３次元位置座標を推定する問題はコンピュータビジョンなどの分野で様々な研究が進められており、その一般式はカメラパラメータと呼ばれる行列要素を用いたアフィン変換によって得られる。
【００９６】
しかし、本監視システムにおいて侵入者は地面（屋内においては床面）上を移動することを仮定すれば、侵入者の位置座標は地面（床面）である二次元平面上の一点で近似できる。たとえ、床面に凹凸があり侵入者が高さ方向に多少上下しても、本システムの監視カメラを地面（床面）から十分高い位置に設置することで侵入者の位置の近似は十分に成り立つ。
【００９７】
よってカメラ撮影画像座標（２次元座標）から物体の３次元位置座標（３次元座標）を推定する問題は、「撮影画像（２次元座標）と地面（２次元座標）」すなわち２次元平面どうしの対応問題に帰着する。これはいわゆる射影変換で簡単に知ることができる。
【００９８】
一方、広角カメラは視野範囲が広いほど撮影像は歪曲を持ち、この歪曲を補正しないと正確な位置座標を得ることはできない。この問題に関しては、「第７回画像センシングシンポジウム：射影変換を利用した特徴点抽出処理とカメラキャリブレーション」で公知なように予め補正係数を作成することによって解決できる。そして前述のように前記補正係数の作成は本監視システム設置時などに１回行なえばよく、本監視システムのセットアップアプリケーションとして付属してもよい。
【００９９】
まず、ズームカメラを侵入者の方へ向けるための座標計算について説明する。
【０１００】
図４は、本発明の実施例における被写体位置とズーム変倍率の決定方法について説明する図である。
【０１０１】
図４（ａ）は、図３（ｃ）の侵入者のビットマップ画像に対応し、見やすくするため白黒反転して侵入者領域を黒、背景領域を白で図示してある。
【０１０２】
広角カメラ１０３で表示している画面の左上を原点（０，０）の座標とし、幅をＷ、高さをＨとする。このとき、広角カメラの光軸の中心は、（Ｗ／２、Ｈ／２）ということになる。まず、侵入者の形状情報に対し、これを含む外接矩形を設定し、このときの、外接矩形の左上の座標を（Ｘｓ、Ｙｓ）とし、幅をｗ、高さをｈとする。すると外接矩形の中心の座標は、（Ｘｓ＋ｗ／２、Ｙｓ＋ｈ／２）となる。
【０１０３】
ズームカメラの光軸の中心を外接矩形の中心座標に合わせるために必要な、水平方向の移動量Ｘｍ、垂直方向の移動量Ｙｍは、
Ｘｍ＝Ｗ／２−（Ｘｓ＋ｗ／２） −（４）
Ｙｍ＝Ｈ／２−（Ｙｓ＋ｈ／２） −（５）
となる。
【０１０４】
移動量の単位は画素なので、一画素あたりの水平方向のカメラパラメータをｃｘ、垂直方向のカメラパラメータをｃｙとすると、水平、垂直方向の移動量Ｃｘ、Ｃｙは、
Ｃｘ＝ｃｘ・Ｘｍ −（６）
Ｃｙ＝ｃｙ・Ｙｍ −（７）
と求めることができる。
【０１０５】
次にズームカメラ変倍率の決定について説明する。
【０１０６】
侵入者を画面いっぱいに表示するということは、先の外接矩形を画面サイズまで引き伸ばすことになる。水平方向の変倍率をＭｗ、垂直方向の変倍率をＭｈとすると、
Ｍｗ＝Ｗ／ｗ −（８）
Ｍｈ＝Ｈ／ｈ −（９）
となる。画面からはみ出さないようにするためには、これらのうちの小さいほうの変倍率を選択する。
Ｍ＝Ｍｉｎ（Ｍｗ，Ｍｈ） −（１０）
Ｍがズームカメラの持つ最大変倍率Ｍｍａｘより大きい場合は、Ｍ＝Ｍｍａｘとする。
【０１０７】
ここで、本実施例では、わかりやすくするため、広角カメラ１０３とズームカメラ１０４は焦点距離以外、例えばＣＣＤなどの開口サイズ、ピッチなどは同じとするが実際には様々な点で違いがあるが、それぞれの差分は予め補正方法などがわかっているものとする。
【０１０８】
図４（ｂ）は、上記の計算により求めたカメラ制御パラメータを、ズームカメラ１０４の制御に適応した結果、得られた画像の例を示している。
【０１０９】
≪侵入者追尾モードの広角カメラ映像信号処理≫
つぎに「侵入者追尾モード」における広角カメラ１０３撮影の映像信号処理について説明する。
【０１１０】
監視領域内に侵入者が入ると、被写体抽出部１１３により、侵入者を検出する。検出方法は、図４を用いて既に説明した通りである。
【０１１１】
このとき、モード信号を利用している場合には、「正常モード」から「侵入者追尾モード」に遷移する。抽出した被写体を符号化するためには、画像データと形状データを任意形状符号化部１１８に送らなければならない。このとき画像データは、侵入者の外接矩形に囲まれた領域であり、形状データは、外接矩形内の２値データである。
【０１１２】
また、外接矩形の位置と大きさのデータも付加される。これらは通常、画面全体の左上を原点とするときの外接矩形の左上の座標ｘ、ｙと外接矩形の幅と高さｗ、ｈの４つのパラメータで表される。ＭＰＥＧ−４を用いた任意形状符号化では、符号化対象領域をバウンディングボックスと呼ばれる矩形領域で定義する。バウンディングボックスの設定には、制約条件があるので、先に抽出した外接矩形をこのバウンディングボックスに拡張しておけば、符号化時の前処理を省略することができる。
【０１１３】
制約条件は、バウンディングボックスの左上の座標ｘ、ｙが偶数であること、幅と高さが１６の倍数であることである。ＭＰＥＧ−４の符号化については後に説明する。
【０１１４】
≪侵入者追尾モードのズームカメラ映像信号処理≫
侵入者追尾モードのズームカメラ映像信号処理について説明する。
【０１１５】
図５は、本発明の実施例におけるズームカメラ１０４用の背景画像の生成方法を説明する図である。
【０１１６】
図５（ａ）は、広角カメラ側でキャプチャされた画像を示しており、図中の破線は、先に説明した≪侵入者位置とズームカメラ変倍率の決定≫で得られた拡大対象領域であり、図５（ｃ）は、拡大して得られたズームカメラ１０４の画像である。この画像から、侵入者のみを抽出して符号化するためには、先に説明したように、背景画像が必要となる。ズームカメラ１０４における背景画像は、本実施例では、予め用意せずに、広角カメラ１０３側で生成した背景画像と、広角カメラ１０３側で被写体抽出して得られた情報を元に背景画像を生成する。具体的には、上述した広角カメラ１０３で撮像された画像に設定された外接矩形の左上の座標位置の情報と矩形の大きさ情報に基づいてズームカメラ１０４に撮像された画像に最適な背景画像を広角カメラ１０３用の背景画像から抽出拡大して得ることができる。
【０１１７】
図５（ｂ）は、広角カメラ１０３における背景画像（図３（ａ））に対し、図５（ａ）と同じ領域を抽出し、画像処理により拡大して生成したものである。
【０１１８】
画像処理により拡大して生成された背景画像のため、図５（ｃ）における背景部分とは、同一とはならず、高域成分の情報が失われているが、背景差分によって生じる誤判定は、後処理によって改善することができる。
【０１１９】
また、図５（ｄ）からもわかるように、侵入者の外接矩形の縦横比が画面の縦横比と異なる場合は、オブジェクトの存在し得ない領域５０１、５０２が生じる。このことから、領域５０３内で孤立点除去やフィルタリング処理により、抽出精度の向上を図ることが可能である。
【０１２０】
図５（ｅ）は、被写体の最終抽出結果を示している。任意形状符号化部１１９の入力となるデータは、被写体抽出部１１４から得られた画像データと形状データであり、詳細は先に説明した広角カメラの場合と同様である。
【０１２１】
ズームカメラ側では、カメラの動きに応じて背景画像が変化するので、背景画像符号化部１１７は、動画像の符号化を利用するとよい。本実施例ではＭＰＥＧ−４符号化方式を用いる。ＭＰＥＧ−４は、任意形状ではないフレーム単位の矩形画像も扱えるので、映像信号圧縮符号化部１１５をすべてＭＰＥＧ−４符号化に統一することもできる。
【０１２２】
≪ＭＰＥＧ−４任意形状符号化≫
本実施例では、オブジェクト単位符号化方式にＭＰＥＧ−４の任意形状符号化方式を用いる。ＭＰＥＧ−４における任意形状符号化は、同じ画素位置の画像信号、形状信号、透過度信号をまとめて１つのマクロブロックを構成し、マクロブロック単位で符号化する。任意形状符号化する場合には、物体を包含するバウンディングボックスと呼ばれる領域を設定し、この左上の座標位置と矩形領域の大きさを併せて符号化する。
【０１２３】
形状信号は、オブジェクト内部を２５５、オブジェクト外を０で定義される２値信号である。本実施例では、オブジェクトは監視領域の侵入者であり、前述の被写体抽出部１１３、１１４による抽出結果から簡単にバウンディングボックスを設定することができる。透過度信号は半透明物体以外のオブジェクトに対しては使用されないので本実施例でも使用しない。
【０１２４】
図６は、本発明の実施例におけるオブジェクトのバウンディングボックスとマクロブロックを示す図である。
【０１２５】
図６（ａ）に広角カメラ１０３側の画像におけるバウンディングボックスを、図６（ｂ）にズームカメラ１０４側の画像におけるバウンディングボックスをそれぞれ示す。また、図６（ｃ）は、バウンディングボックスをマクロブロックで分割した例を示す。
【０１２６】
ここでマクロブロック毎の符号化処理を図１１を参照して説明する。
【０１２７】
図１１は、本発明の実施例における任意形状符号化部の構成例を示すブロック図である。
【０１２８】
図１１において、入力される信号は画像の輝度・色差信号と、形状信号であり、マクロブロック単位で処理される。また、形状信号、透過度信号により表現されるオブジェクト内部の領域をＶＯＰ（ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ）と呼ぶ。
【０１２９】
イントラモードでは、各ブロックをＤＣＴ部１１０１において離散コサイン変換（ＤＣＴ）し、量子化部１１０２にて量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部１１１２で可変長符号化される。
【０１３０】
インターモードでは、動き検出部１１０７において時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部１１０８で対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトルである。予測マクロブロックを生成するために参照する画像を参照ＶＯＰと呼ぶ。検出された動きベクトルに基づき、参照ＶＯＰを動き補償部１１０６にて動き補償して、最適な予測マクロブロックを取得する。
【０１３１】
次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分信号に対してＤＣＴ部１１０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部１１０２で量子化する。
【０１３２】
一方、形状データは、形状符号化ＣＡＥ部１１０９で符号化される。ただし、ここで実際にＣＡＥ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｉｎｇ）符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロックやＶＯＰ外のブロックはヘッダ情報のみが可変長符号化部１１１２に送られる。また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部１１０７による動き検出を行い、動きベクトル予測（１１０８）を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対しＣＡＥ符号化を行う。
【０１３３】
≪多重化動作≫
次に、多重化部１２０の動作について説明する。
【０１３４】
「正常モード」では、映像信号圧縮符号化部１１５から入力されるのは、背景画像符号化部１１６からの出力である背景画像のビットストリームのみである。
【０１３５】
「侵入者追尾モード」では、背景画像符号化部１１６からの出力である背景画像のビットストリームに加え、広角カメラ１０３側の任意形状符号化部１１８からのビットストリームおよび、ズームカメラ１０４側の背景画像符号化部１１７からのビットストリームならびにズームカメラ１０４側の任意形状符号化部１１９からのビットストリームが入力される。多重化に際し、必要な同期制御等は、システム制御部１０２を介して行われる。
【０１３６】
≪ストリーム受信から画像表示≫
次に、多重化されたビットストリームの分離から、各符号化データの復号化、表示までについて図面を用いて説明する。
【０１３７】
図２は、本発明の第１の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【０１３８】
図２において、２０１および２０２はそれぞれ操作部およびシステム制御部で、図１の操作部１０１およびシステム制御部１０２に対応している。
【０１３９】
２０３は多重化された符号化ビットストリームをそれぞれの符号化ビットストリームに分離する分離部、２０４は圧縮符号化データを伸張、復号化する伸張復号化部であり、図１の背景画像符号化部１１６の逆変換を行なう背景画像復号化部２０５、図１の任意形状符号化部１１８の逆変換を行なう任意形状復号化部２０７、図１の背景画像符号化部１１７の逆変換を行なう背景画像復号化部２０６および図１の任意形状符号化部１１９の逆変換を行なう任意形状復号化部２０８から構成される。
【０１４０】
２０９はオブジェクト単位符号化によってオブジェクト領域のみ符号化されたオブジェクトと背景などを合成する合成部、２１２はモニタなどの表示部である。
【０１４１】
以下、図２のように構成された本システムの動作について説明する。
【０１４２】
分離部２０３では、多重化されたビットストリームの分離を行う。システムの状態が「侵入者追跡モード」のときは、図１の広角カメラ１０３、ズームカメラ１０４にそれぞれ対応する背景画像符号化ビットストリーム、任意形状符号化ビットストリームの計４種類のビットストリームが多重化されている。システム状態が「正常モード」のときは、広角カメラ側の背景画像符号化ビットストリームのみとなる。
【０１４３】
分離部２０３によって分離された各符号化ビットストリームは、対応する復号化部により復号化される。各復号化部は、符号化部の逆変換となる。したがって、符号化時にＭＰＥＧ−４の任意形状符号化部を用いた場合は、復号化時には、ＭＰＥＧ−４の任意形状復号化部を用いなければならない。バウンディングボックス内における各マクロブロックの復号化処理を図１２を参照して説明する。
【０１４４】
図１２は、本発明の実施例における任意形状復号化部の構成例を示すブロック図である。
【０１４５】
図１２において、符号化されたビットストリームは、可変長復号化部１２０１で復号化され、画像と形状と動きにデータが分けられる。
【０１４６】
イントラモードでは、逆量子化部１２０２でＤＣＴ係数の逆量子化を行い、次に逆ＤＣＴ部１２０３で輝度と色差の画像信号に復号される。形状データも同様に形状復号化ＣＡＥ部１２０７において、元の形状データに復号される。このとき、実際のＣＡＥ復号化が行われるのは、境界ブロックのみであり、ＶＯＰ内のブロックやＶＯＰ外のブロックはヘッダ情報のみから元の形状データに復号する。
【０１４７】
インターモードでは、動きベクトル復号化部１２０６で復号した動きベクトルを用い、前フレームとの差分画像から元の画像を復号する。デコード時に参照する画像データは、エンコード時のパディングと同じ処理で求めた画像を利用する。形状データも同様に差分値用のＣＡＥ復号処理をして、元の形状データに復号する。
【０１４８】
図２の動作の説明に戻り、画像合成部２０９では、別々に復号した背景画像と任意形状の画像（ここでは侵入者の画像）とを合成し、１つのシーケンスとなる動画像を生成する。広角カメラ用の動画像と、ズームカメラ用の動画像の２つのシーケンスを生成することになる。
【０１４９】
画像合成部２１０、２１１は、広角カメラ用の画像を合成するか、ズームカメラ用の画像を合成するかのみの違いであり、特に機能的な差を要求するものではない。
【０１５０】
表示部２１２は、広角カメラとズームカメラの２種類の監視画像を見やすく表示する。各監視画像を別々のモニタに表示してもよいし、１つのモニタに複数のウィンドウを設けて、そこに同時に表示してもよい。さまざまな表示方法で監視する場合は、操作部２０１からシステム制御部２０２を介して、表示方法を選択させることが可能である。
【０１５１】
図７は、これらの表示方法の例をいくつか示したものである。図７の例はすべて「侵入者追尾モード」の場合を示している。
【０１５２】
図７（ａ）は、広角カメラの合成復号画像を示している。この例では、広角カメラの背景復号画像と広角カメラの侵入者復号画像が合成されて表示されている。
【０１５３】
図７（ｂ）は、先ほどの広角カメラの合成復号画像に、ズームカメラの合成復号画像を重ねて表示した例である。ズームカメラの合成復号画像も広角カメラの合成復号画像と同様、ズームカメラの背景復号画像とズームカメラの侵入者復号画像の合成で構成されている。
【０１５４】
図７（ｃ）は、図７（ｂ）とは逆に、ズームカメラの合成復号画像に広角カメラの合成復号画像を重ねて表示した例である。この例では、監視領域全体で、侵入者がどの位置にいるのかという情報と、侵入者のアップの画像の両方を同時に見ることができる。
【０１５５】
図７（ｄ）は、ズームカメラの合成復号画像のみを表示したものであるが、侵入者のみを見たい場合は、図７（ｅ）のような侵入者復号画像のみの表示も可能である。これは、操作部２０１からシステム制御部２０２を介し、画像合成部２１１で背景画像を合成しないよう制御することで実現が可能となる。
【０１５６】
図７（ｆ）は、広角カメラの合成復号画像に、図７（ｅ）のズームカメラの侵入者復号画像を重ね合わせた例である。
【０１５７】
図７（ｇ）は、図７（ｆ）とは逆に、ズームカメラの侵入者復号画像に広角カメラの合成復号画像を重ねて表示した例である。画像表示装置の一例を図８に示す。
【０１５８】
（第２の実施例）
以下、本発明の第２の実施例を説明する。第１の実施例では、ズームカメラ用の背景画像を符号化側で生成していたが、第２の実施例はこれを復号側で行い、ズームカメラ用の背景画像を伝送しないようにして、伝送符号量の削減を行った。
【０１５９】
図９は、本発明の第２の実施例における監視システムの画像符号化側の構成例を示すブロック図である。尚、図９において図１と同一機能の部分には同一符号を付し、その説明を省略する。
【０１６０】
図９において、図１との違いは、ズームカメラ用の背景画像生成部１１２において、生成した背景画像を被写体抽出部１１４における比較参照用にのみ用い、背景画像符号化部１１７への出力を行わないことにある。このため、図１における背景画像符号化部１１７を、図９では省略することができる。
【０１６１】
したがって、図９における多重化部１２０では、扱うビットストリームの種類は１つ減って、広角カメラ１０３用の背景符号化ビットストリームと任意形状符号化ビットストリーム、およびズームカメラ１０４用の任意形状符号化ビットストリームの３種類となる。第１の実施例の場合と同様、３つのビットストリームが同時に多重化されるのは、「侵入者追尾モード」の時である。
【０１６２】
次に図１０を用いて、復号側の処理について説明する。
【０１６３】
図１０は、本発明の第２の実施例における監視システムの画像復号化側の構成例を示すブロック図である。尚、図１０において図２と同一機能の部分には同一符号を付し、その説明を省略する。
【０１６４】
図１０において、分離部２０３によって、「侵入者追尾モード」の時は、多重化されていたビットストリームが、広角カメラ用の背景符号化ビットストリームと任意形状符号化ビットストリーム、およびズームカメラ用の任意形状符号化ビットストリームに分離される。
【０１６５】
広角カメラ側の処理は、第１の実施例と同様で、背景画像復号化部２０５が背景画像符号化ビットストリームを背景画像に復号化し、任意形状復号化部２０７が任意形状符号化ビットストリームを任意形状画像に復号化する。復号化されたそれぞれの画像データは、画像合成部２１０によって、合成復号画像となる。
【０１６６】
ズームカメラ側の処理は、任意形状復号化部２０８が任意形状ビットストリームを任意形状画像に復号化する。第１の実施例と異なり、ズームカメラ用の背景画像は、復号されないので、復号した広角カメラ用のデータから生成する。
【０１６７】
背景画像生成部１００１の処理について説明する。
【０１６８】
広角カメラ側の背景画像復号化部２０５からは、図３（ａ）のような背景画像が得られるので、これを背景画像生成部１００１に入力する。また、広角カメラ側の任意形状復号化部２０７からは、任意形状の復号画像の位置と大きさに関する情報を得ることができるので、これも背景画像生成部１００１に入力する。これら２つの入力から、広角カメラの背景画像の一部を画像処理によって拡大し、図５（ｂ）に示すようなズームカメラ用の背景画像を生成することができる。
【０１６９】
背景画像生成部１００１により生成されたズームカメラ用の背景画像は、任意形状復号化部２０８より出力された任意形状復号画像と共に画像合成手段２１１に入力され、画像合成が行われる。合成された画像は、図５（ｃ）のような画像となり、実施例１と同様の結果を得ることができる。
【０１７０】
＜その他の実施形態＞
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【０１７１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７３】
以上説明したように、本発明に係る実施形態によれば、撮像倍率の異なる複数の撮像装置を有し、撮像倍率の低い撮像装置から監視領域内での侵入者の位置と侵入者周辺の状況を撮像し、撮像倍率の高い撮像装置から侵入者の容姿が十分に視認可能な拡大像を得つつ、それぞれの映像信号をその映像の特性に応じてオブジェクト単位符号化を取り入れた圧縮符号化を行なうことで、魚眼レンズのような広角レンズを単体を用いた監視システムと比較して、侵入者の拡大像を十分な解像度で得ることができる。
【０１７４】
また、監視領域内を複数台の撮像装置を用いて監視するシステムと比較して、広角カメラによる広範囲領域の監視によって設置台数の削減から設備費用の負担が少ない。
【０１７５】
また、侵入者拡大映像はズームカメラが撮影するので被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離（または視野範囲）、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を必要としない。
【０１７６】
そして、異なる撮影倍率を有する複数のカメラを用いて監視する従来のシステムと比較して、広角カメラ映像、ズームカメラ映像共に、背景とオブジェクト領域のみを符号化するために、大幅な符号量の削減が可能となり、高能率な監視システムが実現できる。また、蓄積系に本システムを用いると、従来に比べ、長時間の監視状態を記録することが可能となる。伝送系に本システムを用いると、従来に比べ、映像品質を劣化させることなく、より狭い帯域での伝送が可能となる。また、従来と同様の伝送帯域では、より高画質な映像を伝送することが可能となる。
【０１７７】
また、本発明に係る第２の実施例においては、ズームカメラ用の背景画像を復号側の処理で生成するため、更なる符号量の削減が可能となり、より高能率な監視システムが実現できる。
【０１７８】
【発明の効果】
以上説明したように、本発明によれば、撮像倍率の高い画像データの背景画像を撮像倍率の低い画像データより生成することによって、画像データの大幅な符号量の削減が可能となる。
【０１７９】
また、本発明によれば、撮像倍率の高い画像データの被写体画像を背景差分法で抽出する実施例においては、撮像倍率の低い画像データを用いて背景画像を生成し、被写体画像を抽出することによって、背景画像を予め用意しなくてよいので操作性の向上となる。
【０１８０】
また、本発明によれば、撮像倍率の高い画像データの背景画像を復号側の処理で生成するため、更なる符号量の削減が可能となる。
【０１８１】
また、本発明によれば、被写体の位置と大きさより求められたカメラの向きとズーム倍率で撮像することにより、簡単に被写体の拡大画像が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施例における監視システムの画像符号化側の構成例を示すブロック図である。
【図２】本発明の第１の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【図３】本発明の実施例における被写体抽出処理を説明する図である。
【図４】本発明の実施例における被写体位置とズーム変倍率の決定方法について説明する図である。
【図５】本発明の実施例におけるズームカメラ１０４用の背景画像の生成方法を説明する図である。
【図６】本発明の実施例におけるオブジェクトのバウンディングボックスとマクロブロックを示す図である。
【図７】本発明の実施例における表示部２１２の表示例を説明する図である。
【図８】本発明の実施例における表示装置の例を説明する図である。
【図９】本発明の第２の実施例における監視システムの画像符号化側の構成例を示すブロック図である。
【図１０】本発明の第２の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【図１１】本発明の実施例における任意形状符号化部の構成例を示すブロック図である。
【図１２】本発明の実施例における任意形状復号化部の構成例を示すブロック図である。
【図１３】広角カメラを利用した監視システムの従来例を説明する図である。
【図１４】図１３の監視システムでの撮影像を説明する図である。
【図１５】複数台数の標準カメラを利用した監視システムの従来例を説明する図である。
【図１６】図１５の監視システムでの撮影像を説明する図である。
【図１７】広角カメラとズームカメラを併用した監視システムの従来例を説明する図である。
【図１８】図１７の，Ｍ監視システムでの撮影像を説明する図である。
【発明の属する技術分野】
本発明は、画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関し、特に異なる撮像倍率で撮像された複数の画像データに対する画像処理に関するものである。
【０００２】
【従来の技術】
従来、撮像装置を用いた映像による監視システムについては様々な提案がされている。
【０００３】
≪広角レンズを用いた監視システム≫
監視システムの一つとして魚眼レンズで代表されるような広角レンズを用いた監視システムがある。
【０００４】
広角レンズを用いた監視システムの特徴は、一台の撮像装置による撮影像で広範囲な領域を監視できることがあげられ、監視領域面積に対する撮像装置設備費用のコスト比率が低い利点がある。また広範囲な監視領域撮影像は、侵入者の移動に対しても画面から外れることも少なく、侵入者の位置が視認しやすいという利点もある。
【０００５】
図１３は、あるオフィス内上部に一台の広角カメラ１３０１を設置し、比較的広範囲な監視領域１３０２を監視している状態を表した図である。
【０００６】
いま、オフィス内に不法侵入者１３０３が侵入している。このような状況において、広角カメラ１３０１は撮像視野範囲が広いため、オフィス内に侵入してきた侵入者１３０３のほか、机、ドアなどオフィス内の多数の什器設備も同一映像内に撮影している。故に侵入者のいる場所が視覚的に直ちに判断できる。また、侵入者の移動にも撮像視野範囲が広いため、撮影像から外れて見えなくなることが起こり難い。
【０００７】
このような広角カメラを用いた監視システムに関する技術としては、撮像光学系が広角になるほど撮影像の歪曲が大きくなるため、撮影像の歪曲を画像処理によって補正する技術や、撮像光学系にミラー光学部材を用い、周囲３６０°の全方位を監視領域にするものなどが提案されている。
【０００８】
一方、広角レンズを用いた監視システムにおいて前述のような特徴がある反面、広範囲領域にいる侵入者の像は監視撮像領域が広範囲になるほど小さく視認しにくくなるという問題が生じる。
【０００９】
図１４は、図１３で示したように、オフィス内に不法侵入者が侵入してきた状況を広角カメラ１３０１で撮影した映像の１シーンを表した図である。図からもわかるように、撮影領域が広いほど侵入者の位置は認識し易い反面、侵入者の顔、表情、容姿の細部を認識は難しい。
【００１０】
≪複数台の撮像装置を用いた監視システム≫
また他の監視システムとして、監視領域内を複数台の撮像装置を用いて監視するシステムも提案されている。
【００１１】
図１５は、図１３の広角カメラ１３０１による監視領域１３０１を３つの監視領域に分割し、それぞれ各監視領域を標準レンズを搭載した３台のカメラ１５０１で監視している様子を示す図である。
【００１２】
それぞれのカメラは独立に監視領域（たとえば監視領域１５０２）を撮像し、その撮影像はカメラに１対１対応したモニタによって表示される。また映像表示に関しては、複数台のカメラからの映像をマルチチャネル入力し一台のモニタでマルチウィンドウ表示するコントローラーなどもある。
【００１３】
図１６は、オフィス内に侵入者１３０３が侵入してきて、図１５に図示した３台のカメラのうち、１台のカメラ（中央のカメラ）が撮影像中に侵入者を捉え、このカメラに１対１対応した１台モニタの画面を表した図である。または、前述の３台のカメラからのマルチチャネル映像のうち侵入者を捉えたチャンネルのウィンドウに表示された映像でもよい。
【００１４】
この監視システムの特徴は、図１４と図１６の比較によって明らかなように、若干侵入者の大きさが大きく撮影できるため、侵入者の顔、表情、容姿細部の認識は前述の広角カメラを用いた監視システムよりは優れている。
【００１５】
しかし、この監視システムの利用者（例えば監視員など）は、常時多数のモニタまたはマルチウィンドウの各画面を監視しなければならないという問題点もある。
【００１６】
この問題点を解決するための技術としては、特開２０００−２９５６００号に開示されているように、複数のカメラを用いて監視領域を撮像し、該撮影像から移動体を検出し、移動体の存在するカメラ映像を１台のモニタで表示するシステムが提案されている。
【００１７】
≪異なる撮影倍率を有する複数のカメラを用いた監視システム≫
またさらに他の監視システムとして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムも提案されている。
【００１８】
図１７は、図１３で示したオフィス内に、広角カメラ１３０１に加えて、さらにパン・チルト・ズームにより撮像視野範囲を変えることの可能なカメラ（ここでは単にズームカメラと呼ぶ）１７０１が設置されており、広角カメラ１３０１で広範囲な領域を監視しつつ、ズームカメラ１７０１で侵入者の顔や容姿の特徴がわかるべく拡大像を撮影できる監視システムを表している図である。
図１８は、図１７の監視システムによる撮影像である。
【００１９】
図１８（ａ）は広角カメラ１３０１による撮影像で、この映像は図１４と同様である。また、図１８（ｂ）は、ズームカメラ１７０１による撮影像を表している。これら映像は前述の複数台の撮像装置を用いた監視システムと同様に、カメラに１対１対応したモニタによってそれぞれ個別に表示される場合やマルチチャネル入力コントローラーを用いて一台のモニタでマルチウィンドウ表示する場合もある。
【００２０】
この監視システムの特徴は、広角カメラの広範囲監視領域撮影像による侵入者位置が視認性の良さと、ズームカメラの侵入者拡大像による侵入者の顔、表情、容姿詳細の確認のし易さの両立である。これに関する技術としては、特開２０００−３２３１９号に開示されている技術がある。
【００２１】
特開２０００−３２３１９号では、広角カメラとズームカメラの両画像をネットワーク上接続された装置に伝送、表示するシステムが開示されており、さらには、広角カメラで撮影された画像を見ながら、前記装置を操作することによってズームカメラをパン・チルト・ズームし、所望の被写体の拡大像を得る監視システムが提案されている。
【００２２】
また、本特開２０００−３２３１９号の拡張として前述の特開２０００−２９５６００号に、ズームカメラの撮影対象を人為的な操作によるものでなく、広角カメラ撮影像から移動体を検出し、移動体の位置や大きさから自動的にズームカメラをパン・チルト・ズームし、移動体の拡大像を得る監視システムも提案されている。
【００２３】
【発明が解決しようとする課題】
しかしながら上記従来の方法においては、以下に説明する多くの課題が残されている。
【００２４】
まず、魚眼レンズのような広角レンズを用いた監視システムにおいて、監視領域内撮影像に対し侵入者の大きさが小さく顔などが認識しにくい問題点に関し、前記従来例で示したような侵入者を検知し検知された領域を拡大表示する方法は、デジタル化された画像信号の拡大及び補間処理によって可能ではあるが、拡大像に存在する情報量（画像中の周波数成分）はデジタルサンプリング時に決まるので、拡大処理後の情報量が増えることはない。
【００２５】
すなわち、拡大することによって、従来見えていなかった詳細が見えてくることはないのである。画像の周波数成分に関しては拡大率に応じて見かけ上の周波数成分は低周波数にシフトするので、その拡大像は、単にボケた画像、もしくは補間処理を行なわない場合はブロック状モザイクのかかった画像に感じるのはよく経験することである。
【００２６】
次に、監視領域内を複数台の撮像装置を用いて監視するシステムは、単純なシステムであり、特開２０００−２９５６００号に開示されているように表示の仕方で監視員の労力を軽減させるなど工夫されているが、監視領域が広域になるほど多くの台数のカメラが必要となり、設備投資にかかるコスト負荷が重くなるという問題がある。
【００２７】
また、それぞれのカメラの監視領域が狭いため侵入者の位置の把握がしにくい、侵入者の移動によって視点の異なるカメラが頻繁に切り替わり侵入者を捉えるなど、視認性に問題がある。さらに、前記提案にはカメラからの撮影像を画像処理によって拡大像を得る方法が記載されているが、前述の理由から被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離（または視野範囲）、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を要する問題がある。
【００２８】
そして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムについては、前記従来例の問題点を光学的に解決しているが、一人の侵入者に対し広角カメラ撮影像とズームカメラ撮影像の２つのビデオ信号をネットワーク上に伝送する必要がありネットワーク伝送路上に多くの負荷をかける問題点がある。
【００２９】
特に広角カメラによる撮影映像は、図１４または図１８（ａ）でもわかるように、侵入者以外の多くの領域は侵入以前の状態と変化がなく動画像毎フレームの多くの部分が冗長な映像を伝送しているという、有効な映像信号の伝送という観点で問題点を含む。
【００３０】
この点について特開２０００−３２３１９号は、ズームカメラ拡大像は広角カメラ広範囲監視領域像より重要度が高い為、ズームカメラ拡大像を伝送するフレームレートを広角カメラ映像を伝送するフレームレートより高くし、ズームカメラ拡大像の動きが滑らかになるようなシステムについて記載されているが、広角カメラ映像のフレームレートを落とすことで侵入者の行動行為がコマ落ちすることは、監視目的のシステムにおいては問題を含んでいると考えられる。
【００３１】
特に犯罪に関する行動は瞬時に行なわれるものも多く、フレームレートの低下は重要な証拠映像をコマ落ちさせる可能性を含んでいる点で監視システムにおいては問題である。
【００３２】
本発明は上記問題を鑑みて成されたものであり、異なる撮像倍率で撮像された画像データの符号量を効率よく削減して、従来のようにコマ落ちさせることがない画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【００３３】
また、本発明は更に、異なる撮像倍率で撮像された複数の画像データから特定の被写体像を効率よく抽出することができる画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【００３４】
また、本発明は更に、簡単に被写体の拡大画像が得られる画像処理装置及びその方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成手段と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出手段と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成手段と、前記第２の撮像画像より第２の被写体画像を抽出する第２の被写体抽出手段と、前記第１の背景画像生成手段より生成された第１の背景画像を符号化する第１の背景画像符号化手段と、前記第１の被写体抽出手段より抽出された第１の被写体画像を符号化する第１の被写体画像符号化手段と、前記第２の背景画像生成手段より生成された第２の背景画像を符号化する第２の背景画像符号化手段と、前記第２の被写体抽出手段より抽出された第２の被写体画像を符号化する第２の被写体画像符号化手段とを有することを特徴とする。
【００３６】
また、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成手段と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出手段と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成手段と、前記第２の撮像画像と前記第２の背景画像より第２の被写体画像を抽出する第２の被写体抽出手段とを有することを特徴とする。
【００３７】
また、本発明に係る画像処理装置は、所定の撮像倍率で撮像された第１の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第１の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第２の被写体画像とを入力する入力手段と、前記第１の背景画像と前記第１の被写体画像とに基づいて第２の被写体画像に対応する第２の背景画像を生成する背景画像生成手段と、前記第２の背景画像と前記第２の被写体画像とを合成する画像合成手段とを有することを特徴とする。
【００３８】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成工程と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出工程と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成工程と、前記第２の撮像画像より第２の被写体画像を抽出する第２の被写体抽出工程と、前記第１の背景画像生成工程で生成された第１の背景画像を符号化する第１の背景画像符号化工程と、前記第１の被写体抽出工程で抽出された第１の被写体画像を符号化する第１の被写体画像符号化工程と、前記第２の背景画像生成工程で生成された第２の背景画像を符号化する第２の背景画像符号化工程と、前記第２の被写体抽出工程で抽出された第２の被写体画像を符号化する第２の被写体画像符号化工程とを有することを特徴とする。
【００３９】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成工程と、前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出工程と、前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成工程と、前記第２の撮像画像と前記第２の背景画像より第２の被写体画像を抽出する第２の被写体抽出工程とを有することを特徴とする。
【００４０】
また、本発明に係る画像処理方法は、所定の撮像倍率で撮像された第１の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第１の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第２の被写体画像とを入力する入力工程と、前記第１の背景画像と前記第１の被写体画像とに基づいて第２の被写体画像に対応する第２の背景画像を生成する背景画像生成工程と、前記第２の背景画像と前記第２の被写体画像とを合成する画像合成工程とを有することを特徴とする。
【００４１】
また、本発明に係る画像処理装置は、撮像画像より被写体画像を抽出する被写体抽出手段と、前記被写体抽出手段により抽出された被写体の位置と大きさを求め、カメラの向きとズーム倍率を計算する計算手段と、前記計算手段により計算された向きとズーム倍率で撮像する手段を有することを特徴とする。
【００４２】
また、本発明に係る画像処理方法は、撮像画像より被写体画像を抽出する被写体抽出工程と、前記被写体抽出工程で抽出された被写体の位置と大きさを求め、カメラの向きとズーム倍率を計算する計算工程と、前記計算工程により計算された向きとズーム倍率で撮像する工程を有することを特徴とする。
【００４３】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００４４】
（第１の実施例）
≪システム構成の説明≫
図１は、本発明の第１の実施例における監視システムの画像符号化側の構成例を示すブロック図である。また、ビットストリームを入力し、映像信号を復号、表示装置への出力するまでの画像受信側の構成例を示すブロック図を図２に示す。図２の詳細は後述する。
【００４５】
図１において、１０１は本監視システムのユーザーインターフェースを備えた操作部であり、例えば監視員などによって本監視システムの起動、終了などシステムに指示することによって本監視システムの動作が制御される。
【００４６】
１０２は本監視システムを統括制御するシステム制御部であり、操作部１０１の指示に従って、本システムの各部の動作や、映像信号の処理タイミングの同期制御等も本制御部によって一括制御される。
【００４７】
１０３は予め設定した監視領域を撮像する広角カメラで、広角カメラ１０３では比較的広範囲な領域を監視領域とし、本カメラで使用されるレンズも広角レンズの他に、魚眼レンズなど超広角レンズやミラー光学部材を使った全方位撮像光学系なども含まれる。
【００４８】
１０４は広角カメラ１０３より高い撮影倍率を有し、特に監視領域内に侵入してきた侵入者を適当な倍率で望遠撮影する為の変倍機能を持つズームカメラである。また、ズームカメラ１０４には侵入者を追尾するためのパンニング、チルト可能な図示しない雲台が装備されており、後述する方法によって侵入者の位置に光軸を移動し侵入者を視界内に捉える。
【００４９】
１０５は前述の広角カメラ１０３、ズームカメラ１０４から映像信号を取り込むための映像入力部である。映像入力部１０５は、カメラ撮影条件を設定制御する広角カメラ１０３用のカメラ制御部１０６とズームカメラ１０４用のカメラ制御部１０７、カメラから出力されたカメラ機種毎の映像信号形式を例えばフレーム毎のＲＧＢ２４ビットデジタル信号にフォーマット変換する広角カメラ１０３用のビデオキャプチャ１０８とズームカメラ１０４用のビデオキャプチャ１０９から構成される。
【００５０】
１１０は侵入者検出部であり、広角カメラ１０３用の背景画像生成部１１１、被写体検出部１１３と、ズームカメラ１０４用の背景画像生成部１１２、被写体抽出部１１４とから構成される。
【００５１】
広角カメラ１０３用の背景画像生成部１１１は、侵入者が現れる前の正常状態の画像を背景画像として、生成・保存しておく手段である。広角カメラ１０３用の被写体抽出部１１３は、入力画像と先の背景画像との比較から侵入者の存在を検出し、監視員に発報、ズームカメラ１０４による侵入者追尾の為の情報出力などを行なう。
【００５２】
ズームカメラ１０４用の背景画像生成部１１２は、広角カメラ１０３側で生成した背景画像と、広角カメラ側の被写体抽出部１１３によって抽出された被写体情報を元に、ズームカメラ１０４用の背景画像の生成を行う。ズームカメラ１０４用の被写体抽出部１１４は、ズームカメラからの入力画像と先の背景画像との比較から拡大した侵入者の画像を抽出する。
【００５３】
１１５は、高能率符号化のための映像信号圧縮符号化部で、後述するいくつかの方式による圧縮符号化部から構成される。
【００５４】
１１６、１１７は、背景の静止画像を圧縮符号化する背景画像符号化部である。背景画像符号化部での符号化方式はＩＳＯ／ＩＥＣで標準化されているＪＰＥＧやＪＰＥＧ２０００など静止画像用圧縮符号化方式でも良いし、ＭＰＥＧ−４符号化のスプライト符号化を用いても良い。また、単にフレーム数が１の動画像として、ＩＳＯ／ＩＥＣで標準化されているＭＰＥＧ−２の動画像符号化方式を用いてもよい。
【００５５】
１１８、１１９は映像フレームなど映像全領域からその中に含まれる任意形状の構成要素（オブジェクト）のみを符号化する任意形状符号化部である。任意形状符号化部１１８、１１９は、例えばＩＳＯ／ＩＥＣで標準化されているＭＰＥＧ−４符号化方式のオブジェクト単位符号化方式を用いており、以下ＭＰＥＧ−４符号化方式を以って具体的に説明をしていくが、オブジェクト単位の符号化可能な方式であれば、方式は特にＭＰＥＧ−４符号化方式に限定するものでない。
【００５６】
１２０は圧縮符号化された複数のビットストリームを多重化する多重化部である。多重化されたビットストリームは、蓄積系の場合、しかるべきファイルフォーマットに変換されて、ハードディスク、ＶＣＲ、ＣＤ−Ｒなどの蓄積メディアに保存される。伝送系の場合は、多重化されたビットストリームを通信路に応じたパケットに分割し、ネットワークに伝送される。
【００５７】
以下、図１のように構成された本システムの動作について説明する。
【００５８】
≪システム起動−初期化まで≫
広角カメラ１０３およびズームカメラ１０４は室内を広く見渡せる屋内上部など予め所定の位置に設置されており、特に広角カメラ１０３は予め所望の領域（監視領域）を撮影できるよう光軸方向、撮影倍率が調整されているものとする。また、後述する被写体位置推定に必要な初期設定などは、本システム設置時に済ませており、本監視システムはユーザーの指示に従い、いつでも監視状態に入れるとする。
【００５９】
操作部１０１の図示されてない監視システム稼動スイッチがＯＮにセットされると、システム制御部１０２はまず、各部に対し初期化命令を下す。例えば初期化命令を受けたカメラ制御部１０６及び１０７は、広角カメラ１０３およびズームカメラ１０４に電源を投入し、自動露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、オートゲインコントロール（ＡＧＣ）などの初期化が行なわれ、さらにズームカメラ１０４用のカメラ制御部１０７はズームカメラ１０４に対し予め決められた初期光軸方向、初期撮影倍率になるようパン・チルト・ズーミングを行なうよう制御する。
【００６０】
また、侵入者検出部１１０の初期化では、広角カメラ１０３用の背景画像生成部１１１が、広角カメラ１０３の監視領域の撮影像（予め被写体（侵入者）のいない撮影像）を１フレーム分記憶保存する。また、このデータは実際に１フレームだけ撮影した映像を記憶保存してもよいが、ある短時間の撮影像を平均化して用いた方がＣＣＤ暗電流ノイズ等の影響を受けにくく好ましい。
【００６１】
また、ズームカメラ１０４用の背景画像生成部１１２では、侵入者を検出してからの動作となるので、広角カメラ１０３用の背景画像生成部１１１で行った初期化は必要ない。
【００６２】
また、初期化時点から以後システム終了までの期間、システム全体に同期信号が流れ、複数のカメラからの映像信号の多重化などのタイミング調整に使用される。
【００６３】
≪システム監視開始≫
システム各部の初期化が終了すると、続けてシステム制御部１０２は監視動作状態に入ることを指示し、画像入力部１０５に対してカメラによる監視領域の撮像と映像信号の取得、侵入者検出部に対して撮影像から不法侵入者の検出が開始される。
【００６４】
ここでシステムが監視状態にあるときの「監視モード」について説明する。
【００６５】
本監視システムは２つのモードを有する。ひとつは監視領域内に侵入者のいない「正常状態」を表す「正常モード」、他のひとつは監視領域内に侵入者が存在する「異常状態」で、侵入者の行動を追尾する必要のある「侵入者追尾モード」である。これら「正常モード」と「侵入者追尾モード」の２つの監視モードは侵入者検出手段１１０における、広角カメラ１０３用の被写体抽出部１１３の侵入者抽出結果より判定される。どちらのモードに判定されたかはシステム制御部１０２に送られ、それぞれのモードに対応してシステム制御部１０２はシステム各部の動作を制御する。
【００６６】
システム制御部１０２から監視開始命令を受けたカメラ制御部１０６は広角カメラ１０３に対して前述の初期設定状態から撮影を開始し、その撮影像はビデオキャプチャ１０８でフレーム毎に例えばＲＧＢ２４ビットデジタル信号にフォーマット変換し、広角カメラ１０３用の被写体抽出部１１３へと出力される。
【００６７】
一方、ズームカメラ１０４も初期設定状態から撮影を開始し、その撮影像はビデオキャプチャ１０９でフレーム毎に広角カメラの場合と同様ＲＧＢ２４ビットデジタル信号にフォーマット変換される。ただし、ズームカメラ用のキャプチャ画像は、後述の侵入者検出部による検出結果で侵入者の存在が検知されるまで（すなわちは「侵入者追尾モード」になるまで）は、被写体抽出部１１４に出力されることはない。
【００６８】
「侵入者追尾モード」になった場合は、ズームカメラの制御に関するデータが、広角カメラ１０３側の被写体抽出部１１３から、システム制御部１０２を介して、カメラ制御部１０７に送られる。カメラ制御部１０７にて侵入者の画像をズームカメラ１０４に捕らえると、そのときキャプチャした画像は、ズームカメラ１０４用の被写体抽出部１１４に出力される。
【００６９】
≪被写体抽出方法≫
ここで被写体抽出部１１３、１１４で行なわれる被写体抽出方法を説明する。本実施例では被写体抽出方法として良く知られている「背景差分法」と一般に呼ばれている方式を用いる。図３を用いて説明する。
【００７０】
図３は、本実施例における被写体抽出処理を説明する図である。
【００７１】
図３（ａ）は、あるオフィス内のカメラ撮影像を表している図である。
【００７２】
本実施例に適用すれば、広角カメラ１０３で監視領域を撮影している撮影像を表しており、監視領域に侵入者が存在しない「正常モード」の監視領域像である。
【００７３】
背景差分法では映像画面中に移動物体（侵入者）が存在しない状態でその映像画面を参照画像（背景画像）として記憶しておく。本実施例では、背景画像生成部１１１にて予め背景画像を内部メモリに保存している。
【００７４】
さて、背景差分法は対象となる画像（対象画像）と参照画像（背景画像）との差を取り、対象画像に背景画像とは異なる領域を見つける方法であり、本実施例に照らし合わせて説明すると、広角カメラ１０３によって撮影され時系列に順次キャプチャされてくるリアルタイム映像（対象画像）は、そのフレーム毎にフレーム座標の対応する「背景画像」（参照画像）との差分が計算される。
【００７５】
監視領域に侵入者が存在しない状態（図３（ａ））では、リアルタイム映像の各フレーム映像（対象画像）は背景画像と変わりなくフレーム内の差分はノイズ等の影響を排除すればほぼゼロに等しい。
【００７６】
一方、監視領域に侵入者が存在する状態（図３（ｂ））では、対象画像中の侵入者領域は背景画像と信号値が異なる。
【００７７】
これを式で表すと、
ｄ＝（Ｉｒ（ｘ、ｙ）−Ｉｂ（ｘ、ｙ））２ − （１）
ｄ＜Ｔｈのとき ｂ（ｘ、ｙ）＝０ − （２）
ｄ≧Ｔｈのとき ｂ（ｘ、ｙ）＝１ − （２）
ここで、Ｉｒ（ｘ、ｙ）は対象画像の座標（ｘ、ｙ）における信号値、Ｉｂ（ｘ、ｙ）背景画像の座標（ｘ、ｙ）における信号値、Ｔｈは予め決められた閾値、ｂ（ｘ、ｙ）はビットマッププレーンである。
【００７８】
また、（１）式では対象画像と背景画像の差の２乗を計算しているが、差信号を正符号にそろえるもので、差の２乗のかわりにデジタル信号で表されたｄの符号ビットをマスクし、差の絶対値｜Ｉｒ（ｘ、ｙ）−Ｉｂ（ｘ、ｙ）｜を用いても構わない。
【００７９】
（２）式で画像中に含まれるノイズ等による影響を排除する為、差分が一定の値以下のときは差分を０とする。また、（２）式は同時に照明などにより環境変化があるときでも、次に背景画像を取得するまでの耐性も兼ね備えている。すなわち、雲の見え隠れなどによる太陽光の強弱が多少あって、現画像が背景画像より若干暗くなった場合でも、閾値Ｔｈによって侵入物とカウントしない役目を果たしている。
【００８０】
（１）、（２）式は画像の全画素について計算され、各画素について閾値以上の画素と閾値以下の画素とを０または１のビットマッププレーンｂ（ｘ、ｙ）で表す。
【００８１】
図３（ｃ）は、ビットマッププレーンｂ（ｘ、ｙ）の０を黒、１を白で表した図であり、侵入者の存在する領域のみ他と区別されているのがわかる。また、フレーム内全画素について（２）式のｂ（ｘ、ｙ）の累積を取ると、背景とは異なる画素の総数を得ることができる。
ｓ＝ΣｙΣｘｂ（ｘ、ｙ） − （３）
これをフレーム全画素数で割れば、背景とは異なる画素の画面全体との比率がわかり、一定以上の大きさの侵入物が監視領域内に存在するときにのみ、侵入者が存在すると判定するといったことも可能である。
【００８２】
≪「監視モード」の判定≫
上述の被写体抽出方法によって、広角カメラ１０３によって撮影され時系列にキャプチャされて送られてくるリアルタイム映像に対し、被写体抽出部１１３は監視領域内の侵入者の有無を検知し、侵入者の存在しない状態である「正常モード」と、侵入者が存在する状態での「侵入者追尾モード」の判定を行なう。
【００８３】
判定結果である「正常モード」および「侵入者追尾モード」の識別信号はシステム制御部１０２に送られるが、システム制御部１０２に送るタイミングは、被写体抽出部１１３が判定の度にすなわち広角カメラ１０３の撮影像毎フレームごとに識別信号を送っても良いし、被写体抽出部１１３が現在のモードを記憶しておきモードが遷移した時（「正常モード」→「侵入者追尾モード」への遷移、または「侵入者追尾モード」→「正常モード」への遷移）、システム制御手段１０２に送信しても良い。
【００８４】
また、このモード判定の信号は、ズームカメラを制御するためのデータによって、代用することもできる。被写体抽出部１１３は、侵入者を検出すると、侵入者を映像を拡大撮影するための、カメラパラメータを計算し、この情報をシステム制御手段１０２に送っている。したがって、システム制御部１０２が、データを受け取らなければ、「正常モード」、データを受け取ったら「侵入者追尾モード」とする、簡易的な判定手段を用いることも可能である。
【００８５】
次に、それぞれの監視モードでの本システムの動作について説明する。
【００８６】
≪「正常モード」≫
正常モードにおける画像の蓄積・伝送方法は、蓄積メディアの容量や伝送路の帯域といった条件に合わせていくつかの方法をとることができる。
【００８７】
いま、監視領域内に侵入者が存在しない場合（「正常モード」）、広角カメラ１０３用の被写体抽出部１１３に入力される画像は、背景生成部１１１に保存されている背景画像とほぼ同じ画像となる。したがって、正常モード時の記録、伝送が不要の場合は、この画像を圧縮符号化部１１５へ出力する必要はない。画像の処理を一切行わないので、もっとも符号化効率のよい方法と言える。
【００８８】
背景画像を最初に１フレーム分符号化する場合は、背景画像符号化部１１６を用いて、符号化を行う。理想的には、侵入者を検出するまでは、背景の状態は変わらないので、最初に１フレーム分符号化すればよいはずだが、外光等による背景の状態変化に対応するため、定期的に背景画像を更新してもよい。また「正常モード」においては、ズームカメラ１０４は特定対象物を撮影する必要がないので、キャプチャ画像に対し、何の処理も行わなくてもよい。
【００８９】
≪「侵入者追尾モード」≫
システムが「正常モード」から「侵入者追尾モード」に状態遷移すると、システム制御部１０２は、広角カメラに対しては、引き続き監視領域を撮影するよう指示し、さらにズームカメラに対しても、撮影を開始するよう制御する。
【００９０】
具体的には、システム制御部１０２はカメラ制御部１０７に対し、被写体抽出部１１３から送られてきた侵入者の位置情報および変倍率を制御パラメータとして、ズームカメラ１０４で侵入者拡大像を撮影するよう要求する。
【００９１】
要求を受けたカメラ制御部１０７は、侵入者位置情報からズームカメラ１０４のパン／チルト角を決定し、図示しない雲台を駆動し、その光軸を侵入者の位置に向ける。また変倍に関しては、広角カメラ１０３の焦点距離をｆとしてＦ＝Ｍｆで表されるＦを、ズームカメラの焦点距離となるようにズームカメラ１０４のレンズを移動し、ズーミングを行なう。さらに、ビデオキャプチャ１０９も駆動し、システムにズームカメラ撮影像が取り込まれる。
【００９２】
このようにしてズームカメラ１０４による侵入者拡大像の撮影が開始され、監視領域に侵入者が存在する間（「侵入者追尾モード」の間）、逐次被写体抽出部１１３から侵入者の位置と変倍率がシステム制御部１０２に送り続けられ、システム制御部１０２はカメラ制御部１０７に対し順次侵入者の位置と変倍率を制御変数としてパン・チルト・ズーム要求を発し続けるためズームカメラ１０４による侵入者追尾が実行される。
【００９３】
侵入者追尾中は、被写体抽出部１１４は、背景画像生成部１１２から生成される背景画像との比較から被写体を抽出し、結果を任意形状符号化手段１１９へ出力し続ける。背景画像生成手段１１２も広角カメラ側の抽出結果に応じて、毎回背景画像を生成し、背景画像符号化部１１７に出力し続ける。
【００９４】
≪侵入者位置とズームカメラ変倍率の決定≫
ここで、被写体抽出部１１３の侵入者の位置決定とズームカメラ変倍率の決定方法についてその一例を説明する。
【００９５】
一般にカメラで撮影された画像座標から物体の３次元位置座標を推定する問題はコンピュータビジョンなどの分野で様々な研究が進められており、その一般式はカメラパラメータと呼ばれる行列要素を用いたアフィン変換によって得られる。
【００９６】
しかし、本監視システムにおいて侵入者は地面（屋内においては床面）上を移動することを仮定すれば、侵入者の位置座標は地面（床面）である二次元平面上の一点で近似できる。たとえ、床面に凹凸があり侵入者が高さ方向に多少上下しても、本システムの監視カメラを地面（床面）から十分高い位置に設置することで侵入者の位置の近似は十分に成り立つ。
【００９７】
よってカメラ撮影画像座標（２次元座標）から物体の３次元位置座標（３次元座標）を推定する問題は、「撮影画像（２次元座標）と地面（２次元座標）」すなわち２次元平面どうしの対応問題に帰着する。これはいわゆる射影変換で簡単に知ることができる。
【００９８】
一方、広角カメラは視野範囲が広いほど撮影像は歪曲を持ち、この歪曲を補正しないと正確な位置座標を得ることはできない。この問題に関しては、「第７回画像センシングシンポジウム：射影変換を利用した特徴点抽出処理とカメラキャリブレーション」で公知なように予め補正係数を作成することによって解決できる。そして前述のように前記補正係数の作成は本監視システム設置時などに１回行なえばよく、本監視システムのセットアップアプリケーションとして付属してもよい。
【００９９】
まず、ズームカメラを侵入者の方へ向けるための座標計算について説明する。
【０１００】
図４は、本発明の実施例における被写体位置とズーム変倍率の決定方法について説明する図である。
【０１０１】
図４（ａ）は、図３（ｃ）の侵入者のビットマップ画像に対応し、見やすくするため白黒反転して侵入者領域を黒、背景領域を白で図示してある。
【０１０２】
広角カメラ１０３で表示している画面の左上を原点（０，０）の座標とし、幅をＷ、高さをＨとする。このとき、広角カメラの光軸の中心は、（Ｗ／２、Ｈ／２）ということになる。まず、侵入者の形状情報に対し、これを含む外接矩形を設定し、このときの、外接矩形の左上の座標を（Ｘｓ、Ｙｓ）とし、幅をｗ、高さをｈとする。すると外接矩形の中心の座標は、（Ｘｓ＋ｗ／２、Ｙｓ＋ｈ／２）となる。
【０１０３】
ズームカメラの光軸の中心を外接矩形の中心座標に合わせるために必要な、水平方向の移動量Ｘｍ、垂直方向の移動量Ｙｍは、
Ｘｍ＝Ｗ／２−（Ｘｓ＋ｗ／２） −（４）
Ｙｍ＝Ｈ／２−（Ｙｓ＋ｈ／２） −（５）
となる。
【０１０４】
移動量の単位は画素なので、一画素あたりの水平方向のカメラパラメータをｃｘ、垂直方向のカメラパラメータをｃｙとすると、水平、垂直方向の移動量Ｃｘ、Ｃｙは、
Ｃｘ＝ｃｘ・Ｘｍ −（６）
Ｃｙ＝ｃｙ・Ｙｍ −（７）
と求めることができる。
【０１０５】
次にズームカメラ変倍率の決定について説明する。
【０１０６】
侵入者を画面いっぱいに表示するということは、先の外接矩形を画面サイズまで引き伸ばすことになる。水平方向の変倍率をＭｗ、垂直方向の変倍率をＭｈとすると、
Ｍｗ＝Ｗ／ｗ −（８）
Ｍｈ＝Ｈ／ｈ −（９）
となる。画面からはみ出さないようにするためには、これらのうちの小さいほうの変倍率を選択する。
Ｍ＝Ｍｉｎ（Ｍｗ，Ｍｈ） −（１０）
Ｍがズームカメラの持つ最大変倍率Ｍｍａｘより大きい場合は、Ｍ＝Ｍｍａｘとする。
【０１０７】
ここで、本実施例では、わかりやすくするため、広角カメラ１０３とズームカメラ１０４は焦点距離以外、例えばＣＣＤなどの開口サイズ、ピッチなどは同じとするが実際には様々な点で違いがあるが、それぞれの差分は予め補正方法などがわかっているものとする。
【０１０８】
図４（ｂ）は、上記の計算により求めたカメラ制御パラメータを、ズームカメラ１０４の制御に適応した結果、得られた画像の例を示している。
【０１０９】
≪侵入者追尾モードの広角カメラ映像信号処理≫
つぎに「侵入者追尾モード」における広角カメラ１０３撮影の映像信号処理について説明する。
【０１１０】
監視領域内に侵入者が入ると、被写体抽出部１１３により、侵入者を検出する。検出方法は、図４を用いて既に説明した通りである。
【０１１１】
このとき、モード信号を利用している場合には、「正常モード」から「侵入者追尾モード」に遷移する。抽出した被写体を符号化するためには、画像データと形状データを任意形状符号化部１１８に送らなければならない。このとき画像データは、侵入者の外接矩形に囲まれた領域であり、形状データは、外接矩形内の２値データである。
【０１１２】
また、外接矩形の位置と大きさのデータも付加される。これらは通常、画面全体の左上を原点とするときの外接矩形の左上の座標ｘ、ｙと外接矩形の幅と高さｗ、ｈの４つのパラメータで表される。ＭＰＥＧ−４を用いた任意形状符号化では、符号化対象領域をバウンディングボックスと呼ばれる矩形領域で定義する。バウンディングボックスの設定には、制約条件があるので、先に抽出した外接矩形をこのバウンディングボックスに拡張しておけば、符号化時の前処理を省略することができる。
【０１１３】
制約条件は、バウンディングボックスの左上の座標ｘ、ｙが偶数であること、幅と高さが１６の倍数であることである。ＭＰＥＧ−４の符号化については後に説明する。
【０１１４】
≪侵入者追尾モードのズームカメラ映像信号処理≫
侵入者追尾モードのズームカメラ映像信号処理について説明する。
【０１１５】
図５は、本発明の実施例におけるズームカメラ１０４用の背景画像の生成方法を説明する図である。
【０１１６】
図５（ａ）は、広角カメラ側でキャプチャされた画像を示しており、図中の破線は、先に説明した≪侵入者位置とズームカメラ変倍率の決定≫で得られた拡大対象領域であり、図５（ｃ）は、拡大して得られたズームカメラ１０４の画像である。この画像から、侵入者のみを抽出して符号化するためには、先に説明したように、背景画像が必要となる。ズームカメラ１０４における背景画像は、本実施例では、予め用意せずに、広角カメラ１０３側で生成した背景画像と、広角カメラ１０３側で被写体抽出して得られた情報を元に背景画像を生成する。具体的には、上述した広角カメラ１０３で撮像された画像に設定された外接矩形の左上の座標位置の情報と矩形の大きさ情報に基づいてズームカメラ１０４に撮像された画像に最適な背景画像を広角カメラ１０３用の背景画像から抽出拡大して得ることができる。
【０１１７】
図５（ｂ）は、広角カメラ１０３における背景画像（図３（ａ））に対し、図５（ａ）と同じ領域を抽出し、画像処理により拡大して生成したものである。
【０１１８】
画像処理により拡大して生成された背景画像のため、図５（ｃ）における背景部分とは、同一とはならず、高域成分の情報が失われているが、背景差分によって生じる誤判定は、後処理によって改善することができる。
【０１１９】
また、図５（ｄ）からもわかるように、侵入者の外接矩形の縦横比が画面の縦横比と異なる場合は、オブジェクトの存在し得ない領域５０１、５０２が生じる。このことから、領域５０３内で孤立点除去やフィルタリング処理により、抽出精度の向上を図ることが可能である。
【０１２０】
図５（ｅ）は、被写体の最終抽出結果を示している。任意形状符号化部１１９の入力となるデータは、被写体抽出部１１４から得られた画像データと形状データであり、詳細は先に説明した広角カメラの場合と同様である。
【０１２１】
ズームカメラ側では、カメラの動きに応じて背景画像が変化するので、背景画像符号化部１１７は、動画像の符号化を利用するとよい。本実施例ではＭＰＥＧ−４符号化方式を用いる。ＭＰＥＧ−４は、任意形状ではないフレーム単位の矩形画像も扱えるので、映像信号圧縮符号化部１１５をすべてＭＰＥＧ−４符号化に統一することもできる。
【０１２２】
≪ＭＰＥＧ−４任意形状符号化≫
本実施例では、オブジェクト単位符号化方式にＭＰＥＧ−４の任意形状符号化方式を用いる。ＭＰＥＧ−４における任意形状符号化は、同じ画素位置の画像信号、形状信号、透過度信号をまとめて１つのマクロブロックを構成し、マクロブロック単位で符号化する。任意形状符号化する場合には、物体を包含するバウンディングボックスと呼ばれる領域を設定し、この左上の座標位置と矩形領域の大きさを併せて符号化する。
【０１２３】
形状信号は、オブジェクト内部を２５５、オブジェクト外を０で定義される２値信号である。本実施例では、オブジェクトは監視領域の侵入者であり、前述の被写体抽出部１１３、１１４による抽出結果から簡単にバウンディングボックスを設定することができる。透過度信号は半透明物体以外のオブジェクトに対しては使用されないので本実施例でも使用しない。
【０１２４】
図６は、本発明の実施例におけるオブジェクトのバウンディングボックスとマクロブロックを示す図である。
【０１２５】
図６（ａ）に広角カメラ１０３側の画像におけるバウンディングボックスを、図６（ｂ）にズームカメラ１０４側の画像におけるバウンディングボックスをそれぞれ示す。また、図６（ｃ）は、バウンディングボックスをマクロブロックで分割した例を示す。
【０１２６】
ここでマクロブロック毎の符号化処理を図１１を参照して説明する。
【０１２７】
図１１は、本発明の実施例における任意形状符号化部の構成例を示すブロック図である。
【０１２８】
図１１において、入力される信号は画像の輝度・色差信号と、形状信号であり、マクロブロック単位で処理される。また、形状信号、透過度信号により表現されるオブジェクト内部の領域をＶＯＰ（ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ）と呼ぶ。
【０１２９】
イントラモードでは、各ブロックをＤＣＴ部１１０１において離散コサイン変換（ＤＣＴ）し、量子化部１１０２にて量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部１１１２で可変長符号化される。
【０１３０】
インターモードでは、動き検出部１１０７において時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部１１０８で対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示す信号が動きベクトルである。予測マクロブロックを生成するために参照する画像を参照ＶＯＰと呼ぶ。検出された動きベクトルに基づき、参照ＶＯＰを動き補償部１１０６にて動き補償して、最適な予測マクロブロックを取得する。
【０１３１】
次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分信号に対してＤＣＴ部１１０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部１１０２で量子化する。
【０１３２】
一方、形状データは、形状符号化ＣＡＥ部１１０９で符号化される。ただし、ここで実際にＣＡＥ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｉｎｇ）符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロックやＶＯＰ外のブロックはヘッダ情報のみが可変長符号化部１１１２に送られる。また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部１１０７による動き検出を行い、動きベクトル予測（１１０８）を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対しＣＡＥ符号化を行う。
【０１３３】
≪多重化動作≫
次に、多重化部１２０の動作について説明する。
【０１３４】
「正常モード」では、映像信号圧縮符号化部１１５から入力されるのは、背景画像符号化部１１６からの出力である背景画像のビットストリームのみである。
【０１３５】
「侵入者追尾モード」では、背景画像符号化部１１６からの出力である背景画像のビットストリームに加え、広角カメラ１０３側の任意形状符号化部１１８からのビットストリームおよび、ズームカメラ１０４側の背景画像符号化部１１７からのビットストリームならびにズームカメラ１０４側の任意形状符号化部１１９からのビットストリームが入力される。多重化に際し、必要な同期制御等は、システム制御部１０２を介して行われる。
【０１３６】
≪ストリーム受信から画像表示≫
次に、多重化されたビットストリームの分離から、各符号化データの復号化、表示までについて図面を用いて説明する。
【０１３７】
図２は、本発明の第１の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【０１３８】
図２において、２０１および２０２はそれぞれ操作部およびシステム制御部で、図１の操作部１０１およびシステム制御部１０２に対応している。
【０１３９】
２０３は多重化された符号化ビットストリームをそれぞれの符号化ビットストリームに分離する分離部、２０４は圧縮符号化データを伸張、復号化する伸張復号化部であり、図１の背景画像符号化部１１６の逆変換を行なう背景画像復号化部２０５、図１の任意形状符号化部１１８の逆変換を行なう任意形状復号化部２０７、図１の背景画像符号化部１１７の逆変換を行なう背景画像復号化部２０６および図１の任意形状符号化部１１９の逆変換を行なう任意形状復号化部２０８から構成される。
【０１４０】
２０９はオブジェクト単位符号化によってオブジェクト領域のみ符号化されたオブジェクトと背景などを合成する合成部、２１２はモニタなどの表示部である。
【０１４１】
以下、図２のように構成された本システムの動作について説明する。
【０１４２】
分離部２０３では、多重化されたビットストリームの分離を行う。システムの状態が「侵入者追跡モード」のときは、図１の広角カメラ１０３、ズームカメラ１０４にそれぞれ対応する背景画像符号化ビットストリーム、任意形状符号化ビットストリームの計４種類のビットストリームが多重化されている。システム状態が「正常モード」のときは、広角カメラ側の背景画像符号化ビットストリームのみとなる。
【０１４３】
分離部２０３によって分離された各符号化ビットストリームは、対応する復号化部により復号化される。各復号化部は、符号化部の逆変換となる。したがって、符号化時にＭＰＥＧ−４の任意形状符号化部を用いた場合は、復号化時には、ＭＰＥＧ−４の任意形状復号化部を用いなければならない。バウンディングボックス内における各マクロブロックの復号化処理を図１２を参照して説明する。
【０１４４】
図１２は、本発明の実施例における任意形状復号化部の構成例を示すブロック図である。
【０１４５】
図１２において、符号化されたビットストリームは、可変長復号化部１２０１で復号化され、画像と形状と動きにデータが分けられる。
【０１４６】
イントラモードでは、逆量子化部１２０２でＤＣＴ係数の逆量子化を行い、次に逆ＤＣＴ部１２０３で輝度と色差の画像信号に復号される。形状データも同様に形状復号化ＣＡＥ部１２０７において、元の形状データに復号される。このとき、実際のＣＡＥ復号化が行われるのは、境界ブロックのみであり、ＶＯＰ内のブロックやＶＯＰ外のブロックはヘッダ情報のみから元の形状データに復号する。
【０１４７】
インターモードでは、動きベクトル復号化部１２０６で復号した動きベクトルを用い、前フレームとの差分画像から元の画像を復号する。デコード時に参照する画像データは、エンコード時のパディングと同じ処理で求めた画像を利用する。形状データも同様に差分値用のＣＡＥ復号処理をして、元の形状データに復号する。
【０１４８】
図２の動作の説明に戻り、画像合成部２０９では、別々に復号した背景画像と任意形状の画像（ここでは侵入者の画像）とを合成し、１つのシーケンスとなる動画像を生成する。広角カメラ用の動画像と、ズームカメラ用の動画像の２つのシーケンスを生成することになる。
【０１４９】
画像合成部２１０、２１１は、広角カメラ用の画像を合成するか、ズームカメラ用の画像を合成するかのみの違いであり、特に機能的な差を要求するものではない。
【０１５０】
表示部２１２は、広角カメラとズームカメラの２種類の監視画像を見やすく表示する。各監視画像を別々のモニタに表示してもよいし、１つのモニタに複数のウィンドウを設けて、そこに同時に表示してもよい。さまざまな表示方法で監視する場合は、操作部２０１からシステム制御部２０２を介して、表示方法を選択させることが可能である。
【０１５１】
図７は、これらの表示方法の例をいくつか示したものである。図７の例はすべて「侵入者追尾モード」の場合を示している。
【０１５２】
図７（ａ）は、広角カメラの合成復号画像を示している。この例では、広角カメラの背景復号画像と広角カメラの侵入者復号画像が合成されて表示されている。
【０１５３】
図７（ｂ）は、先ほどの広角カメラの合成復号画像に、ズームカメラの合成復号画像を重ねて表示した例である。ズームカメラの合成復号画像も広角カメラの合成復号画像と同様、ズームカメラの背景復号画像とズームカメラの侵入者復号画像の合成で構成されている。
【０１５４】
図７（ｃ）は、図７（ｂ）とは逆に、ズームカメラの合成復号画像に広角カメラの合成復号画像を重ねて表示した例である。この例では、監視領域全体で、侵入者がどの位置にいるのかという情報と、侵入者のアップの画像の両方を同時に見ることができる。
【０１５５】
図７（ｄ）は、ズームカメラの合成復号画像のみを表示したものであるが、侵入者のみを見たい場合は、図７（ｅ）のような侵入者復号画像のみの表示も可能である。これは、操作部２０１からシステム制御部２０２を介し、画像合成部２１１で背景画像を合成しないよう制御することで実現が可能となる。
【０１５６】
図７（ｆ）は、広角カメラの合成復号画像に、図７（ｅ）のズームカメラの侵入者復号画像を重ね合わせた例である。
【０１５７】
図７（ｇ）は、図７（ｆ）とは逆に、ズームカメラの侵入者復号画像に広角カメラの合成復号画像を重ねて表示した例である。画像表示装置の一例を図８に示す。
【０１５８】
（第２の実施例）
以下、本発明の第２の実施例を説明する。第１の実施例では、ズームカメラ用の背景画像を符号化側で生成していたが、第２の実施例はこれを復号側で行い、ズームカメラ用の背景画像を伝送しないようにして、伝送符号量の削減を行った。
【０１５９】
図９は、本発明の第２の実施例における監視システムの画像符号化側の構成例を示すブロック図である。尚、図９において図１と同一機能の部分には同一符号を付し、その説明を省略する。
【０１６０】
図９において、図１との違いは、ズームカメラ用の背景画像生成部１１２において、生成した背景画像を被写体抽出部１１４における比較参照用にのみ用い、背景画像符号化部１１７への出力を行わないことにある。このため、図１における背景画像符号化部１１７を、図９では省略することができる。
【０１６１】
したがって、図９における多重化部１２０では、扱うビットストリームの種類は１つ減って、広角カメラ１０３用の背景符号化ビットストリームと任意形状符号化ビットストリーム、およびズームカメラ１０４用の任意形状符号化ビットストリームの３種類となる。第１の実施例の場合と同様、３つのビットストリームが同時に多重化されるのは、「侵入者追尾モード」の時である。
【０１６２】
次に図１０を用いて、復号側の処理について説明する。
【０１６３】
図１０は、本発明の第２の実施例における監視システムの画像復号化側の構成例を示すブロック図である。尚、図１０において図２と同一機能の部分には同一符号を付し、その説明を省略する。
【０１６４】
図１０において、分離部２０３によって、「侵入者追尾モード」の時は、多重化されていたビットストリームが、広角カメラ用の背景符号化ビットストリームと任意形状符号化ビットストリーム、およびズームカメラ用の任意形状符号化ビットストリームに分離される。
【０１６５】
広角カメラ側の処理は、第１の実施例と同様で、背景画像復号化部２０５が背景画像符号化ビットストリームを背景画像に復号化し、任意形状復号化部２０７が任意形状符号化ビットストリームを任意形状画像に復号化する。復号化されたそれぞれの画像データは、画像合成部２１０によって、合成復号画像となる。
【０１６６】
ズームカメラ側の処理は、任意形状復号化部２０８が任意形状ビットストリームを任意形状画像に復号化する。第１の実施例と異なり、ズームカメラ用の背景画像は、復号されないので、復号した広角カメラ用のデータから生成する。
【０１６７】
背景画像生成部１００１の処理について説明する。
【０１６８】
広角カメラ側の背景画像復号化部２０５からは、図３（ａ）のような背景画像が得られるので、これを背景画像生成部１００１に入力する。また、広角カメラ側の任意形状復号化部２０７からは、任意形状の復号画像の位置と大きさに関する情報を得ることができるので、これも背景画像生成部１００１に入力する。これら２つの入力から、広角カメラの背景画像の一部を画像処理によって拡大し、図５（ｂ）に示すようなズームカメラ用の背景画像を生成することができる。
【０１６９】
背景画像生成部１００１により生成されたズームカメラ用の背景画像は、任意形状復号化部２０８より出力された任意形状復号画像と共に画像合成手段２１１に入力され、画像合成が行われる。合成された画像は、図５（ｃ）のような画像となり、実施例１と同様の結果を得ることができる。
【０１７０】
＜その他の実施形態＞
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または、記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または、ＣＰＵやＭＰＵ）が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【０１７１】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７３】
以上説明したように、本発明に係る実施形態によれば、撮像倍率の異なる複数の撮像装置を有し、撮像倍率の低い撮像装置から監視領域内での侵入者の位置と侵入者周辺の状況を撮像し、撮像倍率の高い撮像装置から侵入者の容姿が十分に視認可能な拡大像を得つつ、それぞれの映像信号をその映像の特性に応じてオブジェクト単位符号化を取り入れた圧縮符号化を行なうことで、魚眼レンズのような広角レンズを単体を用いた監視システムと比較して、侵入者の拡大像を十分な解像度で得ることができる。
【０１７４】
また、監視領域内を複数台の撮像装置を用いて監視するシステムと比較して、広角カメラによる広範囲領域の監視によって設置台数の削減から設備費用の負担が少ない。
【０１７５】
また、侵入者拡大映像はズームカメラが撮影するので被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離（または視野範囲）、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を必要としない。
【０１７６】
そして、異なる撮影倍率を有する複数のカメラを用いて監視する従来のシステムと比較して、広角カメラ映像、ズームカメラ映像共に、背景とオブジェクト領域のみを符号化するために、大幅な符号量の削減が可能となり、高能率な監視システムが実現できる。また、蓄積系に本システムを用いると、従来に比べ、長時間の監視状態を記録することが可能となる。伝送系に本システムを用いると、従来に比べ、映像品質を劣化させることなく、より狭い帯域での伝送が可能となる。また、従来と同様の伝送帯域では、より高画質な映像を伝送することが可能となる。
【０１７７】
また、本発明に係る第２の実施例においては、ズームカメラ用の背景画像を復号側の処理で生成するため、更なる符号量の削減が可能となり、より高能率な監視システムが実現できる。
【０１７８】
【発明の効果】
以上説明したように、本発明によれば、撮像倍率の高い画像データの背景画像を撮像倍率の低い画像データより生成することによって、画像データの大幅な符号量の削減が可能となる。
【０１７９】
また、本発明によれば、撮像倍率の高い画像データの被写体画像を背景差分法で抽出する実施例においては、撮像倍率の低い画像データを用いて背景画像を生成し、被写体画像を抽出することによって、背景画像を予め用意しなくてよいので操作性の向上となる。
【０１８０】
また、本発明によれば、撮像倍率の高い画像データの背景画像を復号側の処理で生成するため、更なる符号量の削減が可能となる。
【０１８１】
また、本発明によれば、被写体の位置と大きさより求められたカメラの向きとズーム倍率で撮像することにより、簡単に被写体の拡大画像が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施例における監視システムの画像符号化側の構成例を示すブロック図である。
【図２】本発明の第１の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【図３】本発明の実施例における被写体抽出処理を説明する図である。
【図４】本発明の実施例における被写体位置とズーム変倍率の決定方法について説明する図である。
【図５】本発明の実施例におけるズームカメラ１０４用の背景画像の生成方法を説明する図である。
【図６】本発明の実施例におけるオブジェクトのバウンディングボックスとマクロブロックを示す図である。
【図７】本発明の実施例における表示部２１２の表示例を説明する図である。
【図８】本発明の実施例における表示装置の例を説明する図である。
【図９】本発明の第２の実施例における監視システムの画像符号化側の構成例を示すブロック図である。
【図１０】本発明の第２の実施例における監視システムの画像復号化側の構成例を示すブロック図である。
【図１１】本発明の実施例における任意形状符号化部の構成例を示すブロック図である。
【図１２】本発明の実施例における任意形状復号化部の構成例を示すブロック図である。
【図１３】広角カメラを利用した監視システムの従来例を説明する図である。
【図１４】図１３の監視システムでの撮影像を説明する図である。
【図１５】複数台数の標準カメラを利用した監視システムの従来例を説明する図である。
【図１６】図１５の監視システムでの撮影像を説明する図である。
【図１７】広角カメラとズームカメラを併用した監視システムの従来例を説明する図である。
【図１８】図１７の，Ｍ監視システムでの撮影像を説明する図である。
Claims (31)
- 所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成手段と、
前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出手段と、
前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成手段と、
前記第２の撮像画像より第２の被写体画像を抽出する第２の被写体抽出手段と、
前記第１の背景画像生成手段より生成された第１の背景画像を符号化する第１の背景画像符号化手段と、
前記第１の被写体抽出手段より抽出された第１の被写体画像を符号化する第１の被写体画像符号化手段と、
前記第２の背景画像生成手段より生成された第２の背景画像を符号化する第２の背景画像符号化手段と、
前記第２の被写体抽出手段より抽出された第２の被写体画像を符号化する第２の被写体画像符号化手段とを有することを特徴とする画像処理装置。 - 前記第１の被写体抽出手段は、前記第１の被写体画像の形状を包含する矩形領域を求めることを特徴とする請求項１に記載の画像処理装置。
- 前記矩形領域は、前記第１の被写体画像の形状に外接する矩形を最小とする矩形であり、かつ、画面左上の座標を原点としたとき、前記矩形の左上の座標が、水平座標と垂直座標共に偶数であり、幅と高さ共に符号化手段におけるマクロブロックのサイズの倍数となることを特徴とする請求項２に記載の画像処理装置。
- 前記第２の背景画像生成手段は、前記矩形領域の大きさと画面サイズから画像の拡大率を求め、前記画像の拡大率に基づいて前記第１の背景画像を拡大して前記第２の背景画像を生成することを特徴とする請求項２又は３に記載の画像処理装置。
- 前記第２の背景画像生成手段は、拡大後の前記矩形領域が、前記画面サイズに内接するときの倍率を前記拡大率として求めることを特徴とする請求項４に記載の画像処理装置。
- 前記第２の被写体抽出手段は、前記第２の撮像画像から前記第２の背景画像を差分することにより第２の被写体画像を抽出することを特徴とした請求項１〜５のいずれか１項に記載の画像処理装置。
- 前記第１、第２の被写体像符号化手段は、被写体画像の形状を包含する矩形領域の画面上での位置と大きさの情報をも符号化することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
- 前記第１の背景画像符号化手段、前記第１の被写体画像符号化手段、前記第２の背景画像符号化手段及び前記第２の被写体画像符号化手段の出力信号を多重化して伝送する多重化手段を更に有することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
- 請求項１〜９のいずれか１項に記載の画像処理装置を備えた監視カメラシステム。
- 所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成手段と、
前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出手段と、
前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成手段と、
前記第２の撮像画像と前記第２の背景画像より第２の被写体画像を抽出する第２の被写体抽出手段とを有することを特徴とする画像処理装置。 - 前記第１の背景画像生成手段より生成された第１の背景画像を符号化する第１の背景画像符号化手段と、
前記第１の被写体抽出手段より抽出された第１の被写体画像を符号化する第１の被写体画像符号化手段と、
前記第２の被写体抽出手段より抽出された第２の被写体画像を符号化する第２の被写体画像符号化手段とを更に有することを特徴とした請求項１０に記載の画像処理装置。 - 前記第１の背景画像符号化手段、前記第１の被写体画像符号化手段、及び前記第２の被写体画像符号化手段の出力信号を多重化して伝送する多重化手段とを更に有することを特徴とする請求項１１に記載の画像処理装置。
- 前記第１の被写体抽出手段は、前記第１の被写体画像の形状を包含する矩形領域を求めることを特徴とする請求項１１又は１２に記載の画像処理装置。
- 前記第２の背景画像生成手段は、前記矩形領域の大きさと画面サイズから画像の拡大率を求め、前記画像の拡大率に基づいて前記第１の背景画像を拡大して前記第２の背景画像を生成することを特徴とする請求項１３に記載の画像処理装置。
- 前記第２の背景画像生成手段は、拡大後の前記矩形領域が、前記画面サイズに内接するときの倍率を前記拡大率として求めることを特徴とする請求項１４に記載の画像処理装置。
- 前記第１、第２の被写体像符号化手段は、被写体画像の形状を包含する矩形領域の画面上での位置と大きさの情報を符号化することを特徴とする請求項１３に記載の画像処理装置。
- 請求項１０〜１６のいずれか１項に記載の画像処理装置を備えた監視カメラシステム。
- 所定の撮像倍率で撮像された第１の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第１の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第２の被写体画像とを入力する入力手段と、
前記第１の背景画像と前記第１の被写体画像とに基づいて第２の被写体画像に対応する第２の背景画像を生成する背景画像生成手段と、
前記第２の背景画像と前記第２の被写体画像とを合成する画像合成手段とを有することを特徴とする画像処理装置。 - 前記画像合成手段は、前記第１の背景画像と前記第１の被写体像とを合成することを特徴とする請求項１８に記載の画像処理装置。
- 前記第１の被写体画像は、被写体の形状を包含する矩形領域の画像であり、前記入力手段は前記矩形領域の画面上の位置と大きさを示す情報も入力することを特徴とする請求項１８又は１９に記載に画像処理装置。
- 前記背景画像生成手段は、前記矩形領域の大きさと画面サイズから画像の拡大率を求め、前記画像の拡大率に基づいて前記第１の背景画像を拡大して前記第２の背景画像を生成することを特徴とする請求項２０に記載の画像処理装置。
- 前記背景画像生成手段は、拡大後の前記矩形領域が、前記画面サイズに内接するときの倍率を前記拡大率として求めることを特徴とする請求項２１に記載の画像処理装置。
- 前記入力手段によって入力される前記第１の背景画像、前記第１の被写体画像及び前記第２の被写体画像はそれぞれ符号化されており、前記入力手段は前記各画像を復号化する復号化手段を含むことを特徴とする請求項１８〜２２のいずれか１項に記載の画像処理装置。
- 前記画像合成手段によって合成された画像を表示する表示手段を更に有することを特徴とする請求項１８〜２３のいずれか１項に記載の画像処理装置。
- 所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成工程と、
前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出工程と、
前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成工程と、
前記第２の撮像画像より第２の被写体画像を抽出する第２の被写体抽出工程と、
前記第１の背景画像生成工程で生成された第１の背景画像を符号化する第１の背景画像符号化工程と、
前記第１の被写体抽出工程で抽出された第１の被写体画像を符号化する第１の被写体画像符号化工程と、
前記第２の背景画像生成工程で生成された第２の背景画像を符号化する第２の背景画像符号化工程と、
前記第２の被写体抽出工程で抽出された第２の被写体画像を符号化する第２の被写体画像符号化工程とを有することを特徴とする画像処理方法。 - 所定の撮像倍率で撮像された第１の撮像画像に対応する第１の背景画像を生成する第１の背景画像生成工程と、
前記第１の撮像画像より第１の被写体画像を抽出する第１の被写体抽出工程と、
前記所定の撮像倍率より高い撮像倍率で撮像された第２の撮像画像に対応する第２の背景画像を前記第１の背景画像と前記第１の被写体画像とに基づいて生成する第２の背景画像生成工程と、
前記第２の撮像画像と前記第２の背景画像より第２の被写体画像を抽出する第２の被写体抽出工程とを有することを特徴とする画像処理方法。 - 所定の撮像倍率で撮像された第１の背景画像と、前記所定の撮像倍率で撮像された画像データから抽出された第１の被写体画像と、前記所定の撮像倍率よりも高い撮像倍率で撮像された画像データから抽出された第２の被写体画像とを入力する入力工程と、
前記第１の背景画像と前記第１の被写体画像とに基づいて第２の被写体画像に対応する第２の背景画像を生成する背景画像生成工程と、
前記第２の背景画像と前記第２の被写体画像とを合成する画像合成工程とを有することを特徴とする画像処理方法。 - 請求項２５〜２７のいずれか１項に記載の画像処理方法を実行するコンピュータプログラム。
- 請求項２８に記載のプログラムを格納し、コンピュータが読み取り可能なコンピュータ可読記憶媒体。
- 撮像画像より被写体画像を抽出する被写体抽出手段と、
前記被写体抽出手段により抽出された被写体の位置と大きさを求め、カメラの向きとズーム倍率を計算する計算手段と、
前記計算手段により計算された向きとズーム倍率で撮像する手段を有することを特徴とする画像処理装置。 - 撮像画像より被写体画像を抽出する被写体抽出工程と、
前記被写体抽出工程で抽出された被写体の位置と大きさを求め、カメラの向きとズーム倍率を計算する計算工程と、
前記計算工程により計算された向きとズーム倍率で撮像する工程を有することを特徴とする画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002174347A JP3870124B2 (ja) | 2002-06-14 | 2002-06-14 | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| US10/460,230 US7292264B2 (en) | 2002-06-14 | 2003-06-13 | Multiple image processing and synthesis using background image extraction |
| US11/898,804 US8125521B2 (en) | 2002-06-14 | 2007-09-17 | Multiple image processing and synthesis using background image extraction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002174347A JP3870124B2 (ja) | 2002-06-14 | 2002-06-14 | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004023373A true JP2004023373A (ja) | 2004-01-22 |
| JP2004023373A5 JP2004023373A5 (ja) | 2005-04-14 |
| JP3870124B2 JP3870124B2 (ja) | 2007-01-17 |
Family
ID=30112231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002174347A Expired - Fee Related JP3870124B2 (ja) | 2002-06-14 | 2002-06-14 | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7292264B2 (ja) |
| JP (1) | JP3870124B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004077821A1 (ja) * | 2003-02-25 | 2004-09-10 | Matsushita Electric Industrial Co., Ltd. | 映像合成装置 |
| JP2005267510A (ja) * | 2004-03-22 | 2005-09-29 | Secom Co Ltd | 画像処理装置、画像処理方法及び侵入者検出装置 |
| JP2006101327A (ja) * | 2004-09-30 | 2006-04-13 | Aiphone Co Ltd | テレビドアホン装置 |
| JP2006187386A (ja) * | 2005-01-04 | 2006-07-20 | Olympus Corp | 内視鏡装置、動体検出方法、及びそのプログラム |
| JP2009027366A (ja) * | 2007-07-18 | 2009-02-05 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2009253976A (ja) * | 2008-04-10 | 2009-10-29 | National Chiao Tung Univ | 統合型画像監視システムおよびその画像ビデオ融合方法 |
| JP2009284549A (ja) * | 2009-08-31 | 2009-12-03 | Sony Corp | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
| US7801329B2 (en) | 2005-02-28 | 2010-09-21 | Sony Corporation | Information processing system, information processing apparatus and information processing method, program, and recording medium |
| JP2012016003A (ja) | 2010-06-30 | 2012-01-19 | Ajou Univ Industry Cooperation Foundation | 監視カメラを使用する能動的客体追跡装置及び方法 |
| JP2015159622A (ja) * | 2015-06-11 | 2015-09-03 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2016072964A (ja) * | 2014-09-30 | 2016-05-09 | キヤノン株式会社 | 被写体再識別のためのシステム及び方法 |
| JP2016187162A (ja) * | 2015-03-27 | 2016-10-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2018082333A (ja) * | 2016-11-17 | 2018-05-24 | Kddi株式会社 | 遠隔作業支援システムの作業者端末および支援者端末 |
| JPWO2017038160A1 (ja) * | 2015-09-01 | 2018-06-14 | 日本電気株式会社 | 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム |
| JP7447417B2 (ja) | 2019-09-27 | 2024-03-12 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Families Citing this family (97)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7956889B2 (en) * | 2003-06-04 | 2011-06-07 | Model Software Corporation | Video surveillance system |
| US7623152B1 (en) * | 2003-07-14 | 2009-11-24 | Arecont Vision, Llc | High resolution network camera with automatic bandwidth control |
| KR100676232B1 (ko) * | 2003-09-05 | 2007-01-30 | 가부시키가이샤 히다치 고쿠사이 덴키 | 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
| WO2005086620A2 (en) * | 2003-10-10 | 2005-09-22 | L-3 Communications Security And Detection Systems | Mmw contraband screening system |
| US7787013B2 (en) * | 2004-02-03 | 2010-08-31 | Panasonic Corporation | Monitor system and camera |
| US7880766B2 (en) * | 2004-02-03 | 2011-02-01 | Panasonic Corporation | Detection area adjustment apparatus |
| ATE547896T1 (de) * | 2004-02-03 | 2012-03-15 | Panasonic Corp | Detektionsbereichs-einstelleinrichtung |
| JP4491295B2 (ja) * | 2004-07-22 | 2010-06-30 | キヤノン株式会社 | 画像再生方法及び画像再生装置 |
| JP2006129152A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Holdings Inc | 撮像装置および画像配信システム |
| US7435679B2 (en) * | 2004-12-07 | 2008-10-14 | Intel Corporation | Alloyed underlayer for microelectronic interconnects |
| US20060125920A1 (en) * | 2004-12-10 | 2006-06-15 | Microsoft Corporation | Matching un-synchronized image portions |
| JP3968665B2 (ja) * | 2005-03-22 | 2007-08-29 | ソニー株式会社 | 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 |
| CN101147392B (zh) * | 2005-03-24 | 2012-05-09 | 松下电器产业株式会社 | 成像装置及其中使用的透镜阵列 |
| DE102005018855B4 (de) * | 2005-04-22 | 2010-01-28 | Theta System Elektronik Gmbh | Vorrichtung zur Inspektion von Druckererzeugnissen |
| US8026945B2 (en) * | 2005-07-22 | 2011-09-27 | Cernium Corporation | Directed attention digital video recordation |
| JP4188394B2 (ja) * | 2005-09-20 | 2008-11-26 | フジノン株式会社 | 監視カメラ装置及び監視カメラシステム |
| US7672539B2 (en) * | 2005-12-15 | 2010-03-02 | General Instrument Corporation | Method and apparatus for scaling selected areas of a graphics display |
| JP4214160B2 (ja) * | 2006-08-31 | 2009-01-28 | フジノン株式会社 | 監視カメラシステム |
| JP4795212B2 (ja) * | 2006-12-05 | 2011-10-19 | キヤノン株式会社 | 録画装置、端末装置及び処理方法 |
| US8009200B2 (en) | 2007-06-15 | 2011-08-30 | Microsoft Corporation | Multiple sensor input data synthesis |
| EP1940141A1 (de) | 2008-02-11 | 2008-07-02 | Texmag GmbH Vertriebsgesellschaft GmbH | Vorrichtung zum Erfassen eines Bildes und Verfahren zum Auswerten von Bilddaten |
| US7952596B2 (en) * | 2008-02-11 | 2011-05-31 | Sony Ericsson Mobile Communications Ab | Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein |
| US20090202148A1 (en) * | 2008-02-11 | 2009-08-13 | Texmag Gmbh Vertriebsgesellschaft | Image Capturing System and Method for the Analysis of Image Data |
| AU2008200926B2 (en) * | 2008-02-28 | 2011-09-29 | Canon Kabushiki Kaisha | On-camera summarisation of object relationships |
| US9215467B2 (en) | 2008-11-17 | 2015-12-15 | Checkvideo Llc | Analytics-modulated coding of surveillance video |
| US8817092B2 (en) * | 2008-11-25 | 2014-08-26 | Stuart Leslie Wilkinson | Method and apparatus for generating and viewing combined images |
| JP2010136032A (ja) * | 2008-12-04 | 2010-06-17 | Hitachi Ltd | 映像監視システム |
| US8323205B2 (en) * | 2009-02-10 | 2012-12-04 | Pacesetter, Inc. | System and method for identifying a potential cause of pulmonary edema |
| USRE45980E1 (en) * | 2009-11-30 | 2016-04-19 | Panasonic Intellectual Property Corporation Of America | Communication device |
| EP2509334B1 (en) * | 2009-11-30 | 2018-09-12 | Sun Patent Trust | Communication apparatus |
| JP4787906B1 (ja) * | 2010-03-30 | 2011-10-05 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
| JP2012049651A (ja) * | 2010-08-24 | 2012-03-08 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
| US8831287B2 (en) * | 2011-06-09 | 2014-09-09 | Utah State University | Systems and methods for sensing occupancy |
| CN103177469A (zh) * | 2011-12-26 | 2013-06-26 | 深圳光启高等理工研究院 | 视频合成终端及其方法 |
| CN116405747A (zh) | 2012-11-28 | 2023-07-07 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
| JP2014239382A (ja) * | 2013-06-10 | 2014-12-18 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム |
| CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
| EP3779564B1 (en) | 2013-07-04 | 2024-04-10 | Corephotonics Ltd. | Miniature telephoto lens assembly |
| KR101490921B1 (ko) * | 2013-07-11 | 2015-02-06 | 현대자동차 주식회사 | 자동차 부품의 품질 검사 장치 및 그 방법 |
| WO2015015383A2 (en) | 2013-08-01 | 2015-02-05 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
| CN103475882B (zh) * | 2013-09-13 | 2017-02-15 | 北京大学 | 监控视频的编码、识别方法和监控视频的编码、识别系统 |
| TWI518437B (zh) * | 2014-05-12 | 2016-01-21 | 晶睿通訊股份有限公司 | 動態對焦調整系統及其動態對焦調整方法 |
| TW201609395A (zh) * | 2014-07-11 | 2016-03-16 | 拜耳材料科學股份有限公司 | 水汽可滲透之複合組分（一） |
| US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| CN104144295A (zh) * | 2014-08-12 | 2014-11-12 | 北京智谷睿拓技术服务有限公司 | 成像控制方法和装置及成像设备 |
| JP2016096481A (ja) * | 2014-11-14 | 2016-05-26 | キヤノン株式会社 | 制御装置、撮像システム、制御方法、及び、プログラム |
| CN112327463B (zh) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
| EP3492958B1 (en) | 2015-04-02 | 2022-03-30 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
| CN112305833A (zh) | 2015-04-16 | 2021-02-02 | 核心光电有限公司 | 紧凑型折叠式相机中的自动对焦和光学图像稳定 |
| EP3722860B1 (en) | 2015-05-28 | 2023-04-19 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera |
| US10230898B2 (en) | 2015-08-13 | 2019-03-12 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
| US10070060B2 (en) | 2015-09-06 | 2018-09-04 | Corephotonics Ltd | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
| US10210625B2 (en) * | 2015-10-30 | 2019-02-19 | Industrial Technology Research Institute | Measurement system comprising angle adjustment module |
| KR102291525B1 (ko) | 2015-12-29 | 2021-08-19 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
| WO2017208090A1 (en) | 2016-05-30 | 2017-12-07 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
| CN105979209A (zh) * | 2016-05-31 | 2016-09-28 | 浙江大华技术股份有限公司 | 一种监控视频显示方法及装置 |
| CN107925728B (zh) | 2016-06-19 | 2020-12-08 | 核心光电有限公司 | 双孔径摄影机系统中的帧同步 |
| WO2018007951A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
| EP4224233A1 (en) | 2016-07-07 | 2023-08-09 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
| DE102016213111B4 (de) * | 2016-07-19 | 2018-08-09 | Koenig & Bauer Ag | Inspektionssystem mit mehreren Erfassungsbereichen |
| CN106686300A (zh) * | 2016-11-30 | 2017-05-17 | 努比亚技术有限公司 | 照片拍摄方法及装置 |
| CN114051092A (zh) | 2016-12-28 | 2022-02-15 | 核心光电有限公司 | 具有延伸光折叠元件扫描范围的致动器及含其的折叠相机 |
| EP3789810B1 (en) | 2017-01-12 | 2022-09-28 | Corephotonics Ltd. | Compact folded camera |
| EP3579040B1 (en) | 2017-02-23 | 2021-06-23 | Corephotonics Ltd. | Folded camera lens designs |
| CN114137791A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的照相装置及移动装置 |
| WO2019048904A1 (en) | 2017-09-06 | 2019-03-14 | Corephotonics Ltd. | STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA |
| US20190096041A1 (en) * | 2017-09-25 | 2019-03-28 | Texas Instruments Incorporated | Methods and system for efficient processing of generic geometric correction engine |
| US11145079B2 (en) * | 2017-09-25 | 2021-10-12 | Texas Instruments Incorporated | Method and apparatus for arbitrary output shape processing of an image |
| US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
| CN107920202B (zh) | 2017-11-15 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
| KR102104761B1 (ko) | 2017-11-23 | 2020-04-27 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
| CN108305223B (zh) * | 2018-01-09 | 2020-11-03 | 珠海格力电器股份有限公司 | 图像背景虚化处理方法及装置 |
| EP3848749A1 (en) | 2018-02-05 | 2021-07-14 | Corephotonics Ltd. | Reduced height penalty for folded camera |
| CN111448793B (zh) | 2018-02-12 | 2021-08-31 | 核心光电有限公司 | 具有光学图像稳定化的折叠摄像机 |
| US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
| EP3822588B1 (en) | 2018-04-23 | 2022-09-07 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
| CN108769521B (zh) * | 2018-06-05 | 2021-02-02 | Oppo广东移动通信有限公司 | 一种拍照方法、移动终端及计算机可读存储介质 |
| CN111316346B (zh) | 2018-08-04 | 2022-11-29 | 核心光电有限公司 | 摄像机上方的可切换连续显示信息系统 |
| US11635596B2 (en) | 2018-08-22 | 2023-04-25 | Corephotonics Ltd. | Two-state zoom folded camera |
| KR102242437B1 (ko) | 2019-01-07 | 2021-04-20 | 코어포토닉스 리미티드 | 슬라이딩 조인트를 갖는 회전 메커니즘 |
| EP4224841A1 (en) | 2019-03-09 | 2023-08-09 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
| US10885606B2 (en) * | 2019-04-08 | 2021-01-05 | Honeywell International Inc. | System and method for anonymizing content to protect privacy |
| KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
| CN112399033B (zh) * | 2019-08-14 | 2022-04-15 | 杭州海康威视数字技术股份有限公司 | 摄像机组件和监控摄像机 |
| US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
| CN110809101B (zh) * | 2019-11-04 | 2022-05-17 | RealMe重庆移动通信有限公司 | 图像变焦处理方法及装置、电子设备、存储介质 |
| US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
| CN110958431A (zh) * | 2019-12-11 | 2020-04-03 | 武汉迅检科技有限公司 | 多路视频压缩后传系统及方法 |
| CN113469200A (zh) | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法和系统、存储介质、计算设备 |
| KR20220003550A (ko) | 2020-04-26 | 2022-01-10 | 코어포토닉스 리미티드 | 홀 바 센서 보정을 위한 온도 제어 |
| CN117372248A (zh) | 2020-05-17 | 2024-01-09 | 核心光电有限公司 | 全视场参考图像的图像拼接 |
| WO2021245488A1 (en) | 2020-05-30 | 2021-12-09 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
| EP4045960A4 (en) | 2020-07-15 | 2022-12-14 | Corephotonics Ltd. | CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA |
| US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
| WO2022023914A1 (en) | 2020-07-31 | 2022-02-03 | Corephotonics Ltd. | Hall sensor - magnet geometry for large stroke linear position sensing |
| CN112887624B (zh) * | 2021-01-26 | 2022-08-09 | 维沃移动通信有限公司 | 一种拍摄方法、装置和电子设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3797678B2 (ja) * | 1994-05-26 | 2006-07-19 | 富士通株式会社 | ウィンドウとカメラの協調制御方法および装置 |
| US6977676B1 (en) * | 1998-07-08 | 2005-12-20 | Canon Kabushiki Kaisha | Camera control system |
| JP3792901B2 (ja) | 1998-07-08 | 2006-07-05 | キヤノン株式会社 | カメラ制御システム及びその制御方法 |
| JP2000209425A (ja) * | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
| JP2000295600A (ja) | 1999-04-08 | 2000-10-20 | Toshiba Corp | 監視装置 |
| US6813388B2 (en) * | 2000-02-07 | 2004-11-02 | Matsushita Electric Industrial Co., Ltd. | Image coding method, image coding apparatus and data storage medium |
| FR2806570B1 (fr) * | 2000-03-15 | 2002-05-17 | Thomson Multimedia Sa | Procede et dispositif de codage d'images video |
-
2002
- 2002-06-14 JP JP2002174347A patent/JP3870124B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-13 US US10/460,230 patent/US7292264B2/en not_active Expired - Fee Related
-
2007
- 2007-09-17 US US11/898,804 patent/US8125521B2/en not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004077821A1 (ja) * | 2003-02-25 | 2004-09-10 | Matsushita Electric Industrial Co., Ltd. | 映像合成装置 |
| JP2005267510A (ja) * | 2004-03-22 | 2005-09-29 | Secom Co Ltd | 画像処理装置、画像処理方法及び侵入者検出装置 |
| JP2006101327A (ja) * | 2004-09-30 | 2006-04-13 | Aiphone Co Ltd | テレビドアホン装置 |
| JP2006187386A (ja) * | 2005-01-04 | 2006-07-20 | Olympus Corp | 内視鏡装置、動体検出方法、及びそのプログラム |
| JP4624802B2 (ja) * | 2005-01-04 | 2011-02-02 | オリンパス株式会社 | 内視鏡装置、及びそのプログラム |
| US7801329B2 (en) | 2005-02-28 | 2010-09-21 | Sony Corporation | Information processing system, information processing apparatus and information processing method, program, and recording medium |
| US8041078B2 (en) | 2005-02-28 | 2011-10-18 | Sony Corporation | Information processing system, information processing apparatus and information processing method, program, and recording medium |
| JP2009027366A (ja) * | 2007-07-18 | 2009-02-05 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2009253976A (ja) * | 2008-04-10 | 2009-10-29 | National Chiao Tung Univ | 統合型画像監視システムおよびその画像ビデオ融合方法 |
| JP2009284549A (ja) * | 2009-08-31 | 2009-12-03 | Sony Corp | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
| JP2012016003A (ja) | 2010-06-30 | 2012-01-19 | Ajou Univ Industry Cooperation Foundation | 監視カメラを使用する能動的客体追跡装置及び方法 |
| JP2016072964A (ja) * | 2014-09-30 | 2016-05-09 | キヤノン株式会社 | 被写体再識別のためのシステム及び方法 |
| JP2016187162A (ja) * | 2015-03-27 | 2016-10-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2015159622A (ja) * | 2015-06-11 | 2015-09-03 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JPWO2017038160A1 (ja) * | 2015-09-01 | 2018-06-14 | 日本電気株式会社 | 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム |
| US10748010B2 (en) | 2015-09-01 | 2020-08-18 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
| US10977499B2 (en) | 2015-09-01 | 2021-04-13 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
| US11710322B2 (en) | 2015-09-01 | 2023-07-25 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
| JP2018082333A (ja) * | 2016-11-17 | 2018-05-24 | Kddi株式会社 | 遠隔作業支援システムの作業者端末および支援者端末 |
| JP7447417B2 (ja) | 2019-09-27 | 2024-03-12 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3870124B2 (ja) | 2007-01-17 |
| US20080212878A1 (en) | 2008-09-04 |
| US20040008773A1 (en) | 2004-01-15 |
| US8125521B2 (en) | 2012-02-28 |
| US7292264B2 (en) | 2007-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3870124B2 (ja) | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| US10038841B1 (en) | System for streaming multiple regions deriving from a wide-angle camera | |
| US8243135B2 (en) | Multiple-view processing in wide-angle video camera | |
| US9398214B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
| US7840085B2 (en) | Electronic video image stabilization | |
| JP5268743B2 (ja) | 画像通信システム | |
| US20060093224A1 (en) | Image capturing apparatus and image distributing system | |
| EP3136726B1 (en) | Pre-processing of digital images | |
| JP2006245746A (ja) | 監視システム | |
| JP2001358984A (ja) | 動画像処理カメラ | |
| US7679648B2 (en) | Method and apparatus for coding a sectional video view captured by a camera at an end-point | |
| JP2006033380A (ja) | 監視システム | |
| JP2005175970A (ja) | 撮像システム | |
| US20230129908A1 (en) | Method and system for transmitting a video stream | |
| JP2009100259A (ja) | 監視カメラおよび画像監視システム | |
| KR100420620B1 (ko) | 객체기반 영상 감시시스템 | |
| JPH0730888A (ja) | 動画像送信装置及び動画像受信装置 | |
| JP2006080832A (ja) | 画像トランスコーダ | |
| KR20170011928A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
| JP2006165664A (ja) | 画像送受信システム | |
| Li et al. | A prototype of autonomous intelligent surveillance cameras | |
| JP2005109725A (ja) | 映像監視システム | |
| JPH0823527A (ja) | テレビ電話システム | |
| JP2004193661A (ja) | 双方向コミュニケーションシステム，映像通信装置，および映像通信装置の撮影処理制御方法 | |
| Hata et al. | Surveillance system with mega-pixel scalable transcoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040604 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |