JP2014219874A - 背景差分抽出装置及び背景差分抽出方法 - Google Patents
背景差分抽出装置及び背景差分抽出方法 Download PDFInfo
- Publication number
- JP2014219874A JP2014219874A JP2013099408A JP2013099408A JP2014219874A JP 2014219874 A JP2014219874 A JP 2014219874A JP 2013099408 A JP2013099408 A JP 2013099408A JP 2013099408 A JP2013099408 A JP 2013099408A JP 2014219874 A JP2014219874 A JP 2014219874A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- camera
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
(1)画像中の特徴量を抽出した後、事前学習で得た学習データとの比較によって画像中の対象物を特定する方法;
(2)背景画像をあらかじめ取得しておき、対象物を含む画像(実画像)との比較によって対象物を特定する方法(いわゆる背景差分法)
などが存在する。前記(1)の方法は、背景画像の取得が不要であるという利点はあるが、画像処理の時間が長くなるので、実時間での対象物特定には不向きである。また、この方法は、学習データの内容にもよるが、対象物の特定精度も不十分となりがちである。
視線方向及び視点位置が移動可能なカメラで得られた画像を用いて背景差分を抽出するための装置であって、
撮像部と、極座標算出部と、記録部と、対象背景抽出部と、差分抽出部とを備えており、
前記撮像部は、カメラと、駆動部とを備えており、
前記カメラは、対象物を含まない画像である背景画像、あるいは、対象物を含む画像である実画像を取得できる構成となっており、
前記駆動部は、前記カメラの視線方向及び視点位置を変更できる構成となっており、
前記極座標算出部は、視線方向取得部と、視点位置取得部と、座標変換部とを備えており、
前記視線方向取得部は、前記カメラにおける視線方向を取得する構成となっており、
前記視点位置取得部は、前記カメラにおける視点位置を取得する構成となっており、
前記座標変換部は、取得された前記視線方向及び視点位置を用いて、前記背景画像あるいは前記実画像における画素の位置情報を、固定座標系における極座標情報に変換する構成となっており、
前記記録部は、前記背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録する構成となっており、
前記対象背景抽出部は、前記実画像における画素の極座標情報を用いて、前記実画像に対応する角度領域での前記背景画像を対象背景として特定する構成となっており、
前記差分抽出部は、前記実画像と前記対象背景とを比較することによって、それらの間の差分を抽出する構成となっている
背景差分抽出装置。
前記座標変換部における、前記極座標情報への変換は、
前記背景画像あるいは前記実画像における画素の位置情報を、視点が固定された仮想カメラにおける仮想画像上での、当該画素の位置情報である仮想位置情報に変換する処理と、
前記仮想位置情報を、前記固定座標系における極座標情報に変換する処理と
によって行う構成となっている
項目1に記載の背景差分抽出装置。
さらに量子化部を備えており、
前記量子化部は、前記座標変換部で得られた前記極座標情報を量子化する構成とされており、
さらに、前記量子化部は、前記カメラにおける視線方向が前記固定座標系における基準方向からずれるほど、量子化単位としての角度範囲を増やす構成とされており、
前記記録部は、前記画素の極座標情報として、量子化された前記極座標情報を用いる構成とされている
項目1又は2に記載の背景差分抽出装置。
さらに、ブラー生成部を備えており、
前記ブラー生成部は、前記対象背景を、前記視線方向が移動する方向に沿って複数枚特定し、特定された複数枚の前記対象背景を合成することによって、ブラーを有する合成対象背景を生成する構成とされており、
前記差分抽出部は、前記実画像と前記合成対象背景とを比較することによって、前記差分を抽出する構成とされている
項目1〜3のいずれか1項に記載の背景差分抽出装置。
前記カメラの視線方向は、パン方向角度とチルト方向角度とによってあらわされている
項目1〜4のいずれか1項に記載の背景差分抽出装置。
前記駆動部は、前記カメラの視線方向をパン方向とチルト方向とに変化させる鏡面光学系を備えている
項目1〜5のいずれか1項に記載の背景差分抽出装置。
さらに、背景更新部を備えており、
前記背景更新部は、前記実画像のうち、前記差分抽出部において前記差分とされなかった部分を新たな背景画像として特定して、前記記録部における前記背景画像における画素の色情報を更新する構成とされている
項目1〜6のいずれか1項に記載の背景差分抽出装置。
前記駆動部は、前記差分抽出部によって差分として抽出された部分に前記カメラの視線方向を向ける構成とされている
項目1〜7のいずれか1項に記載の背景差分抽出装置。
視線方向及び視点位置が移動可能なカメラで得られた画像を用いて背景差分を抽出するための方法であって、
前記カメラにより、対象物を含まない画像である背景画像を取得するステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記背景画像における画素の位置情報を、前記固定座標系における極座標情報に変換するステップと、
前記背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録部に記録するステップと、
前記カメラにより、対象物を含む画像である実画像を取得するステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記実画像における画素の位置情報を、固定座標系における極座標情報に変換するステップと、
前記実画像における画素の極座標情報を用いて、前記実画像に対応する角度領域での前記背景画像を対象背景として特定するステップと、
前記実画像と前記対象背景とを比較することによって、それらの間の差分を抽出するステップと
を備えることを特徴とする背景差分抽出方法。
視線方向及び視点位置が移動可能なカメラで得られた画像を用いて背景差分を抽出するためのコンピュータプログラムであって、
対象物を含まない画像である背景画像をカメラに取得させるステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記背景画像における画素の位置情報を、固定座標系における極座標情報に変換するステップと、
前記背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録部に記録するステップと、
前記カメラにより、対象物を含む画像である実画像を取得するステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記実画像における画素の位置情報を、前記固定座標系における極座標情報に変換するステップと、
前記実画像における画素の極座標情報を用いて、前記実画像に対応する角度領域での前記背景画像を対象背景として特定するステップと、
前記実画像と前記対象背景とを比較することによって、それらの間の差分を抽出するステップと
をコンピュータに実行させるためのコンピュータプログラム。
本実施形態の背景差分抽出装置は、図1に示されるように、撮像部1と、極座標算出部2と、記録部3と、対象背景抽出部4と、差分抽出部5とを有している。さらに、この装置は、背景更新部6を有している。
(1)背景画像あるいは実画像における画素の位置情報を、視点が固定された仮想カメラにおける仮想画像上での、当該画素の位置情報である仮想位置情報に変換する処理;及び
(2)仮想位置情報を、固定座標系における極座標情報に変換する処理
によって実行されるようになっている。
以下、本実施形態の背景差分抽出装置の動作について説明する。以下の説明の前提として、本実施形態の背景差分抽出装置が組み込まれるトラッキングシステムの全体的な構成例を図3により説明する。このトラッキングシステムは、コンピュータ100を備えており、このコンピュータ100(すなわちハードウエア及びソフトウエアの組み合わせ)により、極座標算出部2、記録部3、対象背景抽出部4、差分抽出部5及び背景更新部6の機能が実現されている。また、コンピュータ100の制御部(図示せず)から制御指令を駆動部12に送ることでパンミラー121及びチルトミラー122の傾斜角度(パン角度及びチルト角度)を制御して、追跡対象物200に視線を合わせる(つまり追跡する)ことができるようになっている。さらに、この装置では、パンミラー121及びチルトミラー122の実際の傾斜角度をセンサ(図示せず)により取得して、コンピュータ100に戻し、例えば極座標算出部2により利用できるようになっている。
本実施形態の背景差分抽出方法では、まず、対象物を含まない画像である背景画像を登録する処理を行う。背景画像登録処理の具体例を、図5を参照して詳しく説明する。
まず、カメラ11により、背景画像を取得する。ここで、本実施形態では、カメラ11で取得可能な全ての領域における背景の画像(本明細書では「全背景画像」と称する)を取得する。すなわち、本実施形態では、駆動部12によりカメラ11の視線方向を変更できるので、視線方向の最大可変範囲に対応して、カメラ11で取得可能な全背景画像を取得する。ただし、全背景画像を一度に取得する必要はなく、所定の画角で撮影された背景画像ごとに、以降の極座標算出処理や登録処理を行うこととしてもよい。もちろん、全背景画像を取得した後に、以降の処理を行うことも可能である。また、全背景画像は、以降の背景差分抽出処理に使用されると予想される角度範囲(あるいは視線方向範囲)で取得されればよいので、全ての視線方向範囲に対応した背景画像を取得することは必須ではない。取得された背景画像の情報(画素情報及び画像上の画素位置情報)は、座標変換部23に送られる。
一方、パンミラー121及びチルトミラー122の実際の傾斜角度(背景画像取得時のもの)は、駆動部12から視線方向取得部21及び視点位置取得部22に送られる。視線方向取得部21及び視点位置取得部22では、パンミラー121及びチルトミラー122の傾斜角度の情報を用いて、視線方向及び視点位置を算出する。なお、この算出において、パンミラー121及びチルトミラー122の実際の傾斜角度に代えて、これらへの傾斜角度の指示値を用いることも可能である。ただし、実際の傾斜角度を用いることによりトラッキング精度の向上を期待できる。以下において、視線方向取得部21及び視点位置取得部22における、パンミラー121及びチルトミラー122の傾斜角度の情報を用いた、視線方向及び視点位置の算出方法を説明する。
固定座標系(世界座標と呼ぶこともある)に対するカメラ11、パンミラー121及びチルトミラー122の位置関係を図6に示す。前記した通り、パンミラー121及びチルトミラー122によって、カメラ11の視線方向を制御できるようになっている。また、瞳転送部13により、カメラ11の瞳位置を光学的にこれらのミラーの中間に転送するようになっている。これにより充分な画角を保ちつつ、駆動部12の小型化が可能となり、しかも高速な視線方向制御が可能となっている。瞳転送部13によりパンミラー121とチルトミラー122との間に転送された瞳は、対象物から見れば、図6において符号pの位置(つまりパンミラー121により瞳の鏡像となる位置)に見える。この位置は、カメラ11の視点位置と光学的に等価なので、以下の説明では視点として扱う。また、視点を原点として対象物に向く視線方向をzc軸とするカメラ座標系を(xc,yc,zc)と定義する(図6参照)。カメラ座標(xc,yc,zc)と固定座標(X,Y,Z)との変換は、下記式(1)のように表現できる。
R=RtRp (2)
と書ける。また前記した視点位置pは、
ついで、座標変換部23は、カメラ11の視線方向及び視点位置の情報(つまりθcとφc)を用いて、背景画像における画素の位置情報を、固定座標系(X,Y,Z)における極座標情報に変換する。以下、この変換手順の一例を説明する。
前提として、カメラ11の焦点距離をf、画像平面をπとおく。また図7(a)に示すように、視点移動における並進成分を0と仮定した場合のカメラ座標系(以下「仮想カメラ座標系」という)
以下、極座標の算出手順を、図8のフローチャートを参照しながら説明する。点Pが平面π上に投影される点を(u,v)、平面π'上に投影される点を(u',v')とする。ただし(u,v)および(u',v')の原点はそれぞれzcおよびz'c上にとる。Lを視点pから平面Πまでの距離とすると、|z'c−zc|はLに対して充分に小さいと考えられるため、画像π上の画素位置(u,v)から仮想画像π'上の画素位置(u',v')を近似的に以下のように導くことができる。
このように算出した点(u',v')を用いると、XYZ固定座標系における点Pの極座標表示角度(θ,φ)は以下のように表される(図7(b))。
式(5)の右辺第二項に示された並進成分は、距離Lが充分に大きい場合には、無視出来る程小さい。つまり、背景が充分遠くにある場合には視点移動は問題にならない。具体的には距離Lが
ついで、本実施形態では、量子化部24が、座標変換部23で得られた極座標情報を量子化する処理を行う。ここで、量子化部24は、カメラ11における視線方向が固定座標系における基準方向(本例ではZ軸方向)から外れるほど、量子化単位としての角度範囲を増やすように量子化を行う。以下、量子化処理の具体例を説明する。
実際には、背景情報は連続的ではなく離散的な画素値として得られるため、
極座標上に登録されるデータには密度的な偏りが生じ得る。つまり、極座標上において同じ角度幅であっても、パン角あるいはチルト角の大小によって、担うべき情報量(画素数)が違ってきてしまう。1画素に対応する(u,v)の単位変化量をΔuおよびΔvとすると、これらに相当する(θ,φ)の変化量は、式(6)より次のように求まる。
θmn=mΔθ(φn),φn=nΔφ(m,nは整数)
を決定することができる。
ついで、記録部3は、背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録する。ここで、記録部3は、画素の極座標情報として、量子化部24で量子化された極座標情報を用いる。
ついで、実画像情報を算出する。実画像情報算出の手順を、図10のフローチャートを参照しながら説明する。
まず、撮像部1により、対象物を含む画像である実画像を取得する。画像の取得方法自体は背景画像の場合と同様である。ただし、対象物を視線が追跡する場合は、1回の実画像取得ごとに以下の差分抽出処理を行うことが望ましい。
一方、視線方向取得部21及び視点位置取得部22により、カメラ11の視線方向及び視点位置を取得する。これについても、背景画像の場合と同様でよい。
ついで、座標変換部23により、カメラ11の視線方向及び視点位置の情報を用いて、実画像における画素の位置情報を、固定座標系における極座標情報に変換する。この座標変換処理も、前記した背景画像と同様に行うことができる。得られた極座標情報は、対象背景抽出部4に送られる。
次に、対象背景抽出部4は、実画像における画素の極座標情報を用いて、実画像に対応する角度領域での背景画像を対象背景として特定する。さらに具体的には、対象背景抽出部4は、実画像の極座標情報(実際には量子化されている)に基づいて、実画像が撮影した領域に対応する領域での背景画像を特定することができる。したがって、対象背景抽出部4は、実画像に対応する範囲を特定する極座標情報を記録部3に送り、その極座標情報に対応する対象背景の画像(つまり画素情報)を指定あるいは取得することができる。
次に、差分抽出部5は、実画像と対象背景とを比較することによって、それらの間の差分を抽出する。実画像と対象背景とは、実空間(図7(a)における平面Πと言ってもよい)における同じ領域の画像となっているので、それらの画素どうしの情報(色情報)を比較することによって、背景差分を抽出することができる。
・照明のフリッカやカメラのノイズによって画素値がある程度変動すると予想されること;
・実際の視線方向のブレ、量子化時の丸め誤差、あるいは各種の機械的誤差のために、全視野背景から抽出した背景画像と実際の背景との間には多少のずれが生じると予想されること。
(θ(m+k)(n+l),φ(n+l))(ここで|k|,|l|<2〜3程度)
に登録された画素値全てについて実画像と背景画像とを比較して、背景か否かを判断するのが妥当と考えられる。画像上の座標を基準とする場合は、これらの極座標に対応する画像座標を算出して、差分抽出を行うことができる。なお、本実施形態においては、前記した背景差分による対象抽出に加えて、画像特徴を利用した対象抽出を行うこともできる。つまり、背景差分による対象抽出と、画像特徴を利用した対象抽出のAND条件により、対象の位置を精度よく特定することが可能である。
ついで、差分抽出部5は、得られた差分情報(つまり対象物の位置情報)を、図示しない制御部に送る。制御部では、カメラ11の視線方向が対象物の位置を向くように、駆動部12を制御する。これにより、対象物をカメラ11で追跡することができる。前記した各処理が十分高速であれば、移動する対象物をカメラ画像のほぼ中心に配置することが可能となる。
差分抽出部5で抽出された差分以外の部分は、背景を表す情報(つまり背景情報)として利用可能である。そこで、本実施形態の差分抽出部5は、背景情報を背景更新部6に送る。背景情報は、背景に相当する部分の位置情報(この例では量子化された極座標情報)と、その位置における画素の色情報とを含む。背景更新部6は、背景情報を用いて、記録部3における背景画素情報を極座標情報により特定して更新することができる。これにより、背景情報を最新のものに更新できるので、背景差分の抽出精度を向上させることができる。なお、背景情報の更新は、背景差分が抽出されるたびに行う必要はなく、所定時間間隔ごとに行うことも可能である。あるいは、背景差分抽出による背景情報の更新処理を省略することもでき、例えば、所定時間ごとに、全背景情報を再取得して更新してもよい。
ついで、カメラ11により新しい実画像を取得した場合は、ステップSA−2に戻り、前記した処理を繰り返す。そうでなければ処理を終了する。
次に、本発明の第2実施形態に係る背景差分抽出装置を、主に図11を参照しながら説明する。この第2実施形態の説明においては、前記した第1実施形態の背景差分抽出装置と基本的に共通する構成要素については、同一の符号を付すことにより、説明の煩雑を避ける。
カメラから得られる映像は、露光中に各受像素子に入射する光の総和として得られる。つまり、時刻tからΔt秒間の露光によって得られる画像I(t)は以下の式で表現できる。
11 カメラ
12 駆動部
121 パンミラー(鏡面光学系)
122 チルトミラー(鏡面光学系)
13 瞳転送部
2 極座標算出部
21 視線方向
21 視線方向取得部
22 視点位置取得部
23 座標変換部
24 量子化部
3 記録部
4 対象背景抽出部
5 差分抽出部
6 背景更新部
7 ブラー生成部
100 コンピュータ
200 追跡対象物
前記座標変換部における、前記極座標情報への変換は、
前記背景画像あるいは前記実画像における画素の位置情報を、視点が固定された仮想カメラにおける仮想画像上での、当該画素の位置情報である仮想位置情報に変換する処理と、
前記仮想位置情報を、前記固定座標系における極座標情報に変換する処理と
によって行われる構成となっている
項目1に記載の背景差分抽出装置。
視線方向及び視点位置が移動可能なカメラで得られた画像を用いて背景差分を抽出するためのコンピュータプログラムであって、
対象物を含まない画像である背景画像をカメラに取得させるステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記背景画像における画素の位置情報を、固定座標系における極座標情報に変換するステップと、
前記背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録部に記録するステップと、
対象物を含む画像である実画像を前記カメラに取得させるステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記実画像における画素の位置情報を、前記固定座標系における極座標情報に変換するステップと、
前記実画像における画素の極座標情報を用いて、前記実画像に対応する角度領域での前記背景画像を対象背景として特定するステップと、
前記実画像と前記対象背景とを比較することによって、それらの間の差分を抽出するステップと
をコンピュータに実行させるためのコンピュータプログラム。
実際には、背景情報は連続的ではなく離散的な画素値として得られるため、極座標上に登録されるデータには密度的な偏りが生じ得る。つまり、極座標上において同じ角度幅であっても、パン角あるいはチルト角の大小によって、担うべき情報量(画素数)が違ってきてしまう。1画素に対応する(u,v)の単位変化量をΔuおよびΔvとすると、これらに相当する(θ,φ)の変化量は、式(6)より次のように求まる。
Claims (10)
- 視線方向及び視点位置が移動可能なカメラで得られた画像を用いて背景差分を抽出するための装置であって、
撮像部と、極座標算出部と、記録部と、対象背景抽出部と、差分抽出部とを備えており、
前記撮像部は、カメラと、駆動部とを備えており、
前記カメラは、対象物を含まない画像である背景画像、あるいは、対象物を含む画像である実画像を取得できる構成となっており、
前記駆動部は、前記カメラの視線方向及び視点位置を変更できる構成となっており、
前記極座標算出部は、視線方向取得部と、視点位置取得部と、座標変換部とを備えており、
前記視線方向取得部は、前記カメラにおける視線方向を取得する構成となっており、
前記視点位置取得部は、前記カメラにおける視点位置を取得する構成となっており、
前記座標変換部は、取得された前記視線方向及び視点位置を用いて、前記背景画像あるいは前記実画像における画素の位置情報を、固定座標系における極座標情報に変換する構成となっており、
前記記録部は、前記背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録する構成となっており、
前記対象背景抽出部は、前記実画像における画素の極座標情報を用いて、前記実画像に対応する角度領域での前記背景画像を対象背景として特定する構成となっており、
前記差分抽出部は、前記実画像と前記対象背景とを比較することによって、それらの間の差分を抽出する構成となっている
背景差分抽出装置。 - 前記座標変換部における、前記極座標情報への変換は、
前記背景画像あるいは前記実画像における画素の位置情報を、視点が固定された仮想カメラにおける仮想画像上での、当該画素の位置情報である仮想位置情報に変換する処理と、
前記仮想位置情報を、前記固定座標系における極座標情報に変換する処理と
によって行う構成となっている
請求項1に記載の背景差分抽出装置。 - さらに量子化部を備えており、
前記量子化部は、前記座標変換部で得られた前記極座標情報を量子化する構成とされており、
さらに、前記量子化部は、前記カメラにおける視線方向が前記固定座標系における基準方向からずれるほど、量子化単位としての角度範囲を増やす構成とされており、
前記記録部は、前記画素の極座標情報として、量子化された前記極座標情報を用いる構成とされている
請求項1又は2に記載の背景差分抽出装置。 - さらに、ブラー生成部を備えており、
前記ブラー生成部は、前記対象背景を、前記視線方向が移動する方向に沿って複数枚特定し、特定された複数枚の前記対象背景を合成することによって、ブラーを有する合成対象背景を生成する構成とされており、
前記差分抽出部は、前記実画像と前記合成対象背景とを比較することによって、前記差分を抽出する構成とされている
請求項1〜3のいずれか1項に記載の背景差分抽出装置。 - 前記カメラの視線方向は、パン方向角度とチルト方向角度とによってあらわされている
請求項1〜4のいずれか1項に記載の背景差分抽出装置。 - 前記駆動部は、前記カメラの視線方向をパン方向とチルト方向とに変化させる鏡面光学系を備えている
請求項1〜5のいずれか1項に記載の背景差分抽出装置。 - さらに、背景更新部を備えており、
前記背景更新部は、前記実画像のうち、前記差分抽出部において前記差分とされなかった部分を新たな背景画像として特定して、前記記録部における前記背景画像における画素の色情報を更新する構成とされている
請求項1〜6のいずれか1項に記載の背景差分抽出装置。 - 前記駆動部は、前記差分抽出部によって差分として抽出された部分に前記カメラの視線方向を向ける構成とされている
請求項1〜7のいずれか1項に記載の背景差分抽出装置。 - 視線方向及び視点位置が移動可能なカメラで得られた画像を用いて背景差分を抽出するための方法であって、
前記カメラにより、対象物を含まない画像である背景画像を取得するステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記背景画像における画素の位置情報を、前記固定座標系における極座標情報に変換するステップと、
前記背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録部に記録するステップと、
前記カメラにより、対象物を含む画像である実画像を取得するステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記実画像における画素の位置情報を、固定座標系における極座標情報に変換するステップと、
前記実画像における画素の極座標情報を用いて、前記実画像に対応する角度領域での前記背景画像を対象背景として特定するステップと、
前記実画像と前記対象背景とを比較することによって、それらの間の差分を抽出するステップと
を備えることを特徴とする背景差分抽出方法。 - 視線方向及び視点位置が移動可能なカメラで得られた画像を用いて背景差分を抽出するためのコンピュータプログラムであって、
対象物を含まない画像である背景画像をカメラに取得させるステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記背景画像における画素の位置情報を、固定座標系における極座標情報に変換するステップと、
前記背景画像における画素の色情報と、当該画素の極座標情報との対応関係を記録部に記録するステップと、
前記カメラにより、対象物を含む画像である実画像を取得するステップと、
前記カメラの視線方向及び視点位置の情報を用いて、前記実画像における画素の位置情報を、前記固定座標系における極座標情報に変換するステップと、
前記実画像における画素の極座標情報を用いて、前記実画像に対応する角度領域での前記背景画像を対象背景として特定するステップと、
前記実画像と前記対象背景とを比較することによって、それらの間の差分を抽出するステップと
をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013099408A JP6090786B2 (ja) | 2013-05-09 | 2013-05-09 | 背景差分抽出装置及び背景差分抽出方法 |
US14/890,150 US9924104B2 (en) | 2013-05-09 | 2014-04-28 | Background-differential extraction device and background-differential extraction method |
CN201480025487.7A CN105210368B (zh) | 2013-05-09 | 2014-04-28 | 背景差分提取装置以及背景差分提取方法 |
PCT/JP2014/061826 WO2014181726A1 (ja) | 2013-05-09 | 2014-04-28 | 背景差分抽出装置及び背景差分抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013099408A JP6090786B2 (ja) | 2013-05-09 | 2013-05-09 | 背景差分抽出装置及び背景差分抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014219874A true JP2014219874A (ja) | 2014-11-20 |
JP6090786B2 JP6090786B2 (ja) | 2017-03-08 |
Family
ID=51867207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013099408A Active JP6090786B2 (ja) | 2013-05-09 | 2013-05-09 | 背景差分抽出装置及び背景差分抽出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9924104B2 (ja) |
JP (1) | JP6090786B2 (ja) |
CN (1) | CN105210368B (ja) |
WO (1) | WO2014181726A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017090792A (ja) * | 2015-11-16 | 2017-05-25 | 株式会社 日立産業制御ソリューションズ | モーションブラー補償装置、撮像システム、および、モーションブラー補償方法 |
KR20190074605A (ko) * | 2017-12-20 | 2019-06-28 | 삼성전자주식회사 | 저전력 상태에서 이미지들의 출력 타이밍을 동기화하기 위한 디스플레이 구동 회로 |
JPWO2021171610A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
KR20220096700A (ko) * | 2020-12-31 | 2022-07-07 | 한국과학기술연구원 | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 |
WO2023162523A1 (ja) * | 2022-02-24 | 2023-08-31 | 東レエンジニアリング株式会社 | ウエーハ検査装置 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6090786B2 (ja) | 2013-05-09 | 2017-03-08 | 国立大学法人 東京大学 | 背景差分抽出装置及び背景差分抽出方法 |
US10802620B2 (en) * | 2015-03-17 | 2020-10-13 | Sony Corporation | Information processing apparatus and information processing method |
JPWO2017073045A1 (ja) * | 2015-10-28 | 2018-08-02 | 京セラ株式会社 | 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法 |
CN106570832A (zh) * | 2016-10-31 | 2017-04-19 | 北京尚水信息技术股份有限公司 | 一种基于最小值背景差分的piv图像处理方法 |
JP6854631B2 (ja) * | 2016-11-28 | 2021-04-07 | 株式会社Nttファシリティーズ | 情報可視化システム、情報可視化方法、及びプログラム |
CN108540782B (zh) * | 2017-03-03 | 2020-09-22 | 株式会社理光 | 获取差分图像的方法和装置 |
CN108171706B (zh) * | 2018-01-22 | 2021-08-17 | 井冈山大学 | 一种计算机图像处理方法 |
JP2019152980A (ja) * | 2018-03-01 | 2019-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6452875B1 (ja) * | 2018-03-29 | 2019-01-16 | 株式会社日立製作所 | 移動体撮像システム、及び、移動体撮像方法 |
CN113110542B (zh) * | 2021-04-16 | 2022-07-15 | 东北大学 | 一种基于单轴云台的四旋翼无人机目标追踪系统 |
CN113296546B (zh) * | 2021-04-22 | 2023-01-06 | 杭州晟冠科技有限公司 | 一种轮船联动跟踪定位误差的补偿方法 |
CN113627323B (zh) * | 2021-08-09 | 2024-05-07 | 上海擎朗智能科技有限公司 | 一种图像处理方法、机器人及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021407A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 動き検出装置 |
JP2009236569A (ja) * | 2008-03-26 | 2009-10-15 | Zynas Corp | 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ |
JP2010244207A (ja) * | 2009-04-02 | 2010-10-28 | Univ Of Tokyo | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
CA2563478A1 (en) * | 2004-04-16 | 2005-10-27 | James A. Aman | Automatic event videoing, tracking and content generation system |
TWI353778B (en) * | 2007-12-21 | 2011-12-01 | Ind Tech Res Inst | Moving object detection apparatus and method |
CN100583126C (zh) | 2008-01-14 | 2010-01-20 | 浙江大学 | 基于快速图像配准的视角变化条件下视频前景提取方法 |
US8405720B2 (en) * | 2008-08-08 | 2013-03-26 | Objectvideo, Inc. | Automatic calibration of PTZ camera system |
CN102025981B (zh) * | 2010-12-23 | 2013-12-04 | 北京邮电大学 | 一种监控视频中的前景检测的方法 |
CN102034240A (zh) * | 2010-12-23 | 2011-04-27 | 北京邮电大学 | 一种静态前景检测和跟踪方法 |
CN103077520B (zh) * | 2013-01-04 | 2016-02-24 | 浙江大学 | 一种针对移动摄像机的背景减除方法 |
JP6090786B2 (ja) | 2013-05-09 | 2017-03-08 | 国立大学法人 東京大学 | 背景差分抽出装置及び背景差分抽出方法 |
-
2013
- 2013-05-09 JP JP2013099408A patent/JP6090786B2/ja active Active
-
2014
- 2014-04-28 WO PCT/JP2014/061826 patent/WO2014181726A1/ja active Application Filing
- 2014-04-28 US US14/890,150 patent/US9924104B2/en active Active
- 2014-04-28 CN CN201480025487.7A patent/CN105210368B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021407A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 動き検出装置 |
JP2009236569A (ja) * | 2008-03-26 | 2009-10-15 | Zynas Corp | 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ |
JP2010244207A (ja) * | 2009-04-02 | 2010-10-28 | Univ Of Tokyo | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム |
Non-Patent Citations (2)
Title |
---|
JPN6014031970; 横山 恵子,奥村 光平,奥 寛雅,石川 正俊: '高速視線制御システムを用いた物体追跡のための背景除去アルゴリズム' 第13回システムインテグレーション部門講演会 (SI2012) 講演論文集 , 20121218, pp.2237-2240, 公益社団法人 計測自動制御学会 * |
JPN6016050895; 横山 恵子 奥村 光平 奥 寛雅 石川 正俊: '可搬型高速視線制御システムの開発と背景差分を用いた屋外での高速物体追跡' ロボティクス・メカトロニクス講演会講演概要集2013 2A1-K01, 20130522, P. 2A1-K01(1) - 2A1-K01(4), 一般社団法人 日本機械学会 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017090792A (ja) * | 2015-11-16 | 2017-05-25 | 株式会社 日立産業制御ソリューションズ | モーションブラー補償装置、撮像システム、および、モーションブラー補償方法 |
KR20190074605A (ko) * | 2017-12-20 | 2019-06-28 | 삼성전자주식회사 | 저전력 상태에서 이미지들의 출력 타이밍을 동기화하기 위한 디스플레이 구동 회로 |
KR102549503B1 (ko) | 2017-12-20 | 2023-06-30 | 삼성전자주식회사 | 저전력 상태에서 이미지들의 출력 타이밍을 동기화하기 위한 디스플레이 구동 회로 |
JPWO2021171610A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
JP7364033B2 (ja) | 2020-02-28 | 2023-10-18 | 日本電気株式会社 | 測量方法、測量装置、測量システム、プログラム |
KR20220096700A (ko) * | 2020-12-31 | 2022-07-07 | 한국과학기술연구원 | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 |
US11579746B2 (en) | 2020-12-31 | 2023-02-14 | Korea Institute Of Science And Technology | Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology |
KR102558294B1 (ko) * | 2020-12-31 | 2023-07-24 | 한국과학기술연구원 | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 |
WO2023162523A1 (ja) * | 2022-02-24 | 2023-08-31 | 東レエンジニアリング株式会社 | ウエーハ検査装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6090786B2 (ja) | 2017-03-08 |
US9924104B2 (en) | 2018-03-20 |
US20160088231A1 (en) | 2016-03-24 |
CN105210368B (zh) | 2018-10-26 |
WO2014181726A1 (ja) | 2014-11-13 |
CN105210368A (zh) | 2015-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6090786B2 (ja) | 背景差分抽出装置及び背景差分抽出方法 | |
JP6768156B2 (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
US10410089B2 (en) | Training assistance using synthetic images | |
US8848035B2 (en) | Device for generating three dimensional surface models of moving objects | |
CN108363946B (zh) | 基于无人机的人脸跟踪系统及方法 | |
WO2011105044A1 (en) | Information processing method and information processing apparatus | |
JP2020506487A (ja) | シーンから深度情報を取得するための装置および方法 | |
JP5725953B2 (ja) | 撮像装置及びその制御方法、並びに情報処理装置 | |
CN101140661A (zh) | 一种以动态投影为背景的实时目标识别方法 | |
CN110544273B (zh) | 运动捕捉方法、装置以及系统 | |
CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
CN112640419B (zh) | 跟随方法、可移动平台、设备和存储介质 | |
WO2023236508A1 (zh) | 一种基于亿像素阵列式相机的图像拼接方法及系统 | |
CN110060295B (zh) | 目标定位方法及装置、控制装置、跟随设备及存储介质 | |
TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
WO2020257999A1 (zh) | 图像处理方法、装置、云台和存储介质 | |
Hu et al. | Omnidirectional panoramic video system with frame-by-frame ultrafast viewpoint control | |
EP4071713A1 (en) | Parameter calibration method and apapratus | |
CN109961395B (zh) | 深度图像的生成及显示方法、装置、系统、可读介质 | |
CN115278049A (zh) | 拍摄方法及其装置 | |
JP2019027894A (ja) | 位置情報取得システム、位置情報取得方法及びプログラム | |
JP2000098300A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体 | |
CN112308972A (zh) | 一种大规模电缆隧道环境模型重构方法 | |
US20230031480A1 (en) | System for tracking camera and control method thereof | |
US20240029283A1 (en) | Image depth prediction method, electronic device, and non-transitory storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6090786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |