JP2009171415A

JP2009171415A - 画像分類システム及び方法

Info

Publication number: JP2009171415A
Application number: JP2008009214A
Authority: JP
Inventors: Kiwamu Yoshioka; 究吉岡
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2008-01-18
Filing date: 2008-01-18
Publication date: 2009-07-30

Abstract

【課題】複数の画像のうちから特定の被写体が撮影された画像だけを分類することができる画像分類システム及び方法を提供する。
【解決手段】少なくとも１つのカメラと、カメラを識別するカメラ識別子とカメラの撮影可能範囲とをそのときの時刻と共に含むカメラ情報を発生するカメラ情報発生手段と、カメラによってよって撮影される被写体毎に被写体を識別する被写体識別子と被写体の位置情報とをそのときの時刻と共に含む被写体情報を発生する被写体情報発生手段と、カメラによって撮影された画像データを受信してその受信画像データを識別する画像識別子と、受信画像データの撮影時刻と、カメラ識別子とを含む撮影情報を発生する撮影情報発生手段と、カメラ情報と被写体情報と撮影情報とに応じて同一時刻に撮影可能範囲内に被写体の位置が存在する被写体についての被写体識別子と画像識別子との対応関係を検出する情報検出手段と、を備える。
【選択図】図１

Description

本発明は、複数の画像を分類する画像分類システム及び画像分類方法に関する。

従来の画像分類装置としては、複数の撮像装置を備え、それら撮像装置の位置、方向及びフォーカス等の状態が例えば、撮影者であるカメラマンの操作等により変化するときに、各撮像装置が捉えている空間領域を計算し、その計算結果に基づいて撮像装置からの画像を分類する装置がある（特許文献１参照）。

この特許文献１に示された方法は、画像認識を援用した被写体による画像の分類という手法（特許文献２参照）に比べて、画像認識による負荷を伴わないという点で改善されている。
特開２００７−１３９３９号公報特開２００４−３５６９８４号公報

しかしながら、特許文献１に示された方法は、「撮像装置が捉えている空間領域」により画像を分類するものであり、被写体そのものにより分類するものではない。そのため、特に、被写体と「撮像装置が捉えている空間領域」との対応がとりにくいような場合ではうまく働かない。

例えば、野球中継においてカメラマンが打球を捉えるように、撮像装置、すなわちカメラをパニング・フォーカシング等の操作を行う場合には、カメラの位置情報、角度情報及びフォーカス情報から得られる「撮像装置が捉えている空間領域」が、ある程度「被写体」に一致する。この場合には、「撮像装置が捉えている空間領域」による分類は被写体による分類に近いものとして機能する。

ところが、スポーツ中継でも、例えば、市民参加型のマラソンでは、カメラは多数配置されているが、カメラマンに特定の被写体としてとりたてて認識されていない参加者が多数存在するような場合も考えられる。このようなスポーツ中継では、不特定多数の被写体に向かって向けられたカメラが、参加者の走行区間に向けて多数設営されることになる。

このような場合でも、特定の参加者、例えば、Ｘ氏を撮影した画像をつないだ中継画像を視聴したいというニーズが存在するが、Ｘ氏を特別に意識したカメラワークがなされていなければ、現状そのようなことは出来ない。

そこで、本発明の目的は、複数の画像のうちから特定の被写体が撮影された画像だけを分類することができる画像分類システム及び方法を提供することである。

本発明の画像分類システムは、少なくとも１つのカメラと、前記カメラを識別するカメラ識別子と前記カメラの撮影可能範囲とをそのときの時刻と共に含むカメラ情報を発生するカメラ情報発生手段と、前記カメラによってよって撮影される被写体毎に被写体を識別する被写体識別子と被写体の位置情報とをそのときの時刻と共に含む被写体情報を発生する被写体情報発生手段と、前記カメラによって撮影された画像データを受信してその受信画像データを識別する画像識別子と、前記受信画像データの撮影時刻と、前記カメラ識別子とを含む撮影情報を発生する撮影情報発生手段と、前記カメラ情報と前記被写体情報と前記撮影情報とに応じて同一時刻に前記撮影可能範囲内に前記被写体の位置が存在する被写体についての前記被写体識別子と前記画像識別子との対応関係を検出する情報検出手段と、を備えたことを特徴としている。

本発明の画像分類方法は、カメラを識別するカメラ識別子と前記カメラの撮影可能範囲とをそのときの時刻と共に含むカメラ情報を発生し、前記カメラによってよって撮影される被写体毎に被写体を識別する被写体識別子と被写体の位置情報とをそのときの時刻共に含む被写体情報を発生し、前記カメラによって撮影された画像データを受信してその受信画像データを識別する画像識別子と、前記受信画像データの撮影時刻と、前記カメラ識別子とを含む撮影情報を発生し、前記カメラ情報と前記被写体情報と前記撮影情報とに応じて同一時刻に前記撮影可能範囲内に前記被写体の位置が存在する被写体についての前記被写体識別子と前記画像識別子との対応関係を検出することを特徴としている。

かかる本発明の画像分類システム及び方法によれば、カメラ情報と被写体情報と撮影情報とに応じて同一時刻に撮影可能範囲内に被写体の位置が存在する被写体についての被写体識別子と画像識別子との対応関係を検出するので、カメラから出力される各画像とその画像各々に写された被写体との対応関係が時刻毎に得られる。よって、被写体毎に画像が分類されることになる。この結果、特定の被写体を示す被写体識別子を指定すれば、その対応関係から特定の被写体が写された画像を容易に得ることができる。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は本発明が適用された画像分類システムを示している。この画像分類システムは、カメラ２、ＲＦＩＤリーダ５、動画受信サーバ６、情報統合サーバ７、動画蓄積サーバ８及びＤＢサーバ９を備えている。

カメラ２は被写体１を撮影する。カメラ２としては静止画用及び動画用のいずれでも良いが、この実施例では動画用である。また、カメラ２はシステム内に複数存在しても良い。被写体１についても複数存在しても良い。なお、後述する図２にはカメラ２としてカメラ２０１〜２０３が示され、被写体１として被写体１０１〜１０４が示されている。

被写体１には被写体ＲＦＩＤタグ３が、またカメラ２にはカメラＲＦＩＤタグ４が物理的に固着され、或いは備えられている。被写体ＲＦＩＤタグ３は被写体１を識別する被写体ＩＤ（被写体識別子）をデータとして保存し、その被写体ＩＤを示す無線信号を発する。カメラＲＦＩＤタグ４はカメラ２を識別するカメラＩＤ（カメラ識別子）をデータとして保存し、そのカメラＩＤを示す無線信号を発する。被写体ＩＤ及びカメラＩＤは少なくともシステム内で重複することなく割り当てられたものである。

ＲＦＩＤリーダ５は、被写体ＲＦＩＤタグ３及びカメラＲＦＩＤタグ４各々に記録された情報をそれらが発する無線信号を受信して読み取る。ＲＦＩＤリーダ５と被写体ＲＦＩＤタグ３及びカメラＲＦＩＤタグ４各々との間は数メートル離れていても良い。また、ＲＦＩＤリーダ５はシステム内に複数あっても良い。

ＲＦＩＤリーダ５は取得した情報を情報統合サーバ７にリアルタイムで送出する。被写体ＲＦＩＤタグ３についての送出情報Ｔ１は被写体ＩＤ、被写体の位置及び時刻であり、カメラＲＦＩＤタグ４についての送出情報Ｔ２はカメラＩＤ、カメラの撮影可能範囲及び時刻である。時刻は例えば、予め定められた時間間隔の時刻である。

被写体の位置はＲＦＩＤリーダ５の設置位置をそのまま被写体１の存在位置とするか、無線信号のレベルに応じてＲＦＩＤリーダ５と被写体ＲＦＩＤタグ３の距離を推測してＲＦＩＤリーダ５の設置位置からの位置を判定する。カメラの撮影可能範囲はカメラの位置から決定されるが、カメラの向き等のその他の情報を用いても良い。

動画受信サーバ６は、カメラ２を含む複数のカメラからの情報を受信する。カメラからの情報はカメラＩＤ、動画像ストリーム、時刻のデータからなる。動画受信サーバ６は受信した動画像ストリームデータをリアルタイムで動画蓄積サーバ８に保存させる。動画受信サーバ６は動画像ストリームＩＤと動画像ストリームデータとからなる情報Ｔ３を動画蓄積サーバ８に送出する。その動画ストリームデータは時刻情報を伴い、例えば、ＭＰＥＧ２或いはH.264等の画像圧縮方式のデータである。動画像ストリームＩＤは動画ストリームデータを特定する識別データである。

また、動画受信サーバ６は、カメラＩＤ、動画像ストリームＩＤ及び時刻からなる情報Ｔ４をリアルタイムで情報統合サーバ７に送出する。

情報統合サーバ７は、ＲＦＩＤリーダ５から送られてくる情報と、動画受信サーバ６から受け取った情報を統合する。情報統合サーバ７によって統合された情報はＤＢサーバ９に書き込まれる。

動画蓄積サーバ８は動画受信サーバ６から情報Ｔ３が供給される毎にその情報Ｔ３中の動画像ストリームＩＤと動画像ストリームデータとを対応させて保存する。

情報統合サーバ７は、ＲＦＩＤリーダ５から送られてくる情報と、動画受信サーバ６から受け取った情報を統合する。情報統合サーバ７によって統合された情報はＤＢサーバ９に保存される。

ここで、マラソン大会においてランナーが被写体となる場合について説明すると、図２に示すようにマラソンコースＡ上に被写体１０１〜１０４が存在するとする。これらの被写体１０１〜１０４は上記の被写体ＲＦＩＤタグ３が備えられている。ＲＦＩＤリーダ５として複数のＲＦＩＤリーダ５０１，５０２が備えられている。また、マラソンコースＡに沿って複数のカメラ２０１〜２０３が異なる位置に配置されているが、これらのカメラ２０１〜２０３は固定ではないので、被写体の移動に応じてマラソンコースＡに沿った別の場所に移動して配置され得る。

カメラ２０１〜２０３各々の位置だけでマラソンコースＡ上の撮影可能範囲が決まるものとする。すなわち、カメラの位置が分かれば、カメラの撮影可能範囲はその位置の前後ａの区間であると一義的に定まる（ここで、ａは、カメラ固有の定数である）。図２ではカメラ２０２はマラソンコースＡのｘ_３の位置に配置されているので、撮影可能範囲はｘ_１＝ｘ_３−ａ〜ｘ_５＝ｘ_３＋ａの範囲である。このカメラ２０２の撮影可能範囲ｘ_１〜ｘ_５には被写体１０２，１０３が含まれる。実際には撮影可能範囲はカメラを向ける方向や画角その他の要素に依存する場合もあり得る。

図１のシステムには、図３に示すように、更に、配信ＡＰサーバ１０及びクライアント端末１１が備えられる。配信ＡＰサーバ１０はクライアント端末１１からの要求に応じて、動画蓄積サーバ８及びＤＢサーバ９各々の蓄積情報を検索及び取得し、必要に応じて加工した上でクライアント端末１１に送出する。情報の送信プロトコルは、例えば、クライアントからの要求の送信、動画情報以外の情報の送信はＨＴＴＰで、動画情報の送信はＲＴＰである。

上記した構成のシステムにおいては、カメラ２を含むカメラによって被写体１を含む被写体が撮影されると、情報統合サーバ７にはＲＦＩＤリーダ５から送出された情報Ｔ１，Ｔ２と、動画受信サーバ６から送出された情報Ｔ４とが供給される。情報統合サーバ７は供給された情報Ｔ１，Ｔ２，Ｔ４に応じて情報統合動作を行う。

情報統合サーバ７による情報統合動作においては、図４に示すように、供給された情報Ｔ１，Ｔ２，Ｔ４の中から同一時刻の情報Ｔ１，Ｔ２，Ｔ４が選択され（ステップＳ１）、選択情報Ｔ２中の撮影可能範囲が取得される（ステップＳ２）。選択情報Ｔ１のうちのから、ステップＳ２で取得した撮影可能範囲内に含まれる被写体の位置を備えたＴ１が検出される（ステップＳ３）。このステップＳ３の検出結果に基づいて、被写体毎に被写体ＩＤ、カメラＩＤ及び時刻からなる情報Ｔ５が作成される（ステップＳ４）。更に、ステップＳ１の選択情報Ｔ４中から情報Ｔ５のカメラＩＤと一致するカメラＩＤを有するＴ４が検出され（ステップＳ５）、その検出Ｔ４中の動画像ストリームＩＤと情報Ｔ５とを用いて情報Ｔ６が作成される（ステップＳ６）。情報Ｔ６は被写体ＩＤ、動画像ストリームＩＤ及び時刻からなる。情報Ｔ６は情報統合サーバ７からＤＢサーバ９に送出され（ステップＳ７）、ＤＢサーバ９に保存される。

この情報統合サーバ７による情報統合動作においては同一時刻毎にステップＳ１〜Ｓ６が実行され、それの結果、情報Ｔ１，Ｔ２，Ｔ４に基づいた情報Ｔ６が作成され、それがＤＢサーバ９に保存される。ＤＢサーバ９に保存された情報Ｔ６は被写体ＩＤ毎の被写体ＩＤが割り当てられた被写体が画像中に含まれている各時刻の動画像ストリームデータを示すことになり、動画像が被写体単位で分類されたことになる。

ＤＢサーバ９に保存された情報Ｔ６中の動画像ストリームＩＤは、動画蓄積サーバ８から動画ストリームデータを取得するために利用可能となる。被写体ＩＤが分かれば、その被写体ＩＤが割り当てられた被写体が撮影された各時刻における動画ストリームデータを特定することができる。

次に、クライアント端末１１が特定の被写体が撮影された部分の動画像ストリームデータを取得する場合のシステムの動作について説明する。

図５に示すように、クライアント端末１１は、特定の被写体に割り当てられた被写体ＩＤを配信ＡＰサーバ１０に送信する（ステップＳ１１）。これは被写体ＩＤの指定である。

配信ＡＰサーバ１０は、クライアント端末１１から被写体ＩＤを受信すると、その被写体ＩＤを含む問い合わせをＤＢサーバ９に対して行う（ステップＳ１２）。

ＤＢサーバ９では配信ＡＰサーバ１０からの問い合わせを受信すると、その問い合わせ中の被写体ＩＤを含む情報Ｔ６が検索される（ステップＳ１３）。ステップＳ１３では検索結果の被写体ＩＤを含む情報Ｔ６が示す時刻のうちの最も古い時刻が検出される。その検出された時刻は開始時刻として配信ＡＰサーバ１０に供給される（ステップＳ１４）。

配信ＡＰサーバ１０は、開始時刻を時刻カウンタ（図示せず）にセットし（ステップＳ１５）、時刻カウンタの時刻と被写体ＩＤとを含む問い合わせをＤＢサーバ９に対して行う（ステップＳ１６）。ＤＢサーバ９ではその問い合わせの時刻及び被写体ＩＤを含む情報Ｔ６から動画像ストリームＩＤを読み出して（ステップＳ１７）、その読み出し動画像ストリームＩＤを配信ＡＰサーバ１０に供給する（ステップＳ１８）。

ステップＳ１５で時刻カウンタに開始時刻をセットすると、時刻カウンタはその開始時刻から自動的に実時間と同じタイミングでカウントアップ動作する。カウントアップ毎にステップＳ１６の問い合わせは行われるので、ＤＢサーバ９ではその問い合わせに応答してステップＳ１７，Ｓ１８が実行される。カウントアップの単位増加量は、例えば、１分であるが、これに限定されない。

配信ＡＰサーバ１０は、ステップＳ１６の問い合わせに対して得られた動画像ストリームＩＤを用いて動画蓄積サーバ８に動画像ストリームデータを要求する（ステップＳ１９）。

動画蓄積サーバ８は動画像ストリームデータの要求に応答して、動画像ストリームＩＤに対応する動画像ストリームデータを読み出して（ステップＳ２０）、それを配信ＡＰサーバ１０に出力する（ステップＳ２１）。配信ＡＰサーバ１０は供給された時刻カウンタが示す時刻の動画像ストリームデータをクライアント端末１１に送信する（ステップＳ２２）。

このように、時刻カウンタのカウントアップ毎にステップＳ１６の問い合わせがＤＢサーバ９に対して行われ、その結果、ステップＳ１８の動画像ストリームＩＤの送信があると、その動画像ストリームＩＤを用いて動画蓄積サーバ８に動画像ストリームデータが要求される。よって、ステップＳ１６〜Ｓ１８の部分の動作はステップＳ１９〜Ｓ２２の部分の動作と共に平行して進行する。

また、ＤＢサーバ９から送信された動画像ストリームＩＤが切り替わった場合にはステップＳ２０で読み出される動画像ストリームデータが切り替わる。すなわち、今までとは異なる動画像ストリームが用いられることになる。

クライアント端末１１は、配信ＡＰサーバ１０から送信された動画像ストリームデータを順次受信してそれを再生する（ステップＳ２４）。これによりクライアント端末１１の図示しない表示器に動画像ストリームデータによる特定の被写体が存在する動画像が表示される。

以上のように、クライアント端末から被写体ＩＤを指定すれば、その被写体の動画像をクライアント端末では視聴し続けることができる。また、ＰＣ（パソコン）やＳＴＢ（セットトップボックス）等のクライアント端末から、今までのＴＶ放送よりもパーソナライズされたコンテンツを視聴したいというニーズに対応することができる。

なお、ステップＳ１７においては、時刻によって複数のカメラが特定の被写体を捉えたために複数の動画像ストリームＩＤが得られる場合が考えられる。この場合には、例えば、適切なアルゴリズムで代表的なストリームを選び出して送出したり、或いはマルチアングルの動画像情報として送出する(例えば、Synchronized Multimedia Integration Language (SMIL)を使用して、複数のストリームデータを１つのデータにまとめた上で送出する)といった方法を用いることができる。また、動画像ストリームＩＤが得られない時刻の場合には例えば、ステップＳ２３に移行して次の時刻での動画像ストリームＩＤの読み出し動作を行えば良い。

上記の実施例においては、動画像ストリームデータが動画蓄積サーバ８に一旦蓄積保存されるものとしたが、蓄積保存は必ずしも必要ではない。実施例で説明したアルゴリズムは、リアルタイムで実行することが可能であり、動画蓄積サーバ８はカメラ２等の複数のカメラからの映像を単に中継するだけでも良い。

ＲＦＩＤタグ３，４から送出される情報はＩＤとその所在の情報のみに限定する必要はない。例えば、カメラＲＦＩＤタグであれば、画角が可変である場合の画角情報、カメラの向きなどの情報を送出しても良い。これにより、ＲＦＩＤリーダ５におけるカメラの撮影可能範囲の計算をより正確なものにすることができる。また、ＲＦＩＤ技術を使わず、ＧＰＳ等の他の技術を利用しても良い。

上記した実施例においては、ＲＦＩＤリーダ５は固定して設置されていることを前提に説明したが、移動するような形態も考えられる。この場合、ＲＦＩＤリーダ５の位置を取得するために、例えば、ＧＰＳ受信機をＲＦＩＤリーダ５内に備え、位置の計算の際にＧＰＳ受信機から得られる情報を利用しても良い。また、移動自在なカメラにＲＦＩＤリーダを備えても良い。この場合は、ＲＦＩＤリーダの位置はカメラの位置と等しくなり、カメラにＲＦＩＤタグを設ける必要はなくなる。ＲＦＩＤリーダは被写体のＲＦＩＤタグを読み取ることに専念することになる。

カメラが動画像ではなくて静止画像を撮影するものとなっている場合には、被写体ＩＤや撮影時刻で選択された静止画像の集合をクライアント端末に提示するような応用が考えられる。

動画像或いは静止画像は、音声を伴っていても良い。その場合には、カメラ２にはマイクロフォンが装備され、動画蓄積サーバ８は動画像ストリームデータに音声データを含めて記録することになる。

本発明の実施例を示すブロック図である。図１のシステムがマラソンコースでの設置例を示す図である。図１のシステムの配信ＡＰサーバ及びクライアント端末を示すブロック図である。図１のシステムの情報統合動作を示すフローチャートである。クライアント端末へのストリームデータ配信動作を示すシーケンス図である。

符号の説明

２，２０１，２０２，２０３カメラ
５，５０１，５０２ＲＦＩＤリーダ
６動画受信サーバ
７情報統合サーバ
８動画蓄積サーバ
１０配信ＡＰサーバ
１１クライアント端末

Claims

少なくとも１つのカメラと、
前記カメラを識別するカメラ識別子と前記カメラの撮影可能範囲とをそのときの時刻と共に含むカメラ情報を発生するカメラ情報発生手段と、
前記カメラによってよって撮影される被写体毎に被写体を識別する被写体識別子と被写体の位置情報とをそのときの時刻と共に含む被写体情報を発生する被写体情報発生手段と、
前記カメラによって撮影された画像データを受信してその受信画像データを識別する画像識別子と、前記受信画像データの撮影時刻と、前記カメラ識別子とを含む撮影情報を発生する撮影情報発生手段と、
前記カメラ情報と前記被写体情報と前記撮影情報とに応じて同一時刻に前記撮影可能範囲内に前記被写体の位置が存在する被写体についての前記被写体識別子と前記画像識別子との対応関係を検出する情報検出手段と、を備えたことを特徴とする画像分類システム。
前記情報検出手段は、前記カメラ情報と前記被写体情報とに応じて同一時刻に前記撮影可能範囲内に前記被写体の位置が存在するか否かを判別する判別手段と、
同一時刻に前記撮影可能範囲内に前記被写体の位置が存在する場合にはその時刻を撮影時間としてその判別に用いた前記カメラ情報中のカメラ識別子と前記撮影情報とに応じて時刻毎の前記被写体識別子と前記画像識別子との対応関係を示す対応関係情報を作成してデータベースとして保存する手段と、を備えることを特徴とする請求項１記載の画像分類システム。
特定の被写体の前記被写体識別子を指定する指定手段と、
前記受信画像データを前記画像識別子に対応させて蓄積する画像蓄積手段と、
前記情報検出手段によって検出された前記被写体識別子と前記画像識別子との対応関係に応じて前記指定手段によって指定された前記被写体識別子に対応した前記画像識別子を得て、その得た前記画像識別子に応じて前記画像蓄積手段から前記受信画像データを選択する画像選択手段と、を備えたことを特徴とする請求項１記載の画像分類システム。
前記カメラ情報発生手段は、前記カメラに設けられ前記カメラ識別子を示すカメラ無線信号を発するカメラＲＦＩＤタグと、
前記カメラ無線信号を受信して前記カメラ無線信号に基づいて前記カメラ情報を発生するＲＦＩＤリーダと、を含むことを特徴とする請求項１記載の画像分類システム。
前記被写体情報発生手段は、前記被写体に設けられ前記被写体識別子を示す被写体無線信号を発する被写体ＲＦＩＤタグと、
前記被写体無線信号を受信して前記被写体無線信号に基づいて前記被写体情報を発生するＲＦＩＤリーダと、を含むことを特徴とする請求項１記載の画像分類システム。
カメラを識別するカメラ識別子と前記カメラの撮影可能範囲とをそのときの時刻と共に含むカメラ情報を発生し、
前記カメラによってよって撮影される被写体毎に被写体を識別する被写体識別子と被写体の位置情報とをそのときの時刻共に含む被写体情報を発生し、
前記カメラによって撮影された画像データを受信してその受信画像データを識別する画像識別子と、前記受信画像データの撮影時刻と、前記カメラ識別子とを含む撮影情報を発生し、
前記カメラ情報と前記被写体情報と前記撮影情報とに応じて同一時刻に前記撮影可能範囲内に前記被写体の位置が存在する被写体についての前記被写体識別子と前記画像識別子との対応関係を検出することを特徴とする画像分類方法。