JP2004064700A - 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム - Google Patents

画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム Download PDF

Info

Publication number
JP2004064700A
JP2004064700A JP2002223994A JP2002223994A JP2004064700A JP 2004064700 A JP2004064700 A JP 2004064700A JP 2002223994 A JP2002223994 A JP 2002223994A JP 2002223994 A JP2002223994 A JP 2002223994A JP 2004064700 A JP2004064700 A JP 2004064700A
Authority
JP
Japan
Prior art keywords
image
classified
group
images
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002223994A
Other languages
English (en)
Other versions
JP2004064700A5 (ja
Inventor
Tetsujiro Kondo
近藤 哲二郎
Yoshinori Watanabe
渡邊 義教
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002223994A priority Critical patent/JP2004064700A/ja
Publication of JP2004064700A publication Critical patent/JP2004064700A/ja
Publication of JP2004064700A5 publication Critical patent/JP2004064700A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】2以上のカメラを切り替えて撮影されてなる映像を複数のグループに分類することができる画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システムを提供する。
【解決手段】画像分類装置11は、2以上のカメラを切り替えて撮影された時系列の画像列が合成された映像が供給される画像取得部12と、予めグループ毎に分類された分類画像が記憶された分類結果保持部13と、入力画像と分類結果保持部13に記憶されている分類画像とで対応する画素間の輝度信号の差分値を算出し、この入力画像を、差分値が第1の閾値以下である画素数が第2の閾値以上である分類画像と同一のグループに分類する差分値計算部14と、グループ毎に画像を出力する画像出力部15と、これらを制御する制御部16とから構成されている。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、例えばテレビジョン放映された1つの映像を複数のグループに分類する画像分類装置、方法、プログラム、記録媒体、及び画像分類処理システムに関し、特に、2以上のカメラを切り替えて撮影された時系列の画像列が合成された映像から画像を分類する画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システムに関する。
【0002】
【従来の技術】
従来、1つの映像から特定の画像のみを分類する技術がある。例えば、特開平7−288840号公報においては、映像早見又は映像編集等において映像の内容が変化する部分(シーンチェンジ)を検出しシーンの先頭を推定する映像変化点検出方法が開示されている。
【0003】
この公報に記載の映像変化点検出装置は、処理対象となる映像から時系列のフレーム画像をサンプリングし、各フレーム画像単位で1つ前のフレーム画像との類似度を求め時系列のフレーム画像における類似度の差と類似度の値とを閾値処理することにより、カット(映像変化点)を検出するものである。
【0004】
この映像変化点検出装置においては、カットの部分では、フレーム画像間の類似度が相対的に小さい値になることからカット部分を検出することができる。
【0005】
【発明が解決しようとする課題】
ところで、放送局等で製作されテレビジョン放送されている映像は、通常、複数のカメラで撮影されたものが切り替えられて(合成されて)1つの映像として作成されている。上述の特開平7−288840号公報に記載の技術においては、カット部分を検出して、シーンの先頭を推定するのみであるが、このような映像を、例えば各カメラで撮影された映像毎に分類することができれば、映像を異なる視点から視聴することができる。
【0006】
また、例えばトーク番組、又はニュース番組等は人物等の被写体毎に個別にカメラが設置されて撮影されている場合が多く、各カメラ毎に撮影された映像を分類することで、被写体毎の映像に分類することができ、使用者が最も重要であると考えるカメラ映像、即ち被写体の映像を分類して保存することができれば、例えば家庭内で容易に映像の編集等を楽しむことができて便利である。
【0007】
本発明は、このような従来の実情に鑑みて提案されたものであり、2以上のカメラを切り替えて撮影されてなる映像を複数のグループに分類することができる画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像分類装置は、時系列の画像列からなる映像を所定のグループに分類する画像分類装置であって、各グループ毎に分類された分類画像を記憶する記憶手段と、上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段とを有することを特徴とする。
【0009】
本発明においては、入力画像と類似画像との類似度に基づき、入力画像を複数のグループに分類することができ、これにより、例えば複数台のカメラを使用して撮影された場合のカメラの切替前後、又は焦点距離が異なる映像が編集されている場合の焦点距離の違い等における画像間の類似度が小さくなることを利用して、1つの映像から異なるカメラで撮影された映像等を1つのグループとして、複数のグループに分類することができる。
【0010】
また、上記類似度算出手段は、上記類似度が所定の閾値より小さい場合、新規グループを作成し、上記入力画像を該新規グループに分類することができる。
【0011】
更に、上記類似度算出手段は、上記分類画像と上記入力画像との対応する画素の差分値を算出し、該差分値が第1の閾値以下である画素の割合が第2の閾値以上である場合、上記入力画像を上記分類画像と同一グループに分類することができる。
【0012】
更にまた、上記類似度算出手段は、画像間の輝度値及び/又はRGBの値に基づき上記類似度を算出することができる。
【0013】
また、上記類似度算出手段は、入力画像と分類画像との間の動き補償をする動き補償処理手段を有し、動き補償処理された入力画像と分類画像との間の類似度を算出してもよい。これにより、被写体が動いたり、カメラを多少動かしたりした場合の動きに追従することができる。
【0014】
更に、上記映像は2以上のカメラを切り替えて撮影されたものであって、上記グループは、同一のカメラ位置で撮影されたことを示すもの及び/又は同一の被写体を含むものであることを示すものとすることができる。
【0015】
更にまた、表示手段に接続され、同一のグループに分類された画像を同一の表示方法で表示する表示制御手段を有することができ、この表示制御手段は、上記表示手段の表示領域を複数の領域に分割し、同一グループ内の画像は同一の領域に表示するよう制御するか、一方のグループ内の画像を縮小し、他方のグループ内の画像に合成して表示するよう制御するか、又は複数の表示手段に接続され、異なるグループに分類された画像を異なる表示手段にて表示することができ、これにより、例えば2以上のカメラを切り替えて撮影された時系列の画像列が合成された映像等から、該画像の特徴に基づき分類された複数のグループの画像列を、各グループ毎に、複数の表示手段か又は表示手段の表示領域が分割された異なる表示領域に同時に表示することができ、グループ毎に同時に映像を視聴することができる。
【0016】
また、上記表示制御手段は、上記映像に対応する音響信号が供給され、各グループに分類された画像に対応する音響信号に基づいて上記表示方法を決定することができる。
【0017】
本発明に係る画像分類方法は、時系列の画像列からなる映像を所定のグループに分類する画像分類方法であって、記憶手段に、各グループ毎に分類された分類画像を記憶する記憶工程と、上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程とを有することを特徴とする。
【0018】
本発明に係るプログラム及びこれを記録した記録媒体は、時系列の画像列からなる映像を所定のグループに分類する動作をコンピュータに実行させるためのプログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体であって、記憶手段に、各グループ毎に分類された分類画像を記憶する記憶工程と、上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程とを有することを特徴とする。
【0019】
本発明に係る画像分類システムは、少なくとも1つの表示装置と、各グループ毎に分類された分類画像を記憶する記憶手段と、上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段と、上記表示装置に接続され、同一のグループに分類された画像を同一の表示方法で表示する表示制御手段とを具備する画像分類装置とを有することを特徴とする。
【0020】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、テレビジョン放送された映像をその類似度を基に、同一カメラで撮影されたもの毎に分類する画像分類装置に適用したものである。また、その分類結果を使用して複数台のテレビ受像機に分類画像の表示を行う分類装置に適用したものである。
【0021】
通常、放送局で製作された映像は、複数のカメラを切り替えて撮影されたものである。図1は、スタジオで撮影された映像がテレビ放映されるまでの流れを示す模式図である。図1に示すように、例えばトーク番組等を撮影しているスタジオ1において、例えば司会者2,3及びゲスト4を撮影する3台のカメラ5〜7が配置されている。この場合、例えばカメラ5,7は、司会者2,3が画面の中心に撮影できるように配置され、カメラ6はゲスト4が画面の中心に撮影できるように配置されている。これらのカメラ5〜7により撮影された各映像5a〜7aは、編集部8にて編集され、1つの映像となって送信部9からテレビジョン放送される。
【0022】
このように、テレビジョン放送された映像は、複数の視点の画像が合成されて時分割で送信されてくるものである。このようなテレビジョン放送を一般家庭のテレビ受像機等により受信する。本発明の画像分類装置11は、受信者10側において、テレビジョン放送された映像を同じカメラで撮影された画像毎に分類することができるものである。
【0023】
以下、本発明の第1の実施の形態に係る画像分類装置について具体的に説明する。図2は、本実施の形態の画像分類装置を模式的に示すブロック図である。図2に示すように、画像分類装置11は、映像が供給される画像取得部12と、過去の入力画像がその類似度に基づいていくつかのグループに分類され、その分類結果が記憶されている分類結果保持部13と、分類結果保持部13に記憶されている分類画像と新規入力画像との差分値を計算する差分値計算部14と、この差分値が所定の閾値より小さい場合、新規入力画像を当該分類画像と同一のグループとして出力する画像出力部15と、これらを制御する制御部16とから構成されている。
【0024】
画像取得部12は、テレビジョン放送された時系列のフレーム画像からなる映像等が供給され、フレーム単位の画像を差分値計算部14に送る。
【0025】
分類結果保持部13は、図3に示すように、過去に分類されたグループ毎の画像21a〜21cが記録された画像データベース21を有する。
【0026】
差分計算部14は、図3に示す画像データベース21の各グループ21a〜21cの画像と新規入力画像20との類似度に基づき新規入力画像20を各グループ21a〜21cの画像のいずれかに分類することができる。具体的には、新規入力画像20とグループ21a〜21cの画像との差分値が所定の閾値以下の画素数をカウントし、最もカウント値が大きいグループの画像を検索する。ここで、カウント値が所定の閾値に達するものがなく、新規入力画像20が各グループ21a〜21cのいずれにも分類されないと判定された場合は、例えば最も類似度が高いものと同一グループとするか、新しいグループを作成するか、又はそのデータは破棄する等の方法がある。
【0027】
更に、新規入力画像と画像データベース21の各グループ21a〜21cの画像との比較を行う場合には、画像データベース21の各グループ21a〜21cに登録されたものの中で最も新しい画像と比較するか、各グループ21a〜21cに登録された先頭(最も古いデータ)と比較するか、各グループ21a〜21cに登録されている全ての画像と比較し、例えば最も差分値が小さかった結果、又は平均をとった結果等を使用することができる。
【0028】
新規入力画像20と、画像データベース21の各画像との間の類似度判定には様々な方法が考えられるが、本実施の形態においては、対応する画素間の差分値が所定の閾値(第1の閾値)以下である画素数をカウントし、この画素数が所定の閾値(第2の閾値)以上である場合に、類似していると判定するものとする。ここで、類似していると判定された場合は、類似していると判定されたグループの画像データベース21に登録(記録)される。
【0029】
次に、本実施の形態の動作について説明する。図4は、同一カメラで取得された画像毎に新規入力画像を分類する方法を示すフローチャートである。先ず、図4に示すように、画像取得部12により画像(新規入力画像)を取得し(ステップS1)、差分計算部14に送る。差分計算部14は、分類結果保持部13の画像データベースのうち、1つのグループに属する最新の画像(分類画像)を読み出す(ステップS2)。なお、上述したように、ここで読み出す画像は、例えば各グループ毎に最初に登録された画像であっても、各グループに属するグループ内全ての画像を順次読み出してもよい。
【0030】
次に、読み出した分類結果画像と新規入力画像との差分演算を行い(ステップS3)、差分値が第1の閾値以下になる画素数をカウントして保存する(ステップS4)。この第1の閾値としては、例えばRGB空間における距離が5以下である等を使用することができる。そして、全てのグループ毎に差分演算を行ったか否かを確認し(ステップS5)、ステップS4においてカウントしたカウント値が最大のものを検索する(ステップS7)。更に、検索したカウント値が最大のもののカウント値が第2の閾値以上であるか否かを判定し(ステップS8)、閾値以上であれば、既存のグループに分類する。この第2の閾値としては、例えば全画面のうち例えば30%の画素にあたる画素数等とすることができ、この場合は、第1の閾値以下である画素数が全体の30%以上カウントされた場合を変化していないものと見なすことができる。一方、カウント値が第2の閾値未満であれば、この新規入力画像はいずれのグループにも属さないとし、この新規入力画像は新しいグループに属するものとする(新規グループを生成する)(ステップS9)。最後に、分類結果保持部13に、グループ毎に画像を保存する(ステップS10)。
【0031】
次に、上述のステップステップS4乃至ステップS7について更に詳細に説明する。図5は、差分計算部14における差分値計算方法を示すフローチャートである。あるシーンが過去に受信した画像と近いか否かを評価する場合、輝度情報を使用して下記式(1)で示す式か、又は色情報を使用して下記式(2)で示す式により差分を計算することができる。
【0032】
【数1】
Figure 2004064700
【0033】
【数2】
Figure 2004064700
【0034】
ここで、Dは差分値、Yは輝度値、xは水平方向の位置、yは垂直方向の位置、RGBは各色の強度に対応する値とする。
【0035】
そして、上記式(1)又は(2)を使用して差分値の評価を行う。先ず、図5に示すように、最初、差分の評価値=0とする(ステップS11)。そして、上記式(1)又は式(2)により算出された差分値D≦第1の閾値であるか否かを判定し(ステップS12)、差分値D≦第1の閾値であるとき、その画素は変化していないとして、評価値のカウントを1つインクリメントする(ステップS13)。そして、1フレームの画像について全ての画素について差分値を比較したか否かを確認し(ステップS14)、全ての画素の評価値を算出したらこの評価値を出力する(ステップS15)。そして、評価値のカウント値≧第2の閾値であるとき、同じシーン(グループ)の候補とする。この処理を、既存のシーン(グループ)全てと比較した後、候補となった画像で、更に評価値の比較を行い、最も評価大きくなったものと同じカメラの画像とすることができる。この計算は、全ての画素について行ってもよいが、一部の画素、例えば10画素毎に所定の位置の1画素を取り出して行ってもよい。
【0036】
また、上述のステップステップS4乃至ステップS7においては、差分値が所定以下の画素が所定数以上ある場合に同一グループに属するものとしたが、画素差分値を積分し、この積分値が所定値以下である場合に同一グループに属するものと判断してもよい。
【0037】
即ち、前述のアルゴリズムにおいては、差分を計算してから、変化が少ない画素を特定し、変化が少ない画素数が所定の閾値以上の場合に、同一カメラで取得された画像として同一のグループに属すると判定していたが、単純に画素の差分を画面全体で足したものを、例えば下記式(3)により計算し、その結果が所定の閾値以下のとき同一のカメラで取得された画像としてもよい。
【0038】
【数3】
Figure 2004064700
【0039】
更に、被写体が動いたり、カメラを多少動かしたりすることにより、撮影対象が動く場合がある。このような場合、被写体の動きに追従するために動き補償処理を追加してもよい。図6は、動き補償処理を説明する模式図であり、図7は、動き補償の方法を示すフローチャートである。
【0040】
図6(a)に示す記憶している分類画像と、図6(b)に示す新規入力画像との間で動きベクトルを計算して、動いた分を戻す(移動する)、即ち新規入力画像に動き補償を施した図6(c)に示す結果画像を得ることにより、差分値が正しくカウントされるようになる。
【0041】
即ち、図7に示すように、保存画像と新規入力画像との間で動きベクトルを求め(ステップS21)、動きベクトル分だけ画像を移動して、評価値を計算し(ステップS23)、その評価値を出力する(ステップS24)。
【0042】
なお、この動き補償処理は、分類する映像の種類等、必要に応じて設ければよく、また、図4のステップS7において、例えば画素数のカウント値が所定の閾値未満であった場合、即ち、差分値が大きい場合にのみ、その分類画像と新規入力画像との間で動きベクトルを検出するようにしてもよい。
【0043】
次に、本発明の第2の実施の形態について説明する。本実施の形態は、画像分類装置によって分類された複数の分類結果を表示するためのものである。以下、3通りの分類結果の表示方法について説明する。第1の方法は、1つの分類装置に複数台の例えばテレビ受像機等の表示装置を接続して、各表示装置に分類された画像(映像)を表示する例である。図8は、画像分類装置による分類結果を表示する第1の分類画像処理装置を模式的に示すブロック図である。以下、図8乃至図18において、同一の構成には同一の符号を付してその詳細な説明は省略する。
【0044】
図8に示すように、第1の分類画像処理装置30aは、入力画像を所定のグループ毎に分類する画像分類装置111と、この画像分類装置111により分類された分類画像を各グループ毎に記憶する分類結果保持部31と、分類結果保持部31に記憶された各グループ毎の分類画像を振り分ける画像分離部32と、画像分離部32から所定のグループの分類画像が供給されて表示装置に出力する3つの出力インターフェース33a〜33cから構成されている。
【0045】
図9は、第2の実施の形態に係る画像分類装置111を示すブロック図である。図9に示すように、本実施の形態の画像分類装置111は、時系列のフレーム画像からなる映像が入力される画像分類部115、類似度判定部114、及び登録画像保持部113と、これらを制御する制御部116とから構成されている。
【0046】
図2に示す分類結果保持部13は、差分値計算部14において差分値が計算されて、所定のグループ又は新規グループに分類される分類画像を全てを保持するものであったが、図9に示す本第2の実施の形態の画像分類装置111は、入力画像との差分値をとって所定のグループに分類するために、各グループ毎に代表となる分類画像(以下、登録画像という。)、例えば各グループ内で最初に分類された画像等を登録画像として保持する登録画像保持部113を有する。各グループに分類された全ての分類画像は、画像分類部115から所定のグループを識別する識別情報と共に出力され分類結果保持部31に記憶されるものとする。
【0047】
制御部116は、複数の既存のグループを順次選択する制御信号116aを登録画像保持部113、類似度判定部114、画像分類部115に供給する。登録画像保持部113は、制御信号116aにより選択されたグループの登録画像を類似度判定部114に供給する。
【0048】
類似度判定部114は、選択されたグループの登録画像と入力画像との類似度が所定の閾値以上であるか否かを判定する。ここで、所定の閾値以上である場合、制御信号114aを画像分離部115に入力する。画像分類部115は、この制御信号114aにより、入力画像が制御信号116aが選択したグループであることを示す識別情報を該入力画像に付して分類結果保持部31に出力する。
【0049】
一方、類似度判定部114において、入力画像と制御信号116aにより選択されたグループの登録画像との類似度が所定の類似度未満である場合、制御部116は、次のグループを選択する制御信号116aを各処理部に送信する。そして、全てのグループの登録画像と入力画像との類似度判定が終了し、いずれのグループの登録画像とも類似していないと判定された場合は、類似度判定部114から制御信号114aが登録画像保持部113に入力される。これにより、登録画像保持部113は、その入力画像を新規グループの登録画像として保持する。画像分類部115は、入力画像が新規グループの場合、新規グループを識別する識別情報を生成してこれと共に入力画像を分類保持部31に送る。
【0050】
分類結果保持部31は、画像分類装置111により分類された画像を、所定のグループを識別する識別情報から所定のグループ毎に保持する。このように、本実施の形態においては、分類結果保持部31が画像分類装置111とは別に設けられるものとしたが、上述の第1の実施の形態に示すように、画像分類装置11に分類結果保持部を設けてもよい。
【0051】
画像分離部32は、分類画像を各グループ毎に異なる出力インターフェース33a〜33cを介して各表示装置に出力する。即ち、各表示装置に所定のグループの画像列を供給する。本実施の形態においては、3つの表示装置に接続された場合であって、画像分類装置により分類された所定のグループの画像列が表示装置に供給されるものとする。ここで、3以上のグループに分類される場合は、そのうち選択された所定のグループの画像列を表示装置に供給するものとする。これにより、図10に示すように、1つのアンテナ40により受信された1つテレビジョン放送が画像分類処理装置30aに供給され、その映像が各グループ毎に分類され、各表示装置41乃至43に供給されて表示される。
【0052】
図11は、第1の分類画像処理装置の分類画像の表示方法を示すフローチャートである。図11に示すように、先ず、各表示装置等により分類結果保持部31の画像データベースに対して、所定のグループの画像のリクエスト(要求)をするか、画像分離部32が所定の表示装置を選択する(ステップS31)。画像分類部32はグループ毎の画像を各表示装置に出力し(ステップS32)、終了判定して(ステップS33)、再びステップS31に戻り処理を繰り返す。
【0053】
次に、第2の分類結果の表示方法について説明する。第2の方法は、1つの表示装置に対して複数の分類画像を同時に表示するために、1つの表示画面の領域を区切って表示する場合である。図12は、画像分類装置による分類結果を表示する第2の分類画像処理装置を模式的に示すブロック図である。図12に示すように、第2の分類画像処理装置30bは、図9に示す画像分類装置111及び画像分離部32の後段に、画像合成部34及び出力部35が設けられているものであり、この出力部35から複数のグループ毎の画像が合成され1つの表示装置にデータが供給される。
【0054】
画像分離部32からの各分類画像を1つの出力に統合する方法としては、画像の上に縮小した別の画像を重ねるピクチャインピクチャ(picture in picture)、又は画像を例えば4分割して各分割領域に1/4に縮小した画像を表示する等の方法がある。これらの方法により、画像合成部34は複数のグループに分類されている各グループの分類画像を同時に表示画面に表示できるように1つの画像に合成する。これにより、図13に示すように、アンテナ40により受信されたテレビジョン放送が分類画像処理装置30bに供給され、分類され統合された画像が合成され表示装置41に表示される。図13には、表示装置41に3つのグループの分類画像44a〜44cが、ピクチャインピクチャにより、分類画像44aに分類画像44b,44cが重ねられて表示される例を示している。
【0055】
図14は、第2の分類画像処理装置の分類画像の表示方法を示すフローチャートである。図14に示すように、表示装置の所定の表示領域に所定のグループの画像を表示するよう使用者等により分類結果保持部31の画像データベースに対して、所定のグループの画像のリクエスト(要求)をする(ステップS41)。画像分類部32には要求があった画像が供給され、画像合成部34がこれらの画像が所定の領域に表示されるように合成し(ステップS42)、出力部35を介して合成画像が表示装置に出力される(ステップS43)。その後、終了判定して(ステップS44)、ステップS41に戻り処理を繰り返す。
【0056】
次に、第3の分類結果の表示方法について説明する。第3の方法は、図8に示す画像分離部を設けず、各表示装置毎に分類画像装置を設けて表示する分散型の場合である。図15は、分類装置の分類結果を表示する第3の分類画像処理装置を模式的に示すブロック図である。
【0057】
図15に示すように、第3の分類画像処理装置30cにおいては、図2に示す上述の画像分類装置111a〜111cにより分類され分類結果保持部31a〜31cに記録された所定グループの分類画像が、所定の出力インターフェース36a〜36cに送られる。ここで、これら画像分離装置111a〜111c、分類結果保持部31a〜31c、及び出力インターフェース36a〜36cから分散型処理装置50a〜50cが構成され、各分散型処理装置は、図16に示す表示手段41〜43に個別に設けられている。この場合も、図8乃至図11に示したように、3つの表示装置に分類画像を表示させるものであるが、例えば分散型処理装置50a〜50cにおいて、相互に通信する等して出力するグループを決定する等により、出力インターフェースを介して各表示装置41〜43において所定のグループの分類画像を表示させることができる。
【0058】
図17は、第3の分類画像処理装置の分類画像の表示方法を示すフローチャートである。図17に示すように、分類結果保持部31の画像データベースに対して、画像を供給するようリクエスト(要求)されると(ステップS51)、各分類結果保持部は、画像をその表示装置に出力し(ステップS52)、終了判定して(ステップS53)、再びステップS51に戻り処理を繰り返す。
【0059】
なお、テレビジョン放送等は映像信号と共に音響信号も受信されるが、音響信号は、映像をグループ毎に分類した際に、例えば同じタイミングで各画像と共に表示装置に出力することができる。
【0060】
また、画像分類装置において、入力画像を所定のグループ毎に分類する際、画像データは使用せず、又は使用して類似度を求めると共に、音響信号により映像を分類するものとしてもよい。例えば、入力画像を所定のグループに分類する類似度算出手段として、複数の発話者の音声が登録された音声データベース設け、上記映像に対応する音響信号を上記音声データベースに登録された各発話者と比較する等して、同一の発話者が発話しているか否かを特定する話者認識によって、同一の発話者が発話している期間に対応する映像を同一のグループに分類するようにしてもよい。
【0061】
上述の第1及び第3の分類画像処理装置において、各表示装置に対してどのグループに分類された画像を出力するか、即ち、どのカメラからの画像を出力するかは、予め設定する他、最初、又は新しいカメラからの入力が合った場合、即ち、新規入力画像が新しいグループに分類される毎に、使用者に対してどのテレビに表示するかの指示を要求してもよい。また、上述したように、各分散型処理装置間の通信によって決定してもよい。更に、後述する音声信号により決定する等することもできる。また、第2の分類画像処理装置において、表示領域の分割方法等についても同様に、使用者により分割方法等を設定できるようにしてもよい。
【0062】
次に、各グループに分類された画像をどのテレビに表示するかを音声信号に基づいて決定する方法について説明する。このように、音声に基づいて表示装置を決定するのは、例えば、新規のグループが生成された場合(新規のシーンが送られてきた場合)に行われるものとする。図18は、3つのグループ(シーン)に分類される分類画像の分類方法を説明する説明図である。図18(b)は、図18(a)に示す各シーン60a,60b,60cにおける左右の音の大きさレベルを示す。例えば図18(c)に示すように、視聴環境61において3つの表示装置が配置されている場合、図18(b)に示すように、左右の音量のうち、左の音量が大きいグループは、視聴環境61において左側に配置される左テレビ61aに表示し、左右の音量レベルがほぼ同一のグループは、中央に配置される中央テレビ61bに表示し、右の音量が大きいグループは、右側に配置される右テレビ61cに表示することができる。
【0063】
このような音声信号に基づいて表示装置を決定する方法としては、単に入力画像の音声信号のみから決定する第1の方法と、過去の分類済みのグループ化されたものと比較して決定する第2の方法とがある。
【0064】
図19は、画像表示装置の第1の決定方法を示すフローチャートである。図19に示すように、新規のグループに分類された画像がステレオ放送か否かが判定され(ステップS61)、ステレオ放送であれば左右の音量レベル差が計測される(ステップS62)。そして、左の音量が大きいか否かが判定され(ステップS63)、左の音量が大きい場合は左側の表示装置に表示する。また、ステップS63で、左の方が音量が大きくないと判断された場合、右の音量が大きいか否かが判定され(ステップS64)、右の音量が大きければ右側の表示装置に表示される(ステップS66)。またステップS64において、右側も大きくないと判断された場合は中央に表示する(ステップS67)。なお、ステップS61でステレオ放送でないと判定された場合は、このような処理を行うことができないため、例えば手動で表示装置を決定することができる。なお、図19では、3つの表示装置に表示する画像を決定する方法を説明したが、表示装置が3つ以上ある場合も、同様に、音量レベルに基づいていずれかの表示装置を選択するように設定しておけばよい。また、表示装置が上述のように3つであって、分類されているグループが4以上ある場合は、新規入力画像は、最初に分類された3つのグループのいずれかに分類するか、新たなグループの画像は表示せずに例えば記憶手段を設けて記憶しておくか、若しくは破棄するか、又は、上述のように、1つの表示領域を分割して複数グループの画像を1つの表示装置に表示すること等できる。
【0065】
また、上述の音量レベルを単に比較する方法とは異なり、過去のシーン(グループ)との比較を行うこともできる。図20は、画像表示装置の第2の決定方法を示すフローチャートである。図20に示すように、先ず、ステレオ放送か否かを判定し(ステップS71)、左右の音量レベル差を計測し(ステップS72)、現在表示している分類画像のグループの音量差をメモリから読み出し(ステップS73)、現在表示しているシーン毎にソートし(ステップS74)、左の方の音量が大きいシーンを左に表示し(ステップS75)、右の方の音量が大きいシーンを右に表示し、現シーンのレベル差を保持する(ステップS76)。そして、ステップS71に戻り処理を繰り返す。
【0066】
本実施の形態においては、分類結果をそのままデータベースに保存することができるため、擬似的に人物や、被写体毎に整理された画像のデータベースが構築可能となり、更に、複数台の画像表示装置にリアルタイムで表示を行うことができる。これにより、被写体毎に表示位置を変えることで楽しい視聴環境を構築することができる。
【0067】
通常、固定された複数台のカメラで撮影された映像が編集されて放送された場合のテレビジョン映像を各カメラで撮影された映像毎に分類することにより、1つの映像からグループ毎に分類した画像を複数台の表示装置又は1台の表示装置に設けられた複数の表示領域に同時に表示することができる。この結果をデータベースに保存すれば、擬似的に人物又は物等の被写体毎に画像を整理し、データベースを構築することが可能である。更に、複数台の画像表示装置にリアルタイムで表示を行うことができるため、被写体毎に表示装置(表示位置)を替えて楽しい視聴環境を構築することができる。また、例えば使用者の要求度が低いカメラ位置の画像を縮小表示する等、使用者自身の要望を反映した映像の編集が可能となる。
【0068】
【発明の効果】
以上詳細に説明したように本発明に係る画像分類装置は、時系列の画像列からなる映像を所定のグループに分類する画像分類装置であって、各グループ毎に分類された分類画像を記憶する記憶手段と、上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段とを有するので、入力画像と分類画像との差分値に基づき、入力画像を複数のグループに分類することができ、これにより、カメラが切り替わればその時点での画像の類似度が小さくなることを利用して、例えば1つの映像を異なるカメラで撮影された映像毎に異なるグループとして分類することができる。
【図面の簡単な説明】
【図1】スタジオで撮影された映像がテレビ放映されるまでの流れを示す模式図である。
【図2】本発明の第1の実施の形態に係る画像分類装置を模式的に示すブロック図である。
【図3】本発明の第1の実施の形態に係る画像分類装置の画像データベースを示す模式図である。
【図4】本発明の第1の実施の形態に係る画像分類装置における新規入力画像を分類する方法を示すフローチャートである。
【図5】本発明の第1の実施の形態に係る画像分類装置の差分計算部14における差分値計算方法を示すフローチャートである。
【図6】本発明の第1の実施の形態に係る画像分類装置の動き補償の原理を説明する模式図である。
【図7】本発明の第1の実施の形態に係る画像分類装置の動き補償の方法を示すフローチャートである。
【図8】本発明の第2の実施の形態における第1の分類画像処理装置を模式的に示すブロック図である。
【図9】本発明の第2の実施の形態に係る画像分類装置を示すブロック図である。
【図10】本発明の第2の実施の形態における第1の表示方法であって、1つの分類装置を複数台のテレビ受像機に接続して各表示装置に分類された画像を表示する例を示す模式図である。
【図11】第1の分類結果の表示方法を示すフローチャートである。
【図12】本発明の第2実施の形態における第2の分類画像処理装置を模式的に示すブロック図である
【図13】本発明の第2の実施の形態における第2の表示方法であって、1つの表示装置に複数の分類画像を同時に表示するために、表示画面の領域を区切って表示する例を示す模式図である。
【図14】第2の分類結果の表示方法を示すフローチャートである。
【図15】本発明の第2実施の形態における第3の分類画像処理装置を模式的に示すブロック図である。
【図16】本発明の第2実施の形態における第2の表示方法であって、各表示装置毎に分類画像装置を設けて表示する例を示す模式図である。
【図17】第3の分類結果の表示方法を示すフローチャートである
【図18】3つのグループに分類される分類画像の分類方法を説明する説明図である。
【図19】音声に基づき、分類画像を表示するための表示装置を決定する第1の方法を示すフローチャートである
【図20】音声に基づき、分類画像を表示するための表示装置を決定する第2の方法を示すフローチャートである。
【符号の説明】
2,3 司会者、4 ゲスト、5,6,7 カメラ、5a,6a,7a 映像、8 編集部、9 送信部、10 受信者、11、111、111a,111b,111c 画像分類装置、12 画像取得部、13、31、31a,31b,31c 分類結果保持部、14 差分値計算部、15 画像出力部、16 制御部、21a,21b,21c 画像、21 画像データベース、20 新規入力画像、30a,30b,30c 分類画像処理装置、32 画像分離部、33a,33b,36a,36b 出力インターフェース、34 画像合成部、35 出力部、40 アンテナ、41,42,43 表示装置、50a,50b,50c 分散型処理装置

Claims (25)

  1. 時系列の画像列からなる映像を所定のグループに分類する画像分類装置であって、
    各グループ毎に分類された分類画像を記憶する記憶手段と、
    上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段と
    を有することを特徴とする画像分類装置。
  2. 上記類似度算出手段は、上記類似度が所定の閾値より小さい場合、新規グループを作成し、上記入力画像を該新規グループに分類する
    ことを特徴とする請求項1記載の画像分類装置。
  3. 上記類似度算出手段は、上記分類画像と上記入力画像との対応する画素の差分値を算出し、該差分値が第1の閾値以下である画素の割合が第2の閾値以上である場合、上記入力画像を上記分類画像と同一グループに分類する
    ことを特徴とする請求項1記載の画像分類装置。
  4. 上記類似度算出手段は、画像間の輝度値及び/又はRGBの値に基づき上記類似度を算出する
    ことを特徴とする請求項1記載の画像分類装置。
  5. 上記類似度算出手段は、入力画像と分類画像との間の動き補償をする動き補償処理手段を有し、動き補償処理された入力画像と分類画像との間の類似度を算出する
    ことを特徴とする請求項1記載の画像分類装置。
  6. 上記映像は2以上のカメラを切り替えて撮影されたものであって、上記グループは、同一のカメラ位置で撮影されたことを示すもの及び/又は同一の被写体を含むものであることを示すものである
    ことを特徴とする請求項1記載の画像分類装置。
  7. 表示手段に接続され、同一のグループに分類された画像を同一の表示方法で表示する表示制御手段を有する
    ことを特徴とする請求項1記載の画像分類装置。
  8. 上記表示制御手段は、上記表示手段の表示領域を複数の領域に分割し、同一グループ内の画像は同一の領域に表示するよう制御する
    ことを特徴とする請求項7記載の画像分類装置。
  9. 上記表示制御手段は、一方のグループ内の画像を縮小し、他方のグループ内の画像に合成して表示するよう制御する
    ことを特徴とする請求項7記載の画像分類装置。
  10. 上記表示制御手段は、複数の表示手段に接続され、異なるグループに分類された画像を異なる表示手段にて表示するよう制御する
    ことを特徴とする請求項7記載の画像分類装置。
  11. 上記表示制御手段は、上記映像に対応する音響信号が供給され、各グループに分類された画像に対応する音響信号に基づいて上記表示方法を決定する
    ことを特徴とする請求項7記載の画像分類装置。
  12. 時系列の画像列からなる映像を所定のグループに分類する画像分類方法であって、
    記憶手段に、各グループ毎に分類された分類画像を記憶する記憶工程と、
    上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と
    を有することを特徴とする画像分類方法。
  13. 上記類似度算出工程では、上記類似度が所定の閾値より小さい場合、新規グループが作成され、上記入力画像が該新規グループに分類される
    ことを特徴とする請求項12記載の画像分類方法。
  14. 上記類似度算出工程では、上記分類画像と上記入力画像との対応する画素の差分値が算出され、該差分値が第1の閾値以下である画素の割合が第2の閾値以上である場合、上記入力画像が上記分類画像と同一グループに分類される
    ことを特徴とする請求項12記載の画像分類方法。
  15. 上記類似度算出工程では、画像間の輝度値及び/又はRGBの値に基づき上記類似度が算出される
    ことを特徴とする請求項12記載の画像分類方法。
  16. 上記類似度算出工程では、入力画像と分類画像との間の動き補償をする動き補償処理工程を有し、動き補償処理された入力画像と分類画像との間の類似度が算出される
    ことを特徴とする請求項12記載の画像分類方法。
  17. 上記映像は2以上のカメラを切り替えて撮影されたものであって、上記グループは、同一のカメラ位置で撮影されたことを示すもの及び/又は同一の被写体を含むものであることを示すものである
    ことを特徴とする請求項12記載の画像分類方法。
  18. 表示手段に接続され、同一のグループに分類された画像を同一の表示方法で表示する表示制御工程を有する
    ことを特徴とする請求項12記載の画像分類方法。
  19. 上記表示制御工程では、上記表示手段の表示領域を複数の領域に分割し、同一グループ内の画像は同一の領域に表示するよう制御される
    ことを特徴とする請求項18記載の画像分類方法。
  20. 上記表示制御工程では、一方のグループ内の画像を縮小し、他方のグループ内の画像に合成して表示するよう制御される
    ことを特徴とする請求項18記載の画像分類方法。
  21. 上記表示制御工程では、複数の表示手段に接続され、異なるグループに分類された画像を異なる表示手段にて表示するよう制御される
    ことを特徴とする請求項18記載の画像分類方法。
  22. 上記表示制御工程では、上記映像に対応する音響信号が供給され、各グループに分類された画像に対応する音響信号に基づいて上記表示方法が決定される
    ことを特徴とする請求項18記載の画像分類方法。
  23. 時系列の画像列からなる映像を所定のグループに分類する動作をコンピュータに実行させるためのプログラムであって、
    記憶手段に、各グループ毎に分類された分類画像を記憶する記憶工程と、
    上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と
    を有することを特徴とするプログラム。
  24. 時系列の画像列からなる映像を所定のグループに分類する動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    記憶手段に、各グループ毎に分類された分類画像を記憶する記憶工程と、
    上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出工程と
    を有することを特徴とするプログラムが記録された記録媒体。
  25. 時系列の画像列からなる映像を所定のグループに分類する画像分類システムであって、
    少なくとも1つの表示装置と、
    各グループ毎に分類された分類画像を記憶する記憶手段と、上記記憶手段に記憶された各グループ内の1以上の分類画像と入力画像との類似度を算出し、該入力画像を上記類似度が所定の閾値以上である分類画像と同一のグループに分類する類似度算出手段と、上記表示装置に接続され、同一のグループに分類された画像を同一の表示方法で表示する表示制御手段とを具備する画像分類装置と
    を有することを特徴とする画像分類システム。
JP2002223994A 2002-07-31 2002-07-31 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム Pending JP2004064700A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002223994A JP2004064700A (ja) 2002-07-31 2002-07-31 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002223994A JP2004064700A (ja) 2002-07-31 2002-07-31 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007304783A Division JP4165615B2 (ja) 2007-11-26 2007-11-26 画像表示装置、画像表示方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2004064700A true JP2004064700A (ja) 2004-02-26
JP2004064700A5 JP2004064700A5 (ja) 2005-10-27

Family

ID=31943606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002223994A Pending JP2004064700A (ja) 2002-07-31 2002-07-31 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム

Country Status (1)

Country Link
JP (1) JP2004064700A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244462A (ja) * 2005-01-10 2006-09-14 Fuji Xerox Co Ltd 有用画像を検出して有用度順に画像をランク付けする方法、システム、装置および画像をランク付けするプログラム
JP2007150491A (ja) * 2005-11-25 2007-06-14 Nikon Corp カメラ、および画像管理プログラム
KR100726473B1 (ko) 2005-11-05 2007-06-19 주식회사 칼라짚미디어 이미지 분별 장치 및 그 방법
CN112069981A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244462A (ja) * 2005-01-10 2006-09-14 Fuji Xerox Co Ltd 有用画像を検出して有用度順に画像をランク付けする方法、システム、装置および画像をランク付けするプログラム
KR100726473B1 (ko) 2005-11-05 2007-06-19 주식회사 칼라짚미디어 이미지 분별 장치 및 그 방법
JP2007150491A (ja) * 2005-11-25 2007-06-14 Nikon Corp カメラ、および画像管理プログラム
JP4665731B2 (ja) * 2005-11-25 2011-04-06 株式会社ニコン カメラ、および画像管理プログラム
CN112069981A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP6267961B2 (ja) 映像提供方法および送信装置
US8866943B2 (en) Video camera providing a composite video sequence
US9940969B2 (en) Audio/video methods and systems
US8208792B2 (en) Content shooting apparatus for generating scene representation metadata
CN101048803B (zh) 一种计算输出差异图的方法、器件及相应设备
US8169510B2 (en) Data processing device, data processing method, and storage medium
US20130235223A1 (en) Composite video sequence with inserted facial region
CN101552890B (zh) 信息处理设备、信息处理方法
KR20060028644A (ko) 촬상 장치, 화상 기록 장치 및 화상 기록 방법
US20120169840A1 (en) Image Processing Device and Method, and Program
JP2006031678A (ja) 画像処理
KR102425159B1 (ko) 샘플 이미지 세트 획득 방법 및 장치
JP4165615B2 (ja) 画像表示装置、画像表示方法、プログラム、及び記録媒体
JP2007328755A (ja) 画像処理装置、画像処理方法およびプログラム
JP6882057B2 (ja) 信号処理装置、信号処理方法、およびプログラム
KR101558659B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
JP2007053496A (ja) 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
JP5868991B2 (ja) 動画記録中の音声のオーディオ信号再生を向上させる方法およびアセンブリ
JP2014082746A (ja) 情報処理装置、情報処理方法
US8022988B2 (en) Display apparatus and computer program
US20120229678A1 (en) Image reproducing control apparatus
JP2003061038A (ja) 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
US9113153B2 (en) Determining a stereo image from video
JP2004064700A (ja) 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム
JP2018006826A (ja) 音声信号処理装置および音声信号処理方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070925