JP2019036902A - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

Abstract

【課題】複数の映像データを連結する処理の高速化を実現する。【解決手段】 映像処理装置１は、複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段２２と、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定する判定手段２３と、輝度が所定の閾値よりも高い場合、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段２４と、輝度が所定の閾値よりも高い場合、シーム算出手段２４が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ１５を出力し、輝度が所定の閾値よりも低い場合、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ１５を出力する連結フレーム出力手段２５を備える。【選択図】 図１

Description

本発明は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置、映像処理方法および映像処理プログラムに関する。

近年、複数のカメラで撮影した映像データをつなぎ合わせて、一つのパノラマ映像や全天球型の映像として再構成する画像処理が普及している。このような技術において、大きいスクリーンで迫力のある映像を出力することが可能になるため、映像の品質の向上が求められる（例えば非特許文献１参照）。非特許文献１は、画像のパノラマ合成の技術に関して、被写体を多層平面で表現する信頼度マッピング法と２次元画像処理を施して、映像の美しさは向上することを開示する。

しかしながら、映像品質の向上に伴い、画像処理における計算コストが負担となり、計算コストの削減が期待されている。非特許文献１に記載の技術では、計算機負荷が非常に高くなり処理速度が低下してしまう場合がある。

具体的には、複数の４Ｋ映像（３８４０×２１６０ｐ、６０ｆｐｓ）を処理する場合、１映像につき１秒間に処理しなければならないデータ量は、６Ｇｂｉｔｓに及ぶ。複数のカメラで撮影した映像を繋ぎ合せてライブ配信したいと考えた場合、その画像処理システムには大きな負荷がかかり、ライブ配信が実現できないような処理時間がかかってしまう場合が考えられる。

そこで、ライブ配信可能な実用性を担保するために、繋ぎ目の自然さとともに高速処理（ライブ配信用の実時間処理）を実現する技術が開示されている（非特許文献２参照）。非特許文献１においては、各映像データのフレームデータを縮小して、つなぎ目を算出する技術を開示する。

磯貝 愛、國田 豊、木全 英明、"画像領域に適応したパノラマ映像生成技術の提案"、IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24 菊地 由実、小野 朗、"4K×N パノラマコンテンツのリアルタイム生成および評価"、信学技報, vol. 116, no. 73, MVE2016-2, pp. 23-28, 2016年6月

しかしながら、非特許文献２に記載されるように高速処理を実行している場合でも、映像処理装置の処理能力や、入力される映像データ量などによっては、リアルタイムに映像データを処理することが難しくなる場合が考えられる。従って、複数の映像データを連結して出力する処理において、さらに高速化が求められる場合がある。

そこで本発明は、複数の映像データを連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することである。

本発明の第１の特徴は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置に関する。第１の特徴に係る映像処理装置は、複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定する判定手段と、輝度が所定の閾値よりも高い場合、互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、輝度が所定の閾値よりも高い場合、シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力し、輝度が所定の閾値よりも低い場合、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段を備える。

処理領域は、互いに隣接するフレームデータの各画素であっても良い。

処理領域は、互いに隣接するフレームデータのそれぞれにおいて、互いに隣接するフレームデータが重複する重複領域の画素であっても良い。

処理領域は、互いに隣接するフレームデータの一方のフレームデータのうち、互いに隣接するフレームデータが重複する重複領域の画素であっても良い。

所定のつなぎ目は、直近に算出されたつなぎ目であっても良い。

所定のつなぎ目は、デフォルトのつなぎ目であっても良い。

本発明の第２の特徴は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法に関する。本発明の第２の特徴に係る映像処理方法は、コンピュータが、複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、コンピュータが、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定するステップと、輝度が所定の閾値よりも高い場合、コンピュータが、互いに隣接するフレームデータとのつなぎ目を算出し、算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップと、輝度が所定の閾値よりも低い場合、コンピュータが、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップを備える。

本発明の第３の特徴は、コンピュータに、本発明の第１の特徴に記載の映像処理装置として機能させるための映像処理プログラムに関する。

本発明によれば、複数の映像データを連結する処理の高速化を実現することが可能な映像処理装置、映像処理方法および映像処理プログラムを提供することができる。

本発明の実施の形態に係る映像処理装置のハードウエア構成および機能ブロックを説明する図である。 本発明の実施の形態に係る映像処理装置に入力されるフレームデータを説明する図である。 本発明の実施の形態に係る映像処理装置に入力されるフレームデータの重複領域を説明する図である。 本発明の実施の形態に係る映像処理装置がフレームデータをつなぎ目で連結した連結フレームデータを説明する図である。 本発明の実施の形態に係る処理を説明するフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（概要）
図１に示す本発明の実施の形態に係る映像処理装置１は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ。映像処理装置１は、各映像データから同時に撮影されたフレームデータにおいて、適切なつなぎ目（シーム）を探索して、探索されたつなぎ目で各フレームデータを繋いで、映像データを再構成する。

本発明の実施の形態において、映像処理装置１に入力される複数の映像データは、横方向に撮影領域を重ねて撮影された複数の映像データである場合を説明するが、これに限らない。複数の映像データは、縦方向に撮影領域を重ねて撮影されても良いし、縦方向および横方向に撮影領域を重ねて撮影されても良い。なお、各映像データおよび各映像データを出力するカメラは、厳密な意味で、縦方向または横方向（垂直方向または水平方向）に隣接していなくとも良い。

図１に示す映像処理装置１は、複数のカメラＣ１およびＣ２から入力される複数の映像データを連結して、一つの映像データを出力する。本発明の実施の形態においては、複数のカメラＣ１およびＣ２が、横２列に配列される場合を説明するが、これに限るものではない。映像処理装置１に入力される映像データを撮影するカメラは、例えば、縦２行および横３列に配列される６個のカメラ、縦方向または横方向に配列される３個のカメラなど、任意のカメラの数および配列に適用することができる。

図２ないし図４を参照して、本発明の実施の形態に係る映像処理装置１が、映像データをつなぐ処理の概要を説明する。

映像処理装置１は、複数の映像データから、同時に撮影されたフレームデータを取得する。例えば図２に示すように、同時に撮影された第１のフレームデータＦ１および第２のフレームデータＦ２を考える。第１のフレームデータＦ１の撮影領域の右側と、第２のフレームデータＦ２の撮影領域の左側は、重複する。

第１のフレームデータＦ１の撮影領域の右側で撮影された特徴点と、第２のフレームデータＦ２の撮影領域の左側で撮影された特徴点とが一致するように、第１のフレームデータＦ１と第２のフレームデータＦ２とを重ねる。

この結果、図３に記載するように、左右方向の中心近傍に重複領域Ｒが形成される重複フレームデータＦ０が得られる。なお図２に示す各フレームデータは、重複フレームデータＦ０が矩形になるように模式的に示しているが、各カメラの角度が異なるなどの場合、一部のフレームデータが斜めに配設される場合もある。

映像処理装置１は、重複フレームデータＦ０のうちの重複領域Ｒにおいて、各フレームデータのつなぎ目ＳＥＭを決定する。映像処理装置１は、各フレームデータのつなぎ目ＳＥＭを決定すると、図４に示すように、各フレームデータを決定したつなぎ目で切り離して連結し、連結フレームデータ１５を生成する。映像処理装置１は、第１のフレームデータＦ１および第２のフレームデータＦ２をそれぞれつなぎ目ＳＥＭで切断して、第１のフレームデータｆ１および第２のフレームデータｆ２を生成する。映像処理装置１は、第１のフレームデータｆ１および第２のフレームデータｆ２をつなぎ合わせて、連結フレームデータ１５を生成する。

ここで本発明の実施の形態に係る映像処理装置１は、同時に撮影された各フレームデータについて逐次つなぎ目を算出することなく、フレームデータの輝度に応じて、つなぎ目を算出するか否かを決定することで、画像データの高精細化と処理の高速化を両立する。つなぎ目の動きに起因して画面のちらつきが発生する場合があるが、フレームデータの輝度が高く明るい画像データの場合、人間はそのちらつきに気付きやすく、輝度が低く暗い画像データの場合、人間はそのちらつきに気付きにくい傾向がある。そこで本発明の実施の形態に係る映像処理装置１は、フレームデータの輝度が高い場合、処理リソースを使ってフレームデータについてつなぎ目を算出して、動的につなぎ目を変更することで高品質な連結フレームデータ１５を出力する。一方、フレームデータの輝度が低い場合、所定のつなぎ目を用いて、動的につなぎ目を変更しないことで、処理リソースを抑制して、遅延なく連結フレームデータ１５を出力することを可能にする。

（映像処理装置）
図１に示す映像処理装置１は、記憶装置１０、処理装置２０および入出力インタフェース３０を備える一般的なコンピュータである。一般的なコンピュータが映像処理プログラムを実行することにより、図１に示す機能を実現する。

記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置２０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置２０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きしたり、入出力インタフェース３０とデータを入出力したりして、映像処理装置１における処理を実行する。

入出力インタフェース３０は、キーボード、マウスなどの入力装置Ｉ、および複数のカメラＣ１およびＣ２からの入力を受け付け、入力されたデータを処理装置２０に入力する。入出力インタフェース３０は、さらに、処理装置２０による処理結果をディスプレイなどの出力装置Ｏに出力する。入力装置Ｉ、複数のカメラＣ１、Ｃ２、および出力装置Ｏは、通信インタフェースおよび通信ネットワークを介して、映像処理装置１に接続されても良い。また複数のカメラＣ１およびＣ２に代わって、予め撮影された複数の撮影データを記憶した録画機や記憶装置を、映像処理装置１に接続して、映像処理データを処理させても良い。

記憶装置１０は、映像処理プログラムを記憶するとともに、設定データ１１、フレーム情報データ１２、算出シームデータ１３、デフォルトシームデータ１４、および連結フレームデータ１５を記憶する。

設定データ１１は、本発明の実施の形態に係る映像処理装置１が処理するために必要なパラメータを記憶する。設定データ１１は、例えば、映像処理装置１に入力される映像データの数およびその配列、処理リソースと画質向上のいずれを優先させるかなどの各パラメータを含む。本発明の実施の形態においては、つなぎ目を算出するか否かを判定するための輝度の閾値が設定される。輝度の閾値は、ユーザが手動で設定しても良いし、他システムで算出された閾値が設定されても良い。

フレーム情報データ１２は、複数のカメラＣ１およびＣ２から取得される映像データの各フレームデータの情報を保持する。フレーム情報データ１２は、カメラの識別子に、フレーム番号、画素値、フレームレート、輝度値などの情報を対応づけたデータである。

算出シームデータ１３は、後述のシーム算出手段２４が算出した各フレームデータのつなぎ目を算出した結果である。算出シームデータ１３は、算出されたつなぎ目の位置（座標）を特定可能な情報である。算出シームデータ１３は、少なくとも直近に算出されたつなぎ目が設定されていればよく、逐次つなぎ目を蓄積したログデータであっても良い。算出シームデータ１３は、シーム算出手段２４によって逐次更新される。

デフォルトシームデータ１４は、予め設定された各フレームデータのつなぎ目の位置を特定可能な情報である。

連結フレームデータ１５は、複数のカメラＣ１およびＣ２が出力する複数の映像データのそれぞれから、同時に撮影された複数のフレームデータを、算出シームデータ１３またはデフォルトシームデータ１４に従ってつないで生成される。連結フレームデータ１５は、映像処理装置１が出力する映像データを構成する一つのフレームデータとなる。

処理装置２０は、設定取得手段２１、フレーム取得手段２２、判定手段２３、シーム算出手段２４および連結フレーム出力手段２５を備える。

（設定取得手段）
設定取得手段２１は、本発明の実施の形態に係る映像処理装置１が処理するために必要なパラメータを取得して、取得したパラメータを含む設定データ１１を記憶する。設定取得手段２１は、ユーザが、入力装置Ｉから入力した情報に従ってパラメータを取得する。或いは設定取得手段２１は、複数のカメラＣ１およびＣ２から入力された各映像データ等を解析することによって、映像処理装置１が処理するために必要なパラメータを取得する。

（フレーム取得手段）
フレーム取得手段２２は、複数のカメラＣ１およびＣ２から入力された各映像データから、同時に撮影された複数のフレームデータを取得する。フレーム取得手段２２は、取得した複数の各フレームデータについて、フレーム情報データ１２を生成して記憶する。フレーム取得手段２２は、同時に撮影された各フレームデータについて、輝度を算出しても良い。

（判定手段）
判定手段２３は、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定する。判定手段２３は、設定データ１１から輝度の閾値を取得し、フレームデータの処理領域における輝度と、取得した輝度の閾値とを比較する。フレームデータの処理領域は、いくつか考えられる。

フレームデータの処理領域は、互いに隣接するフレームデータの各画素である。図２ないし図４で示す例の場合、判定手段２３は、第１のフレームデータＦ１の全ての画素と、第２のフレームデータＦ２の全ての画素について、各画素の輝度（平均値）と、所定の閾値とを比較する。人間が画面のちらつきに気付きやすいか否かは、画面全体の明るさによるので、各フレームデータの各画素の輝度に基づいて判定することにより、適切に判定することが可能になる。

フレームデータの処理領域は、互いに隣接するフレームデータのそれぞれにおいて、互いに隣接するフレームデータが重複する重複領域の画素である。図２ないし図４で示す例の場合、判定手段２３は、第１のフレームデータＦ１のうちの重複領域Ｒの画素と、第２のフレームデータＦ２のうちの重複領域Ｒの画素について、各画素の輝度（平均値）と、所定の閾値とを比較する。各フレームデータのつなぎ目が配設される可能性のある重複領域の画素の輝度に限定して判定することにより、処理リソースを抑制しつつ、高精度に判定することが可能になる。

フレームデータの処理領域は、互いに隣接するフレームデータの一方のフレームデータのうち、互いに隣接するフレームデータが重複する重複領域の画素である。図２ないし図４で示す例の場合、判定手段２３は、第１のフレームデータＦ１のうちの重複領域Ｒの画素の輝度（平均値）と、所定の閾値とを比較する。或いは判定手段２３は、第２のフレームデータＦ２のうちの重複領域Ｒの画素の輝度（平均値）と、所定の閾値とを比較する。つなぎ目が配設される可能性のある重複領域Ｒについて、互いに隣り合うフレームデータのうちの一方のフレームデータの画素の輝度に限定して判定することにより、さらに処理リソースを抑制して、効率的に判定することが可能になる。

判定手段２３は、処理領域の輝度が所定の閾値よりも高く明るい場合、後述のシーム算出手段２４につなぎ目を算出させ、連結フレーム出力手段２５に、シーム算出手段２４が算出したつなぎ目に従って、各フレームデータを連結させる。

判定手段２３は、処理領域の輝度が所定の閾値よりも低く暗い場合、連結フレーム出力手段２５に、シーム算出手段２４につなぎ目を算出させることなく、連結フレーム出力手段２５に、既に保持するつなぎ目に従って、各フレームデータを連結させる。このとき用いられるつなぎ目は、デフォルトシームデータ１４で特定される。或いは、シーム算出手段２４が直近に算出されたつなぎ目などの、算出シームデータ１３が保持するつなぎ目であっても良い。

判定手段２３は、連結フレームデータ１５を生成する度に、換言すると、時系列に逐次入力される各フレームデータについて輝度を判定しても良い。或いは、判定手段は、所定の頻度（周期）で、換言すると時系列に逐次入力される各フレームデータのうちの所定のタイミングのフレームデータについて、輝度を判定しても良い。例えば、１秒間に６０枚の連結フレームデータ１５を生成するシステムにおいて、１秒間に２０回判定するなど、フレームデータを間引いて処理することにより、映像処理装置１の負荷を軽減することができる。この場合判定手段２３は、直近の２セットのフレームデータの両方について判定していない場合、次のフレームデータについてつなぎ目を算出するか否かを判定し、直近の２セットのフレームデータのいずれかについて判定した場合、次のフレームデータについて判定しない。

判定手段２３が判定しなかったフレームデータについては、直近で判定した結果に基づいて処理される。例えば、カメラＣ１およびＣ２から入力された各映像データのうち、判定手段２３が１番目、４番目、７番目・・・と３つに１つの割合で、判定する場合を考える。判定手段２３が１番目のフレームデータについて判定手段２３が判定した後、２番目および３番目のフレームデータについては、判定手段２３は、１番目のフレームデータと同様に処理するように制御される。１番目のフレームデータについて、シーム算出手段２４につなぎ目を算出させた場合、判定手段２３は、２番目および３番目のフレームデータについても、シーム算出手段２４につなぎ目を算出させる。１番目のフレームデータについて、デフォルトシームデータ１４を使って連結フレームデータ１５を生成させる場合、判定手段２３は、２番目および３番目のフレームデータについても、デフォルトシームデータ１４または算出シームデータ１３を使って連結フレームデータ１５を生成させる。

判定手段２３が所定の周期で判定する場合を説明したが、本来ならば判定するタイミングであっても判定しない場合があっても良い。例えば、重複領域にオブジェクトのエッジが設けられる場合、このエッジにつなぎ目を設けることで、高精度な連結フレームデータ１５を出力することができる。また、シーンが切り替わった場合や、野外のスポーツコンテンツで急に天候が変更した場合なども、つなぎ目を算出することが好ましい。従って、このように、フレームデータの輝度以外の条件により、つなぎ目を算出することが決まっている場合、或いは、つなぎ目を算出しないことが決まっている場合、判定手段２３は、判定をしなくても良い。

（シーム算出手段）
シーム算出手段２４は、輝度が所定の閾値よりも高い場合、互いに隣接するフレームデータとのつなぎ目を算出する。シーム算出手段２４は、判定手段２３によってつなぎ目を算出するように指示された場合、同時に撮影された複数のフレームデータについて、つなぎ目を算出する。

シーム算出手段２４が、つなぎ目を算出する手法は、本発明の実施の形態においては問わないが、例えば非特許文献２で提案されたように、縮小フレームデータを用いて、各フレームデータのつなぎ目を算出する。

（連結フレーム出力手段）
連結フレーム出力手段２５は、判定手段２３の判定により、輝度が所定の閾値よりも高い場合、シーム算出手段２４が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ１５を出力する。また連結フレーム出力手段２５は、判定手段２３の判定により、輝度が所定の閾値よりも低い場合、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータ１５を出力する。この所定のつなぎ目は、デフォルトシームデータ１４が保持するデフォルトのつなぎ目であっても良いし、算出シームデータ１３が保持する、直近で算出されたつなぎ目であっても良い。連結フレームデータ１５は、映像処理装置１が出力する映像データの１フレームデータとなる。

（映像処理方法）
図５を参照して、本発明の実施の形態に係る映像処理方法を説明する。図５は、同時に撮影された複数のフレームデータの処理を示し、同時に撮影された複数のフレームデータが発生する度に、映像処理装置１は、図５の処理を繰り返す。

まずステップＳ１において映像処理装置１のフレーム取得手段２２は、異なるカメラで同時に撮影され、互いに隣接するフレームデータを取得する。

ステップＳ２において、ステップＳ１で取得したフレームデータについて、判定手段２３が判定するタイミングであるか否かを判定する。例えば、１秒間に６０フレームの映像データについて、２０回判定する仕様の場合、直近の２フレームデータについて判定手段２３が判定処理を行っていない場合、今回のフレームデータについて判定手段２３に判定させる。

ステップＳ３において映像処理装置１は、ステップＳ１で取得したフレームデータの処理領域の輝度を算出する。処理領域は、互いに隣接する各フレームデータの画素であっても良いし、各フレームデータの重複領域Ｒの画素であっても良いし、各フレームデータのうちの一方のフレームデータの重複領域の画素であっても良い。

ステップＳ４において、映像処理装置１の判定手段２３は、ステップＳ３で算出した処理領域の輝度と、所定の閾値とを比較する。処理領域の輝度が閾値よりも高く明るいと判定した場合、ステップＳ５に進む。ステップＳ５において、シーム算出手段２４は、ステップＳ１で取得した各フレームデータのつなぎ目を算出して、算出シームデータ１３を生成する。ステップＳ６において連結フレーム出力手段２５は、ステップＳ５で生成された算出シームデータ１３を用いて、ステップＳ１で取得した各フレームデータをつなぐ。

ステップＳ４において、処理領域の輝度が閾値よりも低く暗いと判定した場合、ステップＳ７に進む。ステップＳ７において連結フレーム出力手段２５は、所定のつなぎ目を用いて、ステップＳ１で取得した各フレームデータをつなぐ。この所定のつなぎ目は、デフォルトシームデータ１４として予め保持するつなぎ目であっても良いし、算出シームデータ１３において過去に算出したつなぎ目で合っても良い。

ステップＳ２において、判定手段２３が判定するタイミングでない場合、より具体的には、直近の２フレームデータのいずれかについて判定手段２３が判定処理を行っている場合、判定手段２３による判定は行わず、直前の判定結果に基づいて処理される。判定手段２３が直近でシーム算出手段２４につなぎ目を算出すると判断した場合、ステップＳ５に進み、ステップＳ１で取得したフレームデータについても、シーム算出手段２４は、つなぎ目を算出する。一方判定手段２３が直近でシーム算出手段２４につなぎ目を算出しないと判断した場合、ステップＳ７に進み、ステップＳ１で取得したフレームデータについても、デフォルトシームデータ１４等の所定のつなぎ目を用いて、ステップＳ１で取得した各フレームデータをつなぐ。

ステップＳ８において連結フレーム出力手段２５は、ステップＳ６またはステップＳ７で生成した連結フレームデータ１５を出力する。

以上説明したように、本発明の実施の形態に係る映像処理装置１は、撮影領域の一部を重ねて撮影された複数の映像データをつなぐ処理において、映像データのうち、所定の閾値よりも明るいフレームデータについてつなぎ目を動的に算出する。これにより、高精細な映像データを出力するとともに、つなぎ目の算出に関する処理工数を低減することができるので、映像処理装置１は、複数の映像データを連結する処理の高速化を実現することができる。

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態に記載した映像処理装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の映像処理システム上に実現されても良い。

また本発明の実施の形態に係る映像処理方法は、非特許文献２で提案されたように、縮小フレームデータを用いて、各フレームデータのつなぎ目を算出して、連結フレームデータを出力しても良い。これにより、処理の高速化が期待できる。

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ 映像処理装置
１０ 記憶装置
１１ 設定データ
１２ フレーム情報データ
１３ 算出シームデータ
１４ デフォルトシームデータ
１５ 連結フレームデータ
２０ 処理装置
２１ 設定取得手段
２２ フレーム取得手段
２３ 判定手段
２４ シーム算出手段
２５ 連結フレーム出力手段
３０ 入出力インタフェース
Ｃ１、Ｃ２ カメラ
Ｉ 入力装置
Ｏ 出力装置

Claims (8)

1. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理装置であって、
   前記複数の映像データから、同時に撮影された複数のフレームデータを取得するフレーム取得手段と、
   互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定する判定手段と、
   前記輝度が所定の閾値よりも高い場合、前記互いに隣接するフレームデータとのつなぎ目を算出するシーム算出手段と、
   前記輝度が所定の閾値よりも高い場合、前記シーム算出手段が算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力し、
   前記輝度が所定の閾値よりも低い場合、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力する連結フレーム出力手段
   を備えることを特徴とする映像処理装置。
2. 前記処理領域は、前記互いに隣接するフレームデータの各画素であることを特徴とする請求項１に記載の映像処理装置。
3. 前記処理領域は、前記互いに隣接するフレームデータのそれぞれにおいて、前記互いに隣接するフレームデータが重複する重複領域の画素であることを特徴とする請求項１に記載の映像処理装置。
4. 前記処理領域は、前記互いに隣接するフレームデータの一方のフレームデータのうち、前記互いに隣接するフレームデータが重複する重複領域の画素であることを特徴とする請求項１に記載の映像処理装置。
5. 前記所定のつなぎ目は、直近に算出されたつなぎ目であることを特徴とする請求項１ないし４のいずれか１項に記載の映像処理装置。
6. 前記所定のつなぎ目は、デフォルトのつなぎ目であることを特徴とする請求項１ないし４のいずれか１項に記載の映像処理装置。
7. 撮影領域の一部を重ねて撮影された複数の映像データをつなぐ映像処理方法であって、
   コンピュータが、前記複数の映像データから、同時に撮影された複数のフレームデータを取得するステップと、
   前記コンピュータが、互いに隣接するフレームデータの処理領域における輝度が、所定の閾値よりも高いか否かを判定するステップと、
   前記輝度が所定の閾値よりも高い場合、前記コンピュータが、前記互いに隣接するフレームデータとのつなぎ目を算出し、算出したつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップと、
   前記輝度が所定の閾値よりも低い場合、前記コンピュータが、所定のつなぎ目に従って、各フレームデータを繋いで、重複のない連結フレームデータを出力するステップ
   を備えることを特徴とする映像処理方法。
8. コンピュータに、請求項１ないし請求項６のいずれか１項に記載の映像処理装置として機能させるための映像処理プログラム。

Images