JP2004104425A

JP2004104425A - 視差分布測定方法、視差分布測定装置および視差分布測定プログラム

Info

Publication number: JP2004104425A
Application number: JP2002263084A
Authority: JP
Inventors: Yuji Nojiri; 野尻　裕司; Yuichi Yamanoue; 山之上　裕一; Shinji Ide; 井出　真司; Atsuo Hanasato; 花里　敦夫
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-09-09
Filing date: 2002-09-09
Publication date: 2004-04-02

Abstract

【課題】被写体によらず、正確な視差量を算出し視差分布を測定して、二眼立体映像の見やすさ、見にくさを調べることができる視差分布測定方法、装置、プログラムを提供する。
【解決手段】視差分布を測定する視差分布測定装置１は、二眼立体映像を構成する左右フレームをブロック画像に分割するブロック化手段３と、分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とする窓手段５と、端部影響除去ブロック画像内の画素数を算出して、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段７と、位相相関平面の画素数の最大ピーク値を算出し、視差量を求める最大ピーク値算出手段９と、ブロック画像毎の視差量に基づいて、フレームの視差分布を測定するフレーム内統計処理手段１９と、を備えた。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、二眼立体映像における両眼視差量の分布である視差分布を測定する視差分布測定方法、視差分布測定装置および視差分布測定プログラムに関する。
【０００２】
【従来の技術】
従来、二眼立体映像から視差量を検出する方法として、以下に示すものが提案されている。
（１）左右映像を小さなブロックに分割し、ブロックマッチング法により左右映像から視差量を測定する方法。
【０００３】
（２）このブロックマッチング方法をベースに、さらに視差量の測定精度を上昇させるために、左右映像の対応するブロック内の映像を変形させてマッチングを取るラバーマッチング法（なお、ラバーマッチング法の詳細な説明は、非特許文献１参照のこと）。
【０００４】
これら（１）、（２）等の方法は、比較的小さなブロックに分割して、このブロック毎の一つの視差量を測定するものである。これらの方法は、主に対応する左右映像の完全な対応付けを行うことを目的にしており、測定したブロック毎の視差量に基づき、左右映像の画素毎の対応付けを行うものである。
【０００５】
ところで、視差量を測定するのと同様に、動画像に対して、二つの連続する画像中の各画素の対応付けを測定することで、動画像に含まれている被写体（オブジェクト）の各部分の動き量を算出し、この動き量をテレビジョン方式変換やテレビジョン映像の帯域圧縮に利用する例が数多くある。これらの例の中で、テレビジョン方式変換における動き量の算出（動き検出）では、位相相関法（なお、位相相関法の詳細な説明は、非特許文献２を参照のこと）と呼ばれる方法が使用されているものがある。
ちなみに、位相相関法は、テレビジョンカメラのレジストレーションのずれの検出にも使用されている例がある。
【０００６】
【非特許文献１】
蓼沼他「立体画像の左右対応点探索法の最適化」；テレビジョン学会誌　Ｖｏｌ４８，Ｎｏ．１０，ｐｐ１２２２〜１２２９（１９９４）
【非特許文献２】
Ｇ．Ａ．Ｔｈｏｍａｓ：“Ｔｅｌｅｖｉｓｉｏｎ　Ｍｏｔｉｏｎ　Ｍｅａｓｕｒｅｍｅｎｔ　ｆｏｒ　Ｏｔｈｅｒ　Ａｐｐｌｉｃａｔｉｏｎ”，ＢＢＣ　Ｒｅｓｅａｒｃｈ　Ｄｅｐａｒｔｍｅｎｔ　Ｒｅｐｏ
ｒｔ（Ｓｅｐ．１９８７）
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の方法（特にブロックマッチング方法）では、各画像に対応付けを行って、視差測定を目的としており、小さなブロックで視差測定を行うので、各画像中の絵柄（被写体）に起因して誤った対応付けが発生しやすかった。このような方法は、二眼立体映像の見やすさ、見にくさを調べる（視差量を測定する）目的の障害となり、一方、位相相関方法を用いた場合にも絵柄（被写体）に起因して視差測定の誤りが発生するという問題がある。
【０００８】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、被写体によらず、正確な視差量を算出し視差分布を測定することで、二眼立体映像の見やすさ、見にくさを調べることができる視差分布測定方法、視差分布測定装置および視差分布測定プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載の視差分布測定方法は、二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定方法であって、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割ステップと、このフレーム分割ステップにおいて分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去ステップと、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出ステップと、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、ブロック画像毎の視差量を算出する最大ピーク値算出ステップと、この最大ピーク値算出ステップにおいて算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定ステップと、を含むことを特徴とする。
【００１０】
この方法によれば、まず、フレーム分割ステップにおいて、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去ステップにおいて、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出ステップにおいて、端部影響除去ブロック画像内の画素数が算出され、位相相関平面に表される。最大ピーク値算出ステップにおいて、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定ステップにおいて、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【００１１】
なお、視差量とは、人間の両眼で二眼立体映像（対象物）を見て（とらえて）、この両眼の網膜像の微妙な違いに基づいて、二眼立体映像（対象物）の立体感（奥行き）を認識する手がかりとなる両眼視差を定量化したものである。この視差量が大きくなると、人間は疲労を感じたり、見にくさを感じたりする。視差分布とは、視差量の分布のことであり、二眼立体映像内（対応するフレームに関して）で一番飛び出して見える部分の視差量、一番奥に見える部分の視差量、視差量のフレーム内での平均、最大振幅、視差量のフレーム内での分散等を求めることである。
【００１２】
また、ブロック端部（ブロック端）の影響とは、ブロック画像は、両端部が垂直に低下すること（急激に０になること）になり、このブロック画像を位相相関平面に変換した際（フーリエ変換した際）に生じる影響のことである。つまり、ブロック画像をそのまま位相相関平面に変換してしまうと、このブロック画像の端部の影響で、位相相関平面にゼロスプリアスが発生するので、ブロック端影響除去ステップは、これを取り除くために行うものである。なお、ブロック端影響除去ステップにより、ブロック端で発生する左右映像の未対応部分による影響も軽減することができる。
【００１３】
なお、位相相関平面算出ステップにおいて位相相関平面を算出する際に、位相相関平面のゼロ点に発生するスプリアスを軽減する効果もある。位相相関平面は、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った座標面のことで、位相相関法で視差量を検出するのに用いるものである。位相相関法は、ブロックマッチング法やラバーマッチング法に比べて、画像内の被写体の絵柄、大きさ、配置等に影響されることなく（関係なく）、視差量を算出できる特性を有している。
【００１４】
請求項２記載の視差分布測定方法は、請求項１に記載の視差分布測定方法において、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出ステップと、このピーク値算出ステップにおいて算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソートステップと、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理ステップと、この最大ピーク値閾値処理ステップにて閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソートステップにて並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定ステップと、を含むことを特徴とする。
【００１５】
この方法によれば、まず、ピーク値算出ステップにおいて、位相相関平面の画素数のピーク値が算出され、ピーク値に対応する視差量が算出される。続いて、ソートステップにおいて、ピーク値算出ステップにて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理ステップにおいて、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定ステップにおいて、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソートステップにて並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【００１６】
なお、ピーク値は位相相関平面上に複数存在しうるもの（最大であれば、最大ピーク値算出ステップで算出されている）であるので、複数個のピーク値が算出される場合が想定される。また、閾値処理とは、例えば、閾値（最大ピーク値のα倍（０＜α＜１））以上の値に対応する座標数をカウントすることであり、位相相関平面の値と、閾値とを比較することである。
【００１７】
請求項３記載の視差分布測定装置は、二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定装置であって、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段と、このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段と、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段と、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段と、この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段と、を備えることを特徴とする。
【００１８】
かかる構成によれば、フレーム分割手段で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去手段で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段で、端部影響除去ブロック画像が位相相関平面に表される。最大ピーク値算出手段で、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定手段で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【００１９】
請求項４記載の視差分布測定装置は、請求項３に記載の視差分布測定装置において、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、を備えることを特徴とする。
【００２０】
かかる構成によれば、ピーク値算出手段で、位相相関平面の画素数のピーク値が算出され、このピーク値に対応する視差量が算出される。続いて、ソート手段で、ピーク値算出手段にて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理手段で、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定手段で、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソート手段で並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【００２１】
請求項５記載の視差分布測定プログラムは、二眼立体映像における、視差量の分布である視差分布を測定する装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段、このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段、前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段、前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段、この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段、である。
【００２２】
かかる構成によれば、フレーム分割手段で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。この所定の大きさのブロック画像は、任意に設定可能なものである。続いて、ブロック端影響除去手段で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段で、端部影響除去ブロック画像が位相相関平面に表される。最大ピーク値算出手段で、位相相関平面の画素数の最大ピーク値が算出され、この最大ピーク値に相当する位相相関平面上における座標に基づいて視差量が算出される。その後、視差分布測定手段で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【００２３】
請求項６記載の視差分布測定プログラムは、請求項５に記載の視差分布測定プログラムにおいて、前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、を有していることを特徴とする。
【００２４】
かかる構成によれば、ピーク値算出手段で、位相相関平面の画素数のピーク値が算出され、このピーク値に対応する視差量が算出される。続いて、ソート手段で、ピーク値算出手段にて算出したピーク値およびこのピーク値に対応する視差量が、大きい順位に並べ替えられる。そして、最大ピーク値閾値処理手段で、最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第一算出値と、最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数が端部影響除去ブロック画像内の全座標数で除算された第二算出値として、位相相関平面が閾値処理される。そして、視差量判定手段で、第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量が算出されず、第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量が算出され、若しくは、第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量が算出され、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量が算出されないと共に、視差量を算出する場合には、ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、ソート手段で並べ替えた順に、第三算出値と前記ピーク値とが比較され、第三算出値がピーク値以上である場合にはピーク値に対応する視差量が算出されず、第三算出値がピーク値未満である場合には、最大ピーク値以外のピーク値に対応する視差量が算出され、ブロック画像の視差量として判定される。
【００２５】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（視差分布測定装置の構成）
図１は、視差分布測定装置のブロック図である。この図１に示すように、視差分布測定装置１は、二眼立体映像に生じている両眼視差を数値化した（定量化した）視差量の分布、すなわち、視差分布を測定するもので、ブロック化手段３と、窓手段５と、位相相関平面算出手段７と、最大ピーク値検出手段９と、閾値処理手段１１と、ピーク値検出手段１３と、ソート手段１５と、判定手段１７と、フレーム内統計処理手段１９とを備えている。
【００２６】
ブロック化手段３は、入力される二眼立体映像の左右フレーム（図中、右映像Ｒ、左映像Ｌ、以下、Ｒフレーム、Ｌフレームとする）のそれぞれを所定の大きさにブロック化するものである。このブロック化手段３が特許請求の範囲の請求項に記載したフレーム分割手段に相当するものである。この実施の形態では、二眼立体映像はハイビジョン用映像であり、ブロックの大きさ（ブロックサイズ）は、視差量検出に位相相関法を用いるため、検出視差量の最大値の２倍以上にする必要がある。
【００２７】
なお、二眼立体映像では、視差量があまり大きすぎると左右映像、ＲフレームとＬフレームとの融合ができなくなるため、一般的な視聴環境を考慮して制作された映像に対しては、不必要に大きなブロックサイズを想定する必要はなく、一般に、ＦＦＴ演算を容易に実行できるブロックサイズであればよい。
【００２８】
ここで、このブロック化手段３で左右フレームをブロックに分割する仕方について図３を参照して説明する。この実施の形態では、１個のブロックの大きさ（ブロックサイズ）は５１２画素×５１２ラインである。
図３（ａ）は、左右フレーム（Ｒフレーム、Ｌフレーム）を水平方向に分割する仕方を示している。ハイビジョン用映像の水平方向の画素数は、１９２０画素であり、この画素がブロック化手段３で水平方向に、均等に分割される。
【００２９】
この実施の形態では、２５６画素ずつオーバーラップした６個のブロック（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）に分割されると共に、さらにこれら６個のブロックを１２８画素だけシフトした６個のブロック（Ｂｓ１、Ｂｓ２、Ｂｓ３、Ｂｓ４、Ｂｓ５、Ｂｓ６）が使用される。すなわち、互いに２５６画素ずつオーバーラップした６個のブロック（Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６）と、これらを１２８画素シフトした６個のブロック（Ｂｓ１、Ｂｓ２、Ｂｓ３、Ｂｓ４、Ｂｓ５、Ｂｓ６）との合計１２個のブロックに、ハイビジョン用映像である左右フレームそれぞれが水平方向に分割される。
【００３０】
図３（ｂ）は、左右フレーム（Ｒフレーム、Ｌフレーム）を垂直方向に分割する仕方を示している。ハイビジョン用映像の垂直方向のライン（走査線数）は１０３５ライン（旧式のハイビジョン映像規格）であり、このラインがブロック化手段３で垂直方向に、均等に分割される。
【００３１】
この実施の形態では、この図３（ｂ）に図示したように、左右フレームの上端６ラインと、下端５ラインはブロックに分割する対象外として除外しており、上端から６ラインずらした箇所から２５６画素ずつオーバーラップした３個のブロック（Ｌ１、Ｌ２、Ｌ３）に分割される。つまり、ブロック化手段３で左右フレームは３６個（１２個×３個）に分割される。
【００３２】
なお、各ブロックをオーバーラップした理由は、ブロックサイズが５１２画素×５１２ラインと大きいので、画像内の代表的なオブジェクト（対象物）の視差量を漏らさず測定するためである。さらに、１個のブロック内に複数の視差量を持った複数のオブジェクトが含まれていることが想定され、このような場合も考慮し、１ブロック内で複数（最大３個）の視差量を検出するようにした。また、垂直方向に１２８ラインシフトしたブロックに分割し、垂直方向の視差量も測定した理由は、二眼立体映像の両眼視差に関して原理的に水平方向のみを想定すればいいが、垂直視差も二眼立体映像を撮影時に発生する場合があるためである。
【００３３】
図１に戻って、視差分布測定装置１の構成の説明を続ける。
窓手段５は、ブロック化手段３で分割されたブロックに“窓をかける”すなわち窓処理を施すものである。この窓手段５が特許請求の範囲の請求項に記載したブロック端影響除去手段に相当するものである。この窓手段５で使用する窓処理用の窓関数は、一般的にフィルタ設計時にフィルタのタップ数を有限個数に制限するために使用するのと同様な窓関数でよく、この実施の形態では、（１−ｃｏｓ^２ｘ）（１−ｃｏｓ^２ｙ）とした。
【００３４】
なお、窓処理とは、ブロック画像の周波数成分に窓関数を乗算して、ブロック画像の端部の影響を除去し、位相相関平面のゼロ点に発生するスプリアスを軽減する作用を有するものである。この実施の形態で使用した窓は、ブロック画像の端部（エッジ）の影響の除去と、ブロック画像内の中心画像（主要な被写体）に重みを置く役割とを担うものである。
【００３５】
この窓手段５で、ブロック画像は、このブロック画像の端部の影響によって発生するノイズが除去された端部影響除去ブロック画像とされる。
位相相関平面算出手段７は、窓手段５で窓処理された端部影響除去ブロック画像に対し、２次元ＦＦＴ、２次元逆ＦＦＴを実行して、位相相関平面に変換するものである。左画像（Ｌフレーム）をｆ（ｘ，ｙ）、右画像（Ｒフレーム）をｇ（ｘ，ｙ）とすると、位相相関平面ｚ（ｘ，ｙ）は、２次元ＦＦＴ（２次元高速フーリエ変換）によって
【００３６】
【数１】

【００３７】
Ｚ（Ｘ，Ｙ）、Ｆ（Ｘ，Ｙ）、Ｇ（Ｘ，Ｙ）を求めた後、再度、Ｚ（Ｘ，Ｙ）を次式で２次元逆ＦＦＴ（２次元逆高速フーリエ変換）し求める。
【００３８】
【数２】

【００３９】
位相相関法では、「数１」より周波数領域で大きさの正規化を行っているため、二眼立体映像となる左右フレームの２つ映像信号のレベル差に影響されないという特徴がある。つまり、従来のブロックマッチング法やラバーマッチング法における、二眼立体映像中の画像の明るさの違いによって視差分布に影響が及ぶという問題が改善されたことになる。
【００４０】
ちなみに、二眼立体映像の制作では、通常、人間の両眼の間隔に相当する６５ｍｍかそれ以上離間した２台の撮影カメラで同時に被写体の撮影が行われるため、左右映像（左右フレーム）の撮影画角のわずかな違いによって、左右映像（左右フレーム）にわずかなレベル差が発生することがある。このような左右映像から二眼立体映像の視差量を求めるためには、信号レベルの正規化を行っている位相相関法は好適である。
【００４１】
また、位相相関法では、「数２」で与えられる位相相関平面のピーク値に対応する座標が視差量に相当するが、映像の絵柄によってピーク値が不明瞭である場合がある。さらに、前記したように左右映像（左右フレーム）の撮影画角のわずかな違いによって、一方の撮影カメラからは撮影可能であっても他方の撮影カメラからは隠れている領域が発生する。この左右映像で未対応の領域が位相相関平面上では、ピーク値の周りにリンギング状のノイズ（以下、リンギング状ノイズ）となって現れる。このリンギング状ノイズは複数のピーク値に対応する複数の視差量を算出する（測定する）場合には妨害となることがある。
【００４２】
補足しておくと、２次元ＦＦＴ（Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）は、周波数分析のことで、フーリエ理論による計算で周波数スペクトルを求めるものである。２次元逆ＦＦＴは、周波数分析した周波数スペクトルから複雑な波形（位相相関平面上の波形）を求めるものである。位相相関平面は、横軸に水平方向の画素数を取り、縦軸に垂直方向の画素数を取ったもので、ブロック画像（ノイズ除去ブロック画像）中の画素がこの位相相関平面上にプロットされる。
【００４３】
最大ピーク値検出手段９は、位相相関平面算出手段７で変換された（算出された）位相相関平面の最大ピーク値を検出し、この最大ピーク値に対応した座標、すなわち水平方向、垂直方向の視差量を求めるものである。この最大ピーク値検出手段９が特許請求の範囲の請求項に記載した最大ピーク値算出手段に相当するものである。
【００４４】
閾値処理手段１１は、最大ピーク値検出手段９で検出された最大ピーク値に基づいて、閾値処理を行うものである。閾値処理は、ブロック画像内の絵柄に依存した不明瞭なピーク値に対応する誤った視差量の測定を防ぐために行われるものである。この実施の形態では、最大ピーク値をα（０＜α＜１）倍した数値を閾値としている。そして、この閾値以上の値に対応する座標の数をかぞえ、その数がブロック画像内の全画素数の一定割合以上の場合には、ブロック画像内の絵柄の視差量を位相相関法で測定するのに相応しくないと判定される。この閾値処理手段１１が特許請求の範囲の請求項に記載した最大ピーク値閾値処理手段に相当するものである。ここでのαが特許請求の範囲の請求項に記載した第一、第二定数に相当するものである。
【００４５】
なお、ブロック画像内の全画素数の一定割合以上であるとは、最大ピーク値をα倍（特許請求の範囲の請求項に記載した第一定数、第二定数、第三定数）した値を当該ブロックの全画素数（全座標数）で除算した値（特許請求の範囲の請求項に記載した第一算出値、第二算出値）と予め設定した値（特許請求の範囲の請求項に記載した第一閾値、第二閾値、第三閾値）と比較した結果のことを指すものである。
【００４６】
より具体的に説明すると、閾値処理は、
端部影響除去ブロック画像内の全画素数：Ｎ
位相相関平面のピーク値：Ｐｍａｘ
位相相関平面の値が０．５×Ｐｍａｘ以上の画素数：Ｎ５０
位相相関平面の値が０．７５×Ｐｍａｘ以上の画素数：Ｎ７５
としたとき、
【００４７】
（１）Ｎ５０／Ｎ＜０．０２　→　Ｓ＝０
（２）０．０２≦Ｎ５０／Ｎ＜０．０４で
Ｎ７５／Ｎ＜０．００２　→　Ｓ＝９９
（３）０．０２≦Ｎ５０／Ｎ＜０．０４で
Ｎ７５／Ｎ≧０．００２　→　Ｓ＝０
（４）Ｎ５０／Ｎ≧０．０４　→　Ｓ＝９９
とする。
【００４８】
なお、Ｓは、視差量を測定するか否かの判定用のフラグに相当するもので、Ｓ＝９９の場合、位相相関法でブロック内の絵柄の視差量を測定するのに適当ではなく、誤った視差量を測定する可能性があることを示しており、Ｓ＝０の場合、位相相関法でブロック内の絵柄の視差量を測定するのに適当であることを示している。
【００４９】
（１）の場合、位相相関平面に一つの顕著なピーク（最大ピーク）が存在することを示している。（２）の場合、位相相関平面に一つのピークと、比較的大きなノイズ状のピークが多数混在し、これらのピークが映像の正しい視差量に対応するピークであるのか、誤ったピークであるのか判定できないことを示している。（３）の場合、複数の顕著なピークが存在することを示している。（４）の場合、位相相関平面に顕著なピークがないことを示している。
【００５０】
つまり、ブロック化手段３でブロック画像に分割した際に、ブロック画像内に顕著なパターン（絵柄）がない場合、例えば、壁や海面しか含まれていない場合には（２）、（４）になり、Ｓ＝９９であるので、誤った視差量を測定する可能性があると判定され、ブロック画像内の絵柄に依存した、誤った視差量の測定を防ぐことができる。
【００５１】
また、Ｎ５０、Ｎ７５の２つの閾値を設定したことにも特徴があり、２つの閾値をＰｍａｘ（最大ピーク値）の何％に設定するのかは、実験結果（多数のブロック画像を位相相関平面に変換した結果）に基づいて決定した。また、ブロック画像の周波数成分に基づいて、任意に設定することも可能である。また、Ｓの値（０ｏｒ９９）は判定手段１７に出力される。
【００５２】
ピーク値検出手段１３は、位相相関平面算出手段７で変換された（算出された）位相相関平面のピーク値を検出し、このピーク値（最大ピーク値も含めて）に対応した座標、すなわち水平方向、垂直方向の視差量を求めるものである。なお、このピーク値検出手段１３では、最大ピーク値検出手段９で検出される最大ピーク値が当然のことながら１個であるのに比べ、複数のピーク値が検出される場合がある。つまり、このピーク値検出手段１３では、位相相関平面上の全てまたは任意個数の凸部（正方向の凸部、負方向の凸部）の座標とその値（視差量）が求められる。このピーク値検出手段１３が特許請求の範囲の請求項に記載したピーク値算出手段に相当するものである。
【００５３】
この実施の形態では、ピーク値検出手段１３は、凸部の大きい順に３個のピーク値とこのピーク値に対応する水平方向の視差量を求めている。つまり、１個のブロック画像あたり３個の視差量の候補（最終的なブロック画像の視差量を判定する（決定する）のは判定手段１７）を求めている。また、このピーク値検出手段１３は、位相相関平面上の一番小さい値（負方向の凸部つまり凹部、以下、最小値という）も求める。この最小値は、通常、負か０である。
【００５４】
ソート手段１５は、ピーク値検出手段１３で求められたピーク値およびこのピーク値に対応する視差量をピーク値に基づいてソート、つまり並べ替えるものである。そして、この並べられた結果（ソートされた結果）を判定手段１７に出力するものである。このソート手段１５では、ピーク値が高い（大きい）順番に並べ替えられる。
【００５５】
この実施の形態では、ソート手段１５は、ピーク値検出手段１３で求められた３個のピーク値およびこのピーク値に対応する視差量と、位相相関平面上の最小値とを判定手段１７に出力する。以下に、ソート手段１５から判定手段１７に出力されるそれぞれの値を列記すると、
【００５６】
位相相関平面のＮｏ１ピーク値とこれに応じた視差量：ＰＨＣ１、ｈ１
位相相関平面のＮｏ２ピーク値とこれに応じた視差量：ＰＨＣ２、ｈ２
位相相関平面のＮｏ３ピーク値とこれに応じた視差量：ＰＨＣ３、ｈ３
位相相関平面上の最小値　　　　　　　　　　　　　：ｍｉｎ
となる。
【００５７】
判定手段１７は、閾値処理手段１１で閾値処理された結果と、ソート手段１５でソートされた結果とに比較判定し、各端部影響除去ブロック画像（ブロック画像）の視差量を算出する（決定する）ものである。例えば、閾値処理手段１１で閾値処理された結果からブロック画像内の絵柄が位相相関法による視差量検出にふさわしくない場合（Ｓ＝９９）には、このブロック画像からは視差量は全く検出しない。逆に、閾値処理手段１１で閾値処理された結果からブロック画像内の絵柄が位相相関法による視差量検出にふさわしい場合（Ｓ＝０）には、位相相関平面の複数のピーク値のうち、新たな閾値を設定して、この閾値以上のピーク値をもつ視差量のみをブロック画像内の視差量とする。なお、この判定手段１７が特許請求の範囲の請求項に記載した視差量判定手段に相当するものである。
【００５８】
この新たな閾値の設定方法として、例えば、最大ピーク値のα_２倍（０＜α_２＜１）を乗算した値でもよい。また、リンギング状ノイズを削除するためには、リンギングの大きさに応じて、新たな閾値を設定することが望ましい。その理由は、ここで、閾値処理する目的は、左右映像（左右フレーム）で対応がない領域に起因するリンギング状ノイズの影響を除去することであり、このリンギング状ノイズは通常、視差量の増加に伴い増加していくが、未対応領域の面積や絵柄に依存しているので、一定の閾値処理によってこの影響を除去することは困難であるからである。なお、α_２が特許請求の範囲の請求項に記載した第二定数に相当するものである。
【００５９】
例えば、リンギング状ノイズの影響を除去するため、リンギング状ノイズの最小値を用いて、リンギングの負のピーク値の絶対値をα_３倍した新たな値（特許請求の範囲の請求項に記載した第三算出値）とする。また、実際には、全てのピーク値を閾値処理の候補とせずに初めから大きい順に３個〜５個といったように、候補の個数を限定すれば、ソート手段１５、判定手段１７の実現が容易になる。なお、α_３が特許請求の範囲の請求項に記載した第三定数に相当するものである。
【００６０】
このように、ブロック画像内の視差量の検出を行えば、ブロック画像内の絵柄に応じた視差量の検出が可能となる。例えば、ブロック画像内に奥行きが異なる３個のオブジェクト（被写体）がある場合には、これらに応じて３個の視差量を測定することができる。つまり、ブロック画像内の代表的な両眼視差を持つオブジェクトの数に応じた視差量を測定することができる。この判定手段１７では、以上の処理がブロック画像毎に実行される。
【００６１】
判定手段１７における処理を、より具体的に説明すると、閾値処理手段１１から出力されたＳの値が９９のとき、このブロック画像は視差量の検出に不適切なブロック画像（絵柄）であるとして、当該ブロック画像を視差量の検出から除外すると共に、Ｓの値が０のときは、視差量の検出可能として以下に示す判定を行う。
【００６２】
（ａ）ＰＨ１＞α_３・｜ｍｉｎ｜なら、ｈ１をこのブロック画像内で検出された視差量とする。
（ｂ）ＰＨ２＞α_３・｜ｍｉｎ｜なら、ｈ２もこのブロック画像内で検出された視差量とする。
（ｃ）ＰＨ３＞α_３・｜ｍｉｎ｜なら、ｈ３もこのブロック画像内で検出された視差量とする。
【００６３】
この実施の形態では、α_３を１．２としたが、通常、α_３の値は１〜１．５程度が好適ではないかと推測される。これによって、左右フレームにおいて対応するブロック画像間で未対応領域によって生じるリンギング状ノイズの影響が除去されるので、ブロック画像内の代表的な視差量を持つオブジェクトの数に応じた視差量を測定することができる。
【００６４】
フレーム内統計処理手段１９は、判定手段１７で算出された各ノイズ除去ブロック画像（ブロック画像）の視差量に基づいて、統計処理を施して、左右フレーム（Ｒフレーム、Ｌフレーム）内の視差量の分布、すなわち視差分布を算出するものである。この実施の形態では、フレーム内統計処理手段１９は、全３６個のブロック画像毎に算出された（測定された）視差量（水平視差量）に基づいて、フレーム内の視差量の平均、最大振幅、一番飛び出した映像の視差量（全水平視差量の最小値）、一番奥の映像の視差量（全水平視差量の最大値）、フレーム内視差分布の分散を算出する。これらの結果を二眼立体映像に関する視差分布の測定量として外部に出力する。なお、このフレーム内統計処理手段１９が特許請求の範囲の請求項に記載した視差分布測定手段に相当するものである。
【００６５】
この視差分布測定装置１によれば、ブロック化手段３で、二眼立体映像の左右映像の対応するフレームが所定の大きさのブロック画像に分割される。続いて、窓手段５で、分割したブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる。そして、位相相関平面算出手段７で、端部影響除去ブロック画像内の画素数が算出され、位相相関平面に表される。最大ピーク値検出手段９で、位相相関平面の画素数の最大ピーク値が算出され、最大ピーク値に相当する位相相関平面上における座標数が視差量として算出される。その後、フレーム内統計処理手段１９で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【００６６】
また、ピーク値検出手段１３で、位相相関平面の画素数のピーク値が検出され、ピーク値に対応する視差量が算出される。そして、閾値処理手段１１で、最大ピーク値の所定パーセント（０＜α＜１）が閾値とされ、閾値処理が実行され、位相相関平面上における閾値以上の座標数が、端部影響除去ブロック画像内の画素数の一定割合以上であるかどうかが処理される。さらに、判定手段１７で、閾値処理手段１１の処理結果と、ソート手段１５におけるソート結果とが比較判定され、ブロック画像毎の視差量が算出され、フレーム内統計処理手段１９で、算出されたブロック画像毎の視差量に基づいて、フレームの視差分布が測定される。
【００６７】
このため、位相相関法を二眼立体映像の視差量の検出に用いているので、精度よく視差量を検出することが可能になる。この位相相関法は、特に方式変換に位相相関法を用いた場合とは異なり、左右２つの映像（フレーム）の画素毎の完全な対応を得る必要がないので、大きなブロック画像を用いて複数の視差量を精度よく測定することができ、特に有効である。また、視差量の検出において、ブロックマッチング法を使用した場合には、誤って大きな視差量または小さな視差量を測定してしまう場合も想定される。それゆえ、視差量の最大振幅、一番手前の視差量、一番奥の視差量を求めることに関しては、重要な誤りとなってしまうが、位相相関法を使用した場合には、これらの問題を少なくすることができる。
【００６８】
なお、この視差分布測定装置１では、閾値処理手段１１と、ピーク値検出手段１３と、ソート手段１５と、判定手段１７とがなくても、ブロック画像毎の視差量を求めることができる（請求項１、３、５に記載の発明に相当する）。つまり、これらのピーク値検出手段１３と、ソート手段１５と、判定手段１７によって、誤った視差量の算出を防ぐことができる（視差量の算出精度を維持することができる）。
【００６９】
また、位相相関法の課題として、位相相関平面上におけるピーク値の検出があるが、二眼立体映像の映像内容によるピーク値の曖昧さと未対応領域によるリンギング状ノイズについて、２個の閾値処理（閾値処理手段１１とソート手段１５）を導入した実験結果により、大幅な改善効果が得られた。すなわち、明らかに誤った視差量の測定を抑制しつつ、可能な限り多くのオブジェクトの視差量を検出することが可能になった。特にリンギング状ノイズの除去に用いた閾値の設定方法が有効に作用する。
【００７０】
（視差分布測定装置の動作）
次に、図２に示すフローチャートを参照して、視差分布測定装置１の動作について説明する。この視差分布測定装置１に入力する二眼立体映像の左右フレームを作成する必要があるので、この二眼立体映像の作成もあわせて説明することにする（二眼立体映像の作成については本発明と直接関わりがないので文章のみで説明する）。
【００７１】
まず、ＨＤＴＶ−ＶＴＲ（図示せず）から二眼立体映像生成装置（図示せず）のフレームメモリ（図示せず）に立体ハイビジョン映像であるＶＴＲの映像が取り込まれる。この際に、ＶＴＲの左右映像がＶＴＲのタイムコードに基づいて同期して取り込まれ、この結果、フレームメモリ（図示せず）には、時間的に同期した左映像（Ｌフレーム）と右映像（Ｒフレーム）とからなる映像ファイルが生成される。この映像ファイルを二眼立体映像生成装置（図示せず）の映像フォーマット変換手段（図示せず）でフレーム番号がついた１フレーム毎の輝度信号の映像ファイルに変換される。すなわち、この映像ファイルは、例えば、
【００７２】
ｅｉｚｏｕ０＿Ｌ．ｙ，ｅｉｚｏｕ１＿Ｌ．ｙ，ｅｉｚｏｕ２＿Ｌ．ｙ・・・
ｅｉｚｏｕ０＿Ｒ．ｙ，ｅｉｚｏｕ１＿Ｒ．ｙ，ｅｉｚｏｕ２＿Ｒ．ｙ・・・
のようになる。左右映像（左右フレーム）にフレーム番号のついた１個のファイルとなった輝度信号ファイルが作成される。この左右映像の対応した映像ファイル（輝度信号ファイル）が視差分布測定装置１に入力される。
【００７３】
すると、まず、ブロック化手段３で左右映像（左右フレームの１フレームずつ）がブロック画像（この動作では３６個のブロック画像）に分割される（Ｓ１）。続いて、ブロック画像毎に窓手段５で（１−ｃｏｓ^２ｘ）（１−ｃｏｓ^２ｙ）という“窓がかけられ”、ブロック画像の端部の影響が除去され、端部影響除去ブロック画像とされる（Ｓ２）。そして、位相相関平面手段７で左右フレームの各々の端部影響除去ブロック画像ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）が以下のような２次元フーリエ変換される。２次元フーリエ変換は２のべき乗のＦＦＴによって実施される。
【００７４】
【数３】

【００７５】
この２次元フーリエ変換された画像から、次式によってＺ（Ｘ，Ｙ）が計算される。
【００７６】
【数４】

【００７７】
さらに、この結果が２次元逆フーリエ変換され、これにより、５１２×５１２の位相相関平面が生成される（Ｓ３）。
次に、この視差分布測定装置１の図示を省略した制御部は、最大ピーク値を検出する（Ｓ４）。
【００７８】
最大ピーク値を検出する場合（Ｓ４、Ｙｅｓ）最大ピーク値検出手段９で位相相関平面上における最大ピーク値が検出され、この最大ピーク値に対応する座標、すなわち水平方向、垂直方向の視差量が算出される（Ｓ５）。閾値処理手段１１で閾値処理が施され、判定手段１７に出力される。このときにＳの値（０または９９）も判定手段１７に出力される（Ｓ６）。
【００７９】
判定手段１７でＳの値に基づいて、ブロック画像の視差量の判定が可能であるかどうかが判断され、つまり、閾値処理手段１１からの出力とソート手段１５からの出力との双方が判定手段１７に入力されているかどうかが判断される（Ｓ７）。双方が入力されていないと判断された場合（Ｓ７、Ｎｏ）Ｓ４に戻り、最大ピーク値を検出するかが再び判断され、この場合、すでに、最大ピーク値は検出されているので、Ｓ４にてＮｏと判断され、ピーク値検出手段１３で、ピーク値が検出され、このピーク値に対応する座標、すなわち水平方向、垂直方向の視差量が算出される（Ｓ８）。
【００８０】
そして、このピーク値検出手段１３で検出されたピーク値が大きい順に並べ替えられ、上位３個のピーク値とこのピーク値に対応する視差量が判定手段１７に出力される（Ｓ９）。すると、判定手段１７では、再び、閾値処理手段１１からの出力とソート手段１５からの出力との双方が判定手段１７に入力されているかどうかが判断され、この場合、すでに、閾値処理手段１１からの出力とソート手段１５からの出力との双方が入力されているので、Ｓ７にてＹｅｓと判断される。そして、判定手段１７でＳの値に基づいて、ブロック画像毎の視差量が算出（決定）され（Ｓ１０）、ブロック画像毎に繰り返し実行され、フレーム内統計処理手段１９に出力される。フレーム内統計処理手段１９で、ブロック画像毎の視差量が統計処理され、１個のフレームにおける視差分布が算出される（Ｓ１１）。
【００８１】
（画像例とこの画像例における位相相関平面について）
次に、図４、図５を参照して、二眼立体映像のブロック画像と位相相関平面との実際の関係について説明する。
図４は、二眼立体映像の１個のブロック画像を図示しており、このブロック画像には、被写体として２匹の猫が含まれている。図５は、この１個のブロック画像（端部の影響を除去した後で）を位相相関平面に変換したものを示している。
【００８２】
図５中に示したＰ１、Ｐ２、Ｐ３の３個のピーク値は、図４に示したブロック画像内の「Ｃ１の猫」、「Ｃ２の猫」、「背景境界部分」に対応し、各々の水平視差量は、−２６画素、−２４画素、１４画素となる。図５中に示したＰ１、Ｐ２、Ｐ３の３個のピーク値は３４．０６（視差量：−２６）、３１．０６（視差量：１４）、２１．４０（視差量：−２４）であり、閾値処理手段１１における閾値は２０．９１である。
【００８３】
この実際の二眼立体映像を視差分布測定装置１に入力した結果、得られた視差分布に関する統計量は、概ね二眼立体映像の見やすさと以下に述べる関係がある。
（イ）視差分布の最大振幅が大きいと見にくい。
（ロ）二眼立体映像の一番手前の部分が極端に手前にあると見づらい。
（ハ）二眼立体映像の一番奥の部分の視差量が大きくなると立体映像として融合できなくなる。
（ニ）視差分布の分散が大きい映像は一般に見にくい。
（ホ）一般に奥行き方向の視差量の最大分布は、スクリーン（表示画面）からの眼の焦点深度内にとどめることが望ましい。
【００８４】
以上（イ）〜（ホ）のことから、視差分布測定装置１で測定された視差分布と、この視差分布の統計量を用いて、二眼立体映像の番組制作時に見にくい映像を省いたり、放送（上映）前に、見にくい映像シーンが含まれていないかどうかを確認したりすることが可能である。
【００８５】
また、見やすい二眼立体映像を制作するために、視差分布測定装置１を応用して、両眼視差の振幅と平均とを制御して、二眼立体映像の奥行き分布を人間の視覚特性に合わせて制限することが可能である。
【００８６】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、視差分布測定装置１の各構成の処理を一つずつの工程ととらえ、視差分布測定方法とみなすことや、各構成の処理を汎用的なコンピュータ言語で記述して視差分布測定プログラムとみなすことも可能である。これらの場合、視差分布測定装置１と同様な効果が得られる。
【００８７】
【発明の効果】
請求項１、３、５記載の発明によれば、位相相関法による位相相関平面が用いられており、この方法によって、二眼立体映像中の被写体の絵柄や大きさに影響のされることなく（被写体によらず）、正確な視差量を算出することができ、視差分布を測定することができる。これにより、二眼立体映像の見やすさ、見にくさを調べることができる。
【００８８】
請求項２、４、６記載の発明によれば、位相相関平面上のピーク値がブロック画像内の絵柄に対応しており、各ピーク値に対応する視差量を比較判定することによって、ブロック画像の絵柄に影響されることのない正確な視差分布を測定することができる。これにより、二眼立体映像の見やすさ、見にくさを調べることができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態を示す視差分布測定装置のブロック図である。
【図２】図１に示した視差分布測定装置の動作を説明したフローチャートである。
【図３】ブロック画像について説明した説明図である。
【図４】ブロック画像例を説明した図である。
【図５】図４に示したブロック画像例を位相相関平面に変換した図である。
【符号の説明】
１　視差分布測定装置
３　ブロック化手段
５　窓手段
７　位相相関平面算出手段
９　最大ピーク値検出手段
１１　閾値処理手段
１３　ピーク値検出手段
１５　ソート手段
１７　判定手段
１９　フレーム内統計処理手段

Claims

二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定方法であって、
前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割ステップと、
このフレーム分割ステップにおいて分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去ステップと、
前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出ステップと、
前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、ブロック画像毎の視差量を算出する最大ピーク値算出ステップと、
この最大ピーク値算出ステップにおいて算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定ステップと、
を含むことを特徴とする視差分布測定方法。
前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出ステップと、
このピーク値算出ステップにおいて算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソートステップと、
前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理ステップと、
この最大ピーク値閾値処理ステップにて閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出ステップにて算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソートステップにて並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定ステップと、
を含むことを特徴とする請求項１に記載の視差分布測定方法。
二眼立体映像における、視差量の分布である視差分布を測定する視差分布測定装置であって、
前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段と、
このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段と、
前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段と、
前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段と、
この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段と、
を備えることを特徴とする視差分布測定装置。
前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、
このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、
前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、
この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、
を備えることを特徴とする請求項３に記載の視差分布測定装置。
二眼立体映像における、視差量の分布である視差分布を測定する装置を、
前記二眼立体映像を構成する左右映像の対応するフレームを所定の大きさのブロック画像に分割するフレーム分割手段、
このフレーム分割手段で分割されたブロック画像の端部の影響を除去して端部影響除去ブロック画像とするブロック端影響除去手段、
前記端部影響除去ブロック画像を、横軸に水平方向の画素数を取り縦軸に垂直方向の画素数を取った位相相関平面に表す位相相関平面算出手段、
前記位相相関平面の画素数の最大ピーク値を算出し、この最大ピーク値に相当する前記位相相関平面上における座標に基づいて、前記ブロック画像毎の視差量を算出する最大ピーク値算出手段、
この最大ピーク値算出手段で算出したブロック画像毎の視差量に基づいて、前記フレームの前記視差分布を測定する視差分布測定手段、
として機能させることを特徴とする視差分布測定プログラム。
前記位相相関平面の画素数のピーク値を算出し、このピーク値に対応する視差量を算出するピーク値算出手段と、
このピーク値算出手段で算出したピーク値およびこのピーク値に対応する視差量を、当該ピーク値の大きい順位に並べ替えるソート手段と、
前記最大ピーク値を第一定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第一算出値と、前記最大ピーク値を第二定数倍した値より大きなピーク値をもつ座標数を前記端部影響除去ブロック画像内の全座標数で除算した第二算出値として、前記位相相関平面を閾値処理する最大ピーク値閾値処理手段と、
この最大ピーク値閾値処理手段で閾値処理した結果に基づき、前記第一算出値が予め設定した第一閾値以上である場合には、当該端部影響除去ブロックから視差量を算出せず、前記第一算出値が予め設定した第二閾値未満である場合には、当該端部影響除去ブロックから視差量を算出し、若しくは、前記第一算出値が予め設定した第二閾値以上であり、第一閾値未満である場合であって、前記第二算出値が予め設定した第三閾値以上である場合には、当該端部影響除去ブロックから視差量を算出し、前記第二算出値が予め設定した第三閾値未満である場合には、当該端部影響除去ブロックから視差量を算出しないと共に、前記視差量を算出する場合には、前記ピーク値算出手段で算出した最小ピーク値の絶対値の第三定数倍を第三算出値とし、前記ソート手段で並べ替えた順に、前記第三算出値と前記ピーク値とを比較し、前記第三算出値が前記ピーク値以上である場合には前記ピーク値に対応する視差量を算出せず、前記第三算出値が前記ピーク値未満である場合には、前記最大ピーク値以外のピーク値に対応する視差量を算出し、前記ブロック画像の視差量として判定する視差量判定手段と、
を有していることを特徴とする請求項５に記載の視差分布測定プログラム。