JP2016213664A - 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム - Google Patents

多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム Download PDF

Info

Publication number
JP2016213664A
JP2016213664A JP2015095606A JP2015095606A JP2016213664A JP 2016213664 A JP2016213664 A JP 2016213664A JP 2015095606 A JP2015095606 A JP 2015095606A JP 2015095606 A JP2015095606 A JP 2015095606A JP 2016213664 A JP2016213664 A JP 2016213664A
Authority
JP
Japan
Prior art keywords
unit
image
block
images
auxiliary information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015095606A
Other languages
English (en)
Other versions
JP6599634B2 (ja
Inventor
俊枝 三須
Toshie Misu
俊枝 三須
康孝 松尾
Yasutaka Matsuo
康孝 松尾
境田　慎一
Shinichi Sakaida
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to JP2015095606A priority Critical patent/JP6599634B2/ja
Publication of JP2016213664A publication Critical patent/JP2016213664A/ja
Application granted granted Critical
Publication of JP6599634B2 publication Critical patent/JP6599634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】エピポーラ拘束を利用することで多視点画像の符号化効率を改善する。
【解決手段】多視点画像符号化装置２００の多視点画像符号化部１０は、視点Ａ，Ｂ，Ｃの入力画像を従来の多視点画像符号化方式にて符号化し、多視点画像符号化ストリームを生成する。補間方法判定部２０は、視点Ａ，Ｂ，Ｃの入力画像を参照し視点Ｐ１〜Ｐ６の入力画像をそれぞれ復元するために必要な情報として、最適なブロックの番号を示す最適選択肢Ｓ１〜Ｓ６及び最適な奥行き値を示す最適奥行き値Ｄ１〜Ｄ６を生成する。補助情報多重化部３０は、視点Ｐ１〜Ｐ６の入力画像毎の最適選択肢Ｓ１〜Ｓ６及び最適奥行き値Ｄ１〜Ｄ６を多重化し、補助情報を生成する。多視点画像復号装置３００は、多視点画像符号化ストリームから元の視点Ａ，Ｂ，Ｃの復号画像を生成し、視点Ａ，Ｂ，Ｃの復号画像を参照し、補助情報に基づいて元の視点Ｐ１〜Ｐ６の復元画像を生成する。
【選択図】図２

Description

本発明は、複数の視点でそれぞれ得られる画像（多視点画像）を圧縮符号化する多視点画像符号化装置、多視点画像符号化ストリームを復号する多視点画像復号装置、画像を復元するための補助情報を生成する補助情報生成装置、補助情報を用いて画像を復元する画像復元装置、及びプログラムに関する。
従来、３次元の対象物を複数の視点から撮影した画像を伝送する多視点画像の符号化方式が知られている。この多視点画像の符号化方式を立体テレビ放送等で用いるためには、高効率な符号化が必要となる。
多視点画像の符号化方式としては、例えば、ITU-T H.264(ITU-T : International Telecommunication Union Telecommunication Standardization Sector)／ISO/IEC MPEG-4 AVC(ISO/IEC : International Organization for Standardization/International Electrotechnical Commission)のStereo ProfileまたはMVC(Multi-view Video Coding)等が知られている。これらの符号化方式では、動き補償予測による時間方向の相関利用のほか、視点間の視差を補償する予測技術等が用いられている。
例えば、視点間の視差を補償する予測技術を用いて、ある視点の低画質画像を、別の視点の高画質画像に基づいて精細化し、低画質画像の画質を改善する方式が提案されている（例えば、特許文献１を参照）。この方式では、高画質画像と低画質画像との間の視差を推定し、高画質画像に対して視差補償を行うことにより低画質画像の画質を改善する。これにより、視差ベクトルの一部をグローバルな主成分とし、グローバルな成分以外の成分との差分に分けて処理を行うことで、視差補償を効率化することができる。
特許第３６９３４０７号公報
このように、従来の多視点画像の符号化方式においては、視差を予測することにより視差補償を効率化していた。つまり、視差の予測の仕組みとしては、動きの予測と同様の仕組みを用いていた。
例えば、カメラの配置、姿勢、画角等のカメラパラメータが既知の場合には、複数の視点の対から求められる複数の視差には互いに相関があるため、多視点画像間の部分領域毎に対応付けを行うことで、視差を予測することができる。特許文献１の方式は、視差ベクトルを２段階で表現しており、互いの視差情報の相関を利用することにより視差補償の効率化が図られている。
しかしながら、視差情報の相関のみを用いた従来方式では、限られた伝送帯域で全ての多視点画像を伝送することが困難な場合があり、符号化効率を一層改善することが望まれていた。
そこで、本発明は上記課題を解決するためになされたものであり、その目的は、エピポーラ拘束を利用することで、符号化効率を改善可能な多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラムを提供することにある。
前記課題を解決するために、請求項１の多視点画像符号化装置は、Ｎ個の視点でそれぞれ得られるＮ個の入力画像（Ｎは２以上の整数）及び前記Ｎ個の視点以外の視点でそれぞれ得られるＬ個の入力画像（Ｌは１以上の整数）を符号化する多視点画像符号化装置において、前記Ｎ個の入力画像を符号化し、多視点画像符号化ストリームを生成する多視点画像符号化部と、前記Ｌ個の入力画像の部分領域毎に、当該部分領域に対応する前記Ｎ個の入力画像におけるエピポーラ線上の座標の部分領域を求め、前記Ｌ個の入力画像の部分領域と、前記Ｎ個の入力画像の部分領域との間の誤差が最小になるように、前記Ｎ個の入力画像から前記Ｌ個の入力画像を復元するために用いる補助情報であって、前記Ｎ個の入力画像の中から１以上の入力画像を選択する補助情報を、前記Ｌ個の入力画像のそれぞれについて生成する補助情報生成部と、を備えることを特徴とする。
係る構成によれば、従来の多視点画像符号化方式にて生成される多視点画像符号化ストリームに加え、補助情報を用いることで、Ｎ視点よりも多くの視点数の画像符号化が可能となる。また、Ｎ視点の入力画像については、従来の多視点画像符号化方式との互換を保つことができる。
また、請求項２の多視点画像符号化装置は、請求項１に記載の多視点画像符号化装置において、さらに、前記多視点画像符号化部により生成された多視点画像符号化ストリームを復号し、Ｎ個の復号画像を生成する多視点画像復号部と、前記Ｌ個の入力画像をそれぞれ所定時間遅延させる遅延部と、を備え、前記補助情報生成部が、前記遅延部により遅延させたＬ個の入力画像の部分領域毎に、当該部分領域に対応する、前記多視点画像復号部により生成されたＮ個の復号画像におけるエピポーラ線上の座標の部分領域を求め、前記Ｌ個の入力画像の部分領域と、前記Ｎ個の復号画像の部分領域との間の誤差が最小になるように、前記Ｎ個の復号画像から前記Ｌ個の入力画像を復元するために用いる補助情報であって、前記Ｎ個の復号画像の中から１以上の入力画像を選択する補助情報を、前記Ｌ個の入力画像のそれぞれについて生成する、ことを特徴とする。
係る構成によれば、同期したＮ視点の復号画像及びＬ視点の入力画像を用いて、劣化の少ない画像を復元可能な補助情報を生成することができる。
また、請求項３の多視点画像符号化装置は、請求項１または２に記載の多視点画像符号化装置において、前記Ｎ個の入力画像のそれぞれを参照画像とし、前記Ｌ個の入力画像のそれぞれを対象画像として、前記補助情報生成部は、前記Ｌ個の対象画像のそれぞれに対応した補助情報生成手段を備え、前記補助情報生成手段が、所定の奥行き値を走査する第１走査部と、前記対象画像の座標を走査する第２走査部と、前記第２走査部により走査された対象画像の座標に基づいて、前記対象画像の部分領域を前記対象画像のブロックとして切り出す第１ブロック切出部と、前記第２走査部により走査された対象画像の座標に対し、前記第１走査部により走査された奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出す第２ブロック切出部と、前記第２ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、前記重畳部により出力された組み合わせ毎のブロックと、前記第１ブロック切出部により切り出された対象画像のブロックとの間の差を求め、前記差に基づいて、前記組み合わせ毎のブロックのそれぞれについての評価値を算出する誤差評価部と、前記第１走査部により走査された奥行き値毎に、前記誤差評価部により組み合わせ毎のブロックのそれぞれについて評価値が算出された場合に、前記評価値のうち最小の評価値を判定し、前記最小の評価値に対応する前記奥行き値及び前記組み合わせを、最適奥行き値及び最適選択肢としてそれぞれ決定する誤差最小化部と、前記第２走査部により走査された対象画像の座標毎に、前記誤差最小化部により最適奥行き値及び最適選択肢が決定された場合に、前記対象画像の座標毎の最適奥行き値及び最適選択肢を多重化し、補助情報を生成する多重化部と、を備えることを特徴とする。
係る構成によれば、対象画像のブロックについて、Ｎ視点の参照画像のブロックにおける１個以上の組み合わせのうち、対象画像のブロックに最も近似する組み合わせを最適選択肢として決定することができる。また、そのときの奥行き値を最適奥行き値として決定することができる。
さらに、請求項４の多視点画像復号装置は、請求項１の多視点画像符号化装置により生成された多視点画像符号化ストリーム及び補助情報を入力し、前記多視点画像符号化ストリーム及び前記補助情報に基づいて、Ｎ個の視点でそれぞれ得られるＮ個の復号画像（Ｎは２以上の整数）及び前記Ｎ個の視点以外の視点でそれぞれ得られるＬ個の復元画像（Ｌは１以上の整数）を生成する多視点画像復号装置において、前記視点画像符号化ストリームを復号し、前記Ｎ個の復号画像を生成する多視点画像復号部と、前記Ｌ個の入力画像の部分領域毎に、当該部分領域に対応する前記Ｎ個の入力画像におけるエピポーラ線上の座標の部分領域を求め、前記Ｎ個の入力画像の中から１以上の入力画像を選択する前記補助情報に基づいて、前記１以上の入力画像における前記部分領域のブロックを選択し、前記Ｌ個の復元画像を生成する画像復元部と、を備えることを特徴とする。
係る構成によれば、従来の多視点画像復号方式にて復号される復号画像に加え、補助情報を用いることで、Ｎ視点よりも多くの視点数の画像復元が可能となる。また、Ｎ視点の入力画像については、従来の多視点画像復号方式との互換を保つことができる。
また、請求項５の多視点画像復号装置は、請求項３の多視点画像符号化装置により生成された多視点画像符号化ストリーム及び補助情報を入力する請求項４に記載の多視点画像復号装置において、前記Ｎ個の復号画像のそれぞれを参照画像とし、前記Ｌ個の復元画像のそれぞれを対象画像として、前記画像復元部が、前記Ｌ個の対象画像のそれぞれに対応した画像復元手段を備え、前記画像復元手段が、前記対象画像の座標を走査する走査部と、前記走査部により走査された対象画像の座標に対し、前記補助情報に含まれる最適奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出すブロック切出部と、前記ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、前記補助情報に含まれる最適選択肢に基づいて、前記重畳部により出力された組み合わせ毎のブロックのうち１つの組み合わせのブロックを選択する選択部と、前記走査部により走査された対象画像の座標に、前記選択部により選択されたブロックを設定し、前記ブロックを多重化し、前記対象画像である復元画像を生成するブロック多重化部と、を備えることを特徴とする。
係る構成によれば、Ｎ視点の復号画像、最適奥行き値及び最適選択肢に基づいて、元のＬ視点の入力画像に最適に近似する復元画像を生成することができる。
また、請求項６の多視点画像復号装置は、請求項５に記載の多視点画像復号装置において、前記画像復元手段が、前記重畳部及び選択部の代わりに新たな重畳部を備え、前記新たな重畳部が、前記ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせと前記最適選択肢との間の関係が定義されたテーブルを用いて、前記補助情報に含まれる最適選択肢に対応する組み合わせを特定し、前記特定した組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記特定した組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力し、前記ブロック多重化部が、前記走査部により走査された対象画像の座標に、前記新たな重畳部により出力されたブロックを設定し、前記ブロックを多重化し、前記対象画像である復元画像を生成する、ことを特徴とする。
係る構成によれば、全ての組み合わせについてブロックを重畳する必要がないから、処理負荷を低減することができる。
さらに、請求項７の補助情報生成装置は、Ｎ個の視点でそれぞれ得られるＮ個の入力画像（Ｎは２以上の整数）を参照し、前記Ｎ個の視点以外の視点で得られる入力画像を復元するための補助情報を生成する補助情報生成装置において、前記Ｎ個の入力画像のそれぞれを参照画像とし、前記Ｎ個の視点以外の視点で得られる入力画像を対象画像として、所定の奥行き値を走査する第１走査部と、前記対象画像の座標を走査する第２走査部と、前記第２走査部により走査された対象画像の座標に基づいて、前記対象画像の部分領域を前記対象画像のブロックとして切り出す第１ブロック切出部と、前記第２走査部により走査された対象画像の座標に対し、前記第１走査部により走査された奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出す第２ブロック切出部と、前記第２ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、前記重畳部により出力された組み合わせ毎のブロックと、前記第１ブロック切出部により切り出された対象画像のブロックとの差を求め、前記差に基づいて、前記組み合わせ毎のブロックのそれぞれについての評価値を算出する誤差評価部と、前記第１走査部により走査された奥行き値毎に、前記誤差評価部により組み合わせ毎のブロックのそれぞれについて評価値が算出された場合に、前記評価値のうち最小の評価値を判定し、前記最小の評価値に対応する前記奥行き値及び前記組み合わせを、最適奥行き値及び最適選択肢としてそれぞれ決定する誤差最小化部と、前記第２走査部により走査された対象画像の座標毎に、前記誤差最小化部により最適奥行き値及び最適選択肢が決定された場合に、前記対象画像の座標毎の最適奥行き値及び最適選択肢を多重化し、補助情報を生成する多重化部と、を備えることを特徴とする。
係る構成によれば、対象画像のブロックについて、Ｎ視点の参照画像のブロックにおける１個以上の組み合わせのうち、対象画像のブロックに最も近似する組み合わせを最適選択肢として決定することができる。また、そのときの奥行き値を最適奥行き値として決定することができる。
さらに、請求項８の画像復元装置は、Ｎ個の視点でそれぞれ得られるＮ個の画像（Ｎは２以上の整数）を参照し、請求項７の補助情報生成装置により生成された補助情報に基づいて、前記Ｎ個の視点以外の視点で得られる画像を復元する画像復元装置において、前記Ｎ個の画像のそれぞれを参照画像とし、前記復元画像を対象画像として、前記対象画像の座標を走査する走査部と、前記走査部により走査された対象画像の座標に対し、前記補助情報に含まれる最適奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出すブロック切出部と、前記ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、前記補助情報に含まれる最適選択肢に基づいて、前記重畳部により出力された組み合わせ毎のブロックのうち１つの組み合わせのブロックを選択する選択部と、前記走査部により走査された対象画像の座標に、前記選択部により選択されたブロックを設定し、前記ブロックを多重化し、前記対象画像である復元画像を生成するブロック多重化部と、を備えることを特徴とする。
係る構成によれば、Ｎ視点の復号画像、最適奥行き値及び最適選択肢に基づいて、元のＬ視点の入力画像に最適に近似する復元画像を生成することができる。
さらに、請求項９の多視点画像符号化プログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の多視点画像符号化装置として機能させることを特徴とする。
また、請求項１０の多視点画像復号プログラムは、コンピュータを、請求項４から６までのいずれか一項に記載の多視点画像復号装置として機能させることを特徴とする。
また、請求項１１の補助情報生成プログラムは、コンピュータを、請求項７に記載の補助情報生成装置として機能させることを特徴とする。
また、請求項１２の画像復元プログラムは、コンピュータを、請求項８に記載の画像復元装置として機能させることを特徴とする。
以上のように、本発明によれば、一部の視点の画像については従来の方式で符号化し、他の視点の画像については、カメラパラメータに起因するエピポーラ拘束を利用した補助情報に変換するようにした。これにより、多視点画像の符号化効率を改善することが可能となる。
入力画像とエピポーラ線との関係を示す概念図である。 本発明の実施形態による多視点画像符号化装置の構成の一例を示すブロック図である。 補間方法判定部の構成の一例を示すブロック図である。 補間方法判定手段の構成の一例を示すブロック図である。 ブロック切出部の構成の一例を示すブロック図である。 式（２）のパラメータの説明を補充する図である。 重畳部の構成の一例を示すブロック図である。 誤差評価部の構成の一例を示すブロック図である。 補間方法判定処理の一例を示すフローチャートである。 本発明の実施形態による多視点画像復号装置の構成の一例を示すブロック図である。 画像復元部の構成の一例を示すブロック図である。 画像復元手段の構成の一例を示すブロック図である。 ブロック切出部の構成の一例を示すブロック図である。 画像復元処理の一例を示すフローチャートである。 本発明の他の実施形態による多視点画像符号化装置の構成の一例を示すブロック図である。 誤差最小化部の処理を説明する図である。
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、符号化側において、Ｎ視点（Ｎは２以上の整数）の画像については、従来の多視点画像符号化方式にて符号化して出力し、別のＬ視点（Ｌは１以上の整数）の画像については、カメラパラメータに起因するエピポーラ拘束を利用した補助情報に変換して出力することを特徴とする。また、本発明は、復号側において、Ｎ視点の画像については、従来の多視点画像復号方式にて復号し、別のＬ視点の画像については、復号したＮ視点の画像を参照し、補助情報に基づいて復元することを特徴とする。
［エピポーラ線］
まず、３次元空間の被写体を複数の視点から撮影したときの２次元画像の関係を表現するエピポーラ幾何におけるエピポーラ線について説明する。図１は、視点Ｐ，Ａ，Ｂ，Ｃから撮影した入力画像とエピポーラ線との関係を示す概念図である。入力画像１００，１１０，１２０，１３０は、円柱及び球体からなる被写体１４０を、異なる視点Ｐ，Ａ，Ｂ，Ｃから撮影した画像である。
視点Ｐ，Ａ，Ｂ，Ｃの入力画像１００，１１０，１２０，１３０を撮像したカメラの相対位置、相対姿勢、及びカメラの内部パラメータ（焦点距離、歪み係数等）は既知であるものとする。このとき、視点Ｐの入力画像１００内において、被写体１４０上の一点に対応する別の視点Ａの入力画像１１０の座標（以下、対応点という。）は、ある曲線上（視点Ａのカメラが幾何歪みのない中心投影である場合にはある直線上）に拘束される。
特に、対応点が直線上に拘束される場合には、直線１１１（ＥＰA）をエピポーラ線という。例えば、視点Ｐの入力画像１００上の一点１０１（座標（ｂx，ｂy））に対応する視点Ａの入力画像１１０上の対応点の画像座標は、エピポーラ線１１１（ＥＰA）上を移動する。
同様に、視点Ｂの入力画像１２０において、視点Ｐの入力画像１００上の一点１０１（座標（ｂx，ｂy））に対応する対応点は、エピポーラ線１２１（ＥＰB）上に存在する。さらに、視点Ｃの入力画像１３０において、視点Ｐの入力画像１００上の一点１０１（座標（ｂx，ｂy））に対応する対応点は、エピポーラ線１３１（ＥＰC）上に存在する。
視点Ａ，Ｂ，Ｃの入力画像１１０，１２０，１３０の対応点がエピポーラ線１１１，１２１，１３１上のどの箇所に存在するかは、被写体１４０上の点１０１から視点Ｐの入力画像１００へ降ろした垂線の線分長である奥行き値ｄに応じて一意に決定される。
逆に、視点Ｐの入力画像１００における点１０１に対応する視点Ａの入力画像１１０の対応点を、視点Ｐの入力画像１００における部分領域１０２の特徴等によって特定することができれば、視点Ｐから被写体１４０上の点１０１までの奥行き値ｄを一意に求めることができる。
例えば、視点Ｐの入力画像１００内の点１０１について、その周りに部分領域１０２を設定する。そして、視点Ａの入力画像１１０内のエピポーラ線１１１上に部分領域を設定して移動させることにより、入力画像１００内の部分領域１０２と入力画像１１０内の部分領域との間で、画像の相関が最大または画像の誤差が最小となるエピポーラ線１１１上の１点を特定する。この点が、視点Ａの入力画像１１０の対応点となる。これにより、視点Ｐから被写体１４０上の点１０１までの奥行き値ｄを決定することができる。
ここで、符号化側が、視点Ｐの入力画像１００における点１０１に対する対応点（視点Ａ，Ｂ，Ｃの入力画像１１０，１２０，１３０の対応点）を求め、視点Ｐから被写体１４０上の点１０１までの奥行き値ｄを決定し、視点Ａ，Ｂ，Ｃの入力画像１１０，１２０，１３０及び奥行き値ｄを復号側へ出力する。復号側は、視点Ａ，Ｂ，Ｃの入力画像１１０，１２０，１３０及び奥行き値ｄを用いて、視点Ｐの入力画像１００を復元することができる。
本発明の実施形態において、多視点画像符号化装置は、Ｎ視点（Ｎは２以上の整数）の入力画像を従来の多視点画像符号化方式にて符号化し、多視点画像符号化ストリームを出力する。また、多視点画像符号化装置は、エピポーラ拘束を利用し、Ｎ視点以外のＬ視点（Ｌは１以上の整数）の入力画像を、Ｎ視点の入力画像を参照して復元するための補助情報に変換し、当該補助情報を出力する。
また、本発明の実施形態において、多視点画像復号化装置は、多視点画像符号化装置から出力された多視点画像符号化ストリームを従来の多視点画像復号方式にて復号し、Ｎ視点の復号画像を生成し、多視点画像符号化装置から出力された補助情報、及びＮ視点の復号画像に基づいて、Ｌ視点の復元画像を生成する。
以下、視点Ｐを６個の視点Ｐ１〜Ｐ６とし、視点Ｐ１〜Ｐ６の入力画像を補助情報に変換する場合を例に挙げて説明する。
［多視点画像符号化装置］
まず、本発明の実施形態による多視点画像符号化装置について説明する。図２は、本発明の実施形態による多視点画像符号化装置の構成の一例を示すブロック図である。この多視点画像符号化装置２００は、多視点画像符号化部１０、補間方法判定部（補助情報生成部）２０及び補助情報多重化部３０を備えている。
多視点画像符号化部１０は、視点Ａ，Ｂ，Ｃから撮影した画像（視点Ａ，Ｂ，Ｃでそれぞれ得られる画像）を入力し、視点Ａ，Ｂ，Ｃの入力画像を従来の多視点画像符号化方式にて符号化し、多視点画像符号化ストリームを生成して外部へ出力する。尚、多視点画像符号化部１０は、図示しない単視点用の画像符号化手段を視点の数だけ並列に備えるように構成してもよい。
例えば、多視点画像符号化部１０は、視点Ａ，Ｂ，Ｃの入力画像における視点間の画像相関を利用して画像符号化を行う。多視点画像符号化部１０は、視点Ａの入力画像上に部分領域を設定し、視点Ａの入力画像上の部分領域内の画像パターンと、視点Ｂ，Ｃの入力画像内の部分領域とを比較する。そして、多視点画像符号化部１０は、視点Ａの入力画像上の部分領域の画像パターンに最も近い部分領域を探索する。
多視点画像符号化部１０は、視点Ｂ，Ｃの入力画像の部分領域から視点Ａの入力画像の部分領域へ至る視差ベクトルを求めると共に、視点Ｂ，Ｃの入力画像における部分領域の画素値から、視点Ａの入力画像における部分領域の画素値を減じることで残差画像を生成する。そして、多視点画像符号化部１０は、視点Ａの入力画像、並びに視点Ｂ，Ｃの視差ベクトル及び残差画像を符号化して多視点画像符号化ストリームを生成する。
この従来の多視点画像符号化方式の例は、視点Ｂ，Ｃの残差画像の画素値が０付近に偏在し、残差画像の高域成分の誤差は人の目に感じ難い性質がある、ことに着目したものである。
補間方法判定部２０は、視点Ａ，Ｂ，Ｃから撮影した画像を入力すると共に、視点Ｐ１〜Ｐ６から撮影した画像（視点Ａ，Ｂ，Ｃ以外の視点Ｐ１〜Ｐ６でそれぞれ得られる画像）を入力し、視点Ａ，Ｂ，Ｃの入力画像を参照して視点Ｐ１〜Ｐ６の入力画像を復元するために最適な選択肢（最適選択肢）及び最適な奥行き値（最適奥行き値）を生成する。そして、補間方法判定部２０は、視点Ｐ１〜Ｐ６の入力画像毎の最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を補助情報多重化部３０に出力する。
補助情報多重化部３０は、補間方法判定部２０から視点Ｐ１〜Ｐ６の入力画像毎の最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を入力し、これらを多重化し、補助情報を生成して外部へ出力する。
（補間方法判定部２０）
図３は、補間方法判定部２０の構成の一例を示すブロック図である。この補間方法判定部２０は、同一の機能を有する複数の補間方法判定手段（補助情報生成手段）２０−１〜２０−６を備えている。補間方法判定手段２０−１〜２０−６の数は、視点Ｐ１〜Ｐ６の視点数と同じである。
補間方法判定手段２０−１は、視点Ａ，Ｂ，Ｃから撮影した画像を入力すると共に、視点Ｐ１から撮影した画像を入力し、視点Ａ，Ｂ，Ｃの入力画像を参照して視点Ｐ１の入力画像を復元するための最適奥行きマップＤ１及び最適選択肢マップＳ１を生成する。そして、補間方法判定手段２０−１は、視点Ｐ１の入力画像の最適奥行きマップＤ１及び最適選択肢マップＳ１を補助情報多重化部３０に出力する。最適奥行きマップＤ１及び最適選択肢マップＳ１は、視点Ｐ１の入力画像を復元するために用いられる。
同様に、補間方法判定手段２０−２〜２０−６は、視点Ａ，Ｂ，Ｃから撮影した画像を入力すると共に、視点Ｐ２〜Ｐ６から撮影した画像を入力し、視点Ａ，Ｂ，Ｃの入力画像を参照して視点Ｐ２〜Ｐ６の入力画像を復元するための最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ２〜Ｓ６をそれぞれ生成する。そして、補間方法判定手段２０−２〜２０−６は、視点Ｐ２〜Ｐ６の入力画像の最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ２〜Ｓ６を補助情報多重化部３０にそれぞれ出力する。最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ２〜Ｓ６は、視点Ｐ２〜Ｐ６の入力画像を復元するために用いられる。
（補間方法判定手段２０−１）
図４は、補間方法判定手段２０−１の構成の一例を示すブロック図である。この補間方法判定手段２０−１は、走査部２１，２２、ブロック切出部２３，２４、重畳部２５、誤差評価部２６、誤差最小化部２７及び最適マップ多重化部２８を備えている。補間方法判定手段２０−２〜２０−６の構成は、補間方法判定手段２０−１と同様である。
走査部２１は、視点Ｐ１から被写体１４０上の一点までの奥行き値ｄを、予め設定された範囲内で走査して順次設定し、設定した奥行き値ｄをブロック切出部２４及び誤差最小化部２７に出力する。例えば、走査部２１は、視点Ｐ１の入力画像における奥行き値ｄを、カメラの最短撮影距離から無限遠までの間において、予め設定された間隔で順次変化させる。予め設定された間隔は、一定の間隔であってもよいし、処理の効率等の関係から不均一な間隔であってもよい。
例えば、視点Ｐ１から被写体１４０上の一点までの奥行き値ｄの変化量は、視点Ａ，Ｂ，Ｃの入力画像のエピポーラ線上における対応点の移動量の最大値が１画素程度（例えば、０．５画素〜２画素）となるような割合とすることが好ましい。奥行き値ｄの走査は、
ｄ＝（α／ｚ）z=0,1,2,・・,Z
となるように設定することが好ましい。αは正の実定数であり、例えば、α／Ｚは最短撮影距離程度とし、ｚ＝０のときのα／ｚは＋∞とする。
走査部２２は、視点Ｐ１の入力画像（画像サイズをＣx×Ｃyとする）上において、後段のブロック切出部２３がブロックＲを切り出すための画像座標（ｂx，ｂy）を走査して順次設定し、視点Ｐ１のブロックＲ毎に、視点Ｐ１のブロック位置（ｂx，ｂy）をブロック切出部２３及びブロック切出部２４に出力する。
走査部２２は、例えば、ブロックＲの大きさをＢx×Ｂyとして、走査する画像座標（ｂx，ｂy）を、以下の式により設定する。
Figure 2016213664
 ｘ％ｙは、整数ｘを整数ｙで除したときの剰余とする。
ブロック切出部２３は、視点Ｐ１から撮影した画像を入力すると共に、走査部２２から視点Ｐ１のブロック位置（ｂx，ｂy）を入力し、視点Ｐ１の入力画像から、ブロック位置（ｂx，ｂy）を基準にして部分領域であるブロックＲを切り出す。そして、ブロック切出部２３は、視点Ｐ１のブロックＲを誤差評価部２６に出力する。
（ブロック切出部２４）
ブロック切出部２４は、視点Ａ，Ｂ，Ｃから撮影した画像を入力すると共に、走査部２１から奥行き値ｄを入力し、さらに、走査部２２から視点Ｐ１のブロック位置（ｂx，ｂy）を入力する。そして、ブロック切出部２４は、視点Ｐ１の入力画像のブロック位置（ｂx，ｂy）に撮像された被写体１４０上の点が奥行き値ｄの位置にあると仮定したときの、当該被写体１４０上の点に対応する視点Ａ，Ｂ，Ｃの入力画像の座標（基準点）を求める。つまり、ブロック切出部２４は、視点Ｐ１の入力画像のブロック位置（ｂx，ｂy）に対し、奥行き値ｄに対応する視点Ａ，Ｂ，Ｃの入力画像におけるエピポーラ線上の座標を基準点としてそれぞれ求める。
ブロック切出部２４は、視点Ａ，Ｂ，Ｃの入力画像の基準点に基づいて、視点Ａ，Ｂ，Ｃの入力画像から所定形状の部分領域（ブロック）Ｔ1，Ｔ2，Ｔ3をそれぞれ切り出し、視点Ａ，Ｂ，ＣのブロックＴ1，Ｔ2，Ｔ3を重畳部２５に出力する。
図５は、ブロック切出部２４の構成の一例を示すブロック図である。このブロック切出部２４は、同一の機能を有する複数のブロック切出手段２４−１〜２４−３を備えている。ブロック切出手段２４−１〜２４−３の数は、視点Ａ，Ｂ，Ｃの視点数と同じである。
前述のブロック切出部２３は、視点Ｐ１の入力画像から、部分領域であるブロックＲを切り出すのに対し、ブロック切出手段２４−１〜２４−３は、視点Ａ，Ｂ，Ｃの入力画像から、部分領域であるブロックＴ1，Ｔ2，Ｔ3を切り出す。
ブロック切出手段２４−１は、視点Ａから撮影した画像を入力すると共に、走査部２１から奥行き値ｄを入力し、さらに、走査部２２からブロック位置（ｂx，ｂy）を入力する。ここで、ブロック切出手段２４−１は、視点Ｐ１から見た被写体１４０の奥行き値が未知であるため、視点Ｐ１の入力画像の中の画像座標（ｂx，ｂy）の位置で撮像された被写体１４０上の点までの距離が奥行き値ｄであると仮定する。そして、ブロック切出手段２４−１は、視点Ｐ１の入力画像における被写体１４０上の点が、奥行き値ｄをパラメータとして、視点Ａの入力画像の中のどの画像座標（ｑx（ｄ），ｑy（ｄ））に対応するかを求め、その画像座標（ｑx（ｄ），ｑy（ｄ））を基準点とする。ブロック切出手段２４−１は、視点Ａの入力画像から、その基準点の周りに、予め設定された形状のブロックＴ1を抽出し、視点ＡのブロックＴ1を重畳部２５に出力する。基準点とは、例えば部分領域の中心の画像座標をいう。
例えば、ブロック切出手段２４−１は、奥行き値ｄに対応する視点Ａの入力画像の基準点である画像座標（ｑx（ｄ），ｑy（ｄ））を、以下の式にて算出する。
Figure 2016213664
前記式（２）において、ｆＰは視点Ｐを撮影したカメラの焦点距離、ｆＡは視点Ａを撮影したカメラの焦点距離を示す。ベクトルｔは、視点Ｐのカメラに固定された座標系（座標系ΣＰ）で測った視点Ｐから視点Ａへ至るベクトル、Ｒは、座標系ΣＰに対する視点Ａのカメラに固定された座標系（座標系ΣＡ）の相対姿勢を表す回転行列、右上付きのＴは行列またはベクトルの転置を示す。
図６は、前記式（２）のパラメータの説明を補充する図であり、視点Ａの画像平面と視点Ｐ１の画像平面との関係を示している。座標系ΣＰは、視点Ｐ１のカメラにおいて、画像平面と光軸の交点に原点をとり、画像平面上にｘ軸及びｙ軸とする２軸をとる。例えば、ｘ軸及びｙ軸とする２軸は、画像平面内において水平方向にｘ軸、垂直方向にｙ軸をとる。また、座標系ΣＰは、原点から光軸に沿って被写体１４０側へ向かってｚ軸をとる。
同様に、座標系ΣＡは、視点Ａのカメラにおいて、画像平面と光軸の交点に原点をとり、画像平面上にｘ軸及びｙ軸とする２軸をとり、原点から光軸に沿って被写体１４０側へ向かってｚ軸をとる。
尚、図５において、ブロック切出手段２４−２，２４−３の処理は、ブロック切出手段２４−１の処理と同様である。
（重畳部２５）
図４に戻って、重畳部２５は、ブロック切出部２４から視点Ａ，Ｂ，ＣのブロックＴ1，Ｔ2，Ｔ3を入力し、ブロックＴ1，Ｔ2，Ｔ3の中から２個以上を重畳し、重畳したブロックを生成する。重畳部２５は、入力したブロックＴ1，Ｔ2，Ｔ3及び重畳により生成したブロックを、ブロックＷ1〜Ｗ7として誤差評価部２６に出力する。重畳とは、例えば、複数の画像（ブロック）の画素値を画素位置毎に相加平均をとった結果を出力する演算とする。
つまり、重畳部２５は、視点Ａ，Ｂ，ＣのブロックＴ1，Ｔ2，Ｔ3のうち１個以上の所定数のブロックの組み合わせを生成し、組み合わせが２個以上のブロックの場合、これらのブロックを重畳して重畳ブロックを生成する。この組み合わせの数をＭとすると、Ｍは、２以上であって、かつ２N−１以下の整数である。本例の場合は、Ｎ＝３であるから、組み合わせの数はＭ＝７である。そして、重畳部２５は、組み合わせ毎のブロック、すなわち入力したブロックＴ1，Ｔ2，Ｔ3及び重畳により生成した重畳ブロックを、ブロックＷ1〜Ｗ7として出力する。
図７は、重畳部２５の構成の一例を示すブロック図である。この重畳部２５は、同一の機能を有する複数の重畳手段２５−１〜２５−４を備えている。重畳手段２５−１は、ブロック切出部２４から視点Ａ，ＢのブロックＴ1，Ｔ2を入力し、ブロックＴ1，Ｔ2を重畳することでブロックＷ3を生成し、ブロックＷ3を誤差評価部２６に出力する。
重畳手段２５−２は、ブロック切出部２４から視点Ａ，ＣのブロックＴ1，Ｔ3を入力し、ブロックＴ1，Ｔ3を重畳することでブロックＷ5を生成し、ブロックＷ5を誤差評価部２６に出力する。また、重畳手段２５−３は、ブロック切出部２４から視点Ｂ，ＣのブロックＴ2，Ｔ3を入力し、ブロックＴ2，Ｔ3を重畳することでブロックＷ6を生成し、ブロックＷ6を誤差評価部２６に出力する。また、重畳手段２５−４は、ブロック切出部２４から視点Ａ，Ｂ，ＣのブロックＴ1，Ｔ2，Ｔ3を入力し、ブロックＴ1，Ｔ2，Ｔ3を重畳することでブロックＷ7を生成し、ブロックＷ7を誤差評価部２６に出力する。
重畳部２５は、ブロック切出部２４から入力した視点Ａ，Ｂ，ＣのブロックＴ1，Ｔ2，Ｔ3を、ブロックＷ1，Ｗ2，Ｗ4としてそのまま誤差評価部２６に出力する。
重畳部２５は、例えば以下の式にて、奥行き値ｄのブロックＷ1〜Ｗ7を生成する。
Figure 2016213664
 ブロックＴ1，Ｔ2，Ｔ3内の画像座標（ｉ，ｊ）における画素値をＴ1（ｉ，ｊ），Ｔ2（ｉ，ｊ），Ｔ3（ｉ，ｊ）とする。
（誤差評価部２６）
図４に戻って、誤差評価部２６は、重畳部２５からブロックＷ1〜Ｗ7を入力すると共に、ブロック切出部２３から視点Ｐ１のブロックＲを入力する。そして、誤差評価部２６は、ブロックＷ1〜Ｗ7のそれぞれとブロックＲとの間の差である誤差値を定量化することで評価値Ｑ1〜Ｑ7を算出し、評価値Ｑ1〜Ｑ7を誤差最小化部２７に出力する。
図８は、誤差評価部２６の構成の一例を示すブロック図である。この誤差評価部２６は、同一の機能を有する複数の誤差評価手段２６−１〜２６−７を備えている。誤差評価手段２６−１〜２６−７は、重畳部２５からブロックＷ1〜Ｗ7を入力すると共に、ブロック切出部２３から視点Ｐ１のブロックＲを入力し、例えば以下の式にて、奥行き値ｄの評価値Ｑ1〜Ｑ7を算出する。
Figure 2016213664
ここで、Ｑk (d)（ｂx，ｂy）は、奥行き値ｄ及びブロックＷ1〜Ｗ7の番号ｋにおいて、視点Ｐ１のブロック位置（ｂx，ｂy）に対応する視点Ａ，Ｂ，ＣのブロックＷ1〜Ｗ7と、視点Ｐ１のブロック位置（ｂx，ｂy）にて切り出されたブロックＲとの間の誤差の総和値である。
図４に戻って、誤差最小化部２７は、誤差評価部２６から評価値Ｑ1〜Ｑ7を入力すると共に、走査部２１から奥行き値ｄを入力し、様々な奥行き値ｄに対する評価値Ｑ1〜Ｑ7のうち、最小の誤差値を与える評価値（最小評価値）を判定する。誤差最小化部２７は、最小評価値に対応する奥行き値ｄを最適奥行き値Ｄ（ｂx，ｂx）とし、最小評価値に対応するブロックの識別子（ブロックＷ1〜Ｗ7の識別子のうちの１つ識別子、すなわち最小評価値に対応する視点Ａ，Ｂ，ＣのブロックＴ1，Ｔ2，Ｔ3の組み合わせを識別するデータ（ブロック番号））を最適選択肢Ｓ（ｂx，ｂy）とし、視点Ｐ１のブロック位置（ｂx，ｂy）における最適奥行き値Ｄ（ｂx，ｂx）及び最適選択肢Ｓ（ｂx，ｂy）を、最適マップ多重化部２８に出力する。
誤差最小化部２７は、例えば以下の式により、視点Ｐ１のブロック位置（ｂx，ｂy）における最適奥行き値Ｄ（ｂx，ｂx）及び最適選択肢Ｓ（ｂx，ｂy）を求める。
Figure 2016213664
図１６は、誤差最小化部２７の処理を説明する図である。誤差最小化部２７により、奥行き値ｄ1に対するブロック番号毎の評価値Ｑ1 (1)，Ｑ2 (1)，・・・，Ｑ7 (1)、奥行き値ｄ2に対するブロック番号毎の評価値Ｑ1 (2)，Ｑ2 (2)，・・・，Ｑ7 (2)、・・・、奥行き値ｄmに対するブロック番号毎の評価値Ｑ1 (m)，・・・，Ｑn (m)，・・・，Ｑ7 (m)等が入力され、これらの評価値Ｑ1 (1)等から最小評価値Ｑn (m)が判定されるものとする。視点Ｐ１のブロック位置（ｂx，ｂy）における最適奥行き値Ｄ（ｂx，ｂx）としてｄmが求められ、最適選択肢Ｓ（ｂx，ｂy）としてｎが求められる。
図４に戻って、最適マップ多重化部２８は、誤差最小化部２７から視点Ｐ１のブロック位置（ｂx，ｂy）における最適奥行き値Ｄ（ｂx，ｂx）及び最適選択肢Ｓ（ｂx，ｂy）を入力すると共に、走査部２２から視点Ｐ１のブロック位置（ｂx，ｂy）を入力する。そして、最適マップ多重化部２８は、様々なブロック位置（ｂｘ，ｂｙ）の最適奥行き値Ｄ（ｂx，ｂx）及び最適選択肢Ｓ（ｂx，ｂy）を多重化することでマップ化し、視点Ｐ１の入力画像の最適奥行きマップＤ１及び最適選択肢マップＳ１として、補助情報多重化部３０に出力する。
このように、最適奥行きマップＤ１には、様々なブロック位置（ｂｘ，ｂｙ）の最適奥行き値Ｄ（ｂｘ，ｂｙ）が格納され、最適選択肢マップＳ１には、様々なブロック位置（ｂｘ，ｂｙ）の最適選択肢Ｓ（ｂｘ，ｂｙ）が格納される。最適奥行きマップＤ１及び最適選択肢マップＳ１は、視点Ｐ１の入力画像を復元するために用いられる。
同様に、補間方法判定手段２０−２〜２０−６は、視点Ａ，Ｂ，Ｃの入力画像を参照し、視点Ｐ２〜Ｐ６の入力画像の最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ２〜Ｓ６をそれぞれ生成し、これらを補助情報多重化部３０にそれぞれ出力する。最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ２〜Ｓ６は、視点Ｐ２〜Ｐ６の入力画像を復元するために用いられる。
（補間方法判定手段２０−１の動作）
次に、補間方法判定手段２０−１の動作について説明する。図９は、補間方法判定手段２０−１による補間方法判定処理の一例を示すフローチャートである。補間方法判定手段２０−２〜２０−６による補間方法判定処理も同様である。
まず、補間方法判定手段２０−１のブロック切出部２４は、視点Ａ，Ｂ，Ｃの画像を入力し、ブロック切出部２３は、視点Ｐ１の入力画像を入力する（ステップＳ１０１）。
走査部２２は、視点Ｐ１の入力画像から部分領域であるブロックＲを切り出すためのブロック位置（ｂｘ，ｂｙ）を設定し、ブロック切出部２３は、視点Ｐ１の入力画像からブロック位置（ｂｘ，ｂｙ）のブロックＲを切り出す（ステップＳ１０２）。
走査部２１は、視点Ｐ１の入力画像の奥行き値ｄを設定する（ステップＳ１０３）。そして、ブロック切出部２４は、視点Ｐ１の入力画像のブロック位置（ｂx，ｂy）に撮像された被写体１４０上の点が奥行き値ｄの位置にあると仮定したときの、当該被写体１４０上の点に対応する視点Ａ，Ｂ，Ｃの入力画像の座標（基準点）を求め、視点Ａ，Ｂ，Ｃの画像から、基準点のブロックＴ1，Ｔ2，Ｔ3をそれぞれ切り出す（ステップＳ１０４）。
重畳部２５は、視点Ａ，Ｂ，ＣのブロックＴ1，Ｔ2，Ｔ3の中から２個以上を重畳し、ブロックＷ1〜Ｗ7を生成する（ステップＳ１０５）。そして、誤差評価部２６は、ブロックＷ1〜Ｗ7と視点Ｐ１のブロックＲとの間の誤差値を定量化して評価値Ｑ1〜Ｑ7を算出する（ステップＳ１０６）。
補間方法判定手段２０−１は、奥行き値ｄの走査が終了するまで、ステップＳ１０４〜ステップＳ１０６の処理を繰り返し、奥行き値ｄの走査が終了すると、ステップＳ１０８へ移行する（ステップＳ１０７）。
誤差最小化部２７は、ステップＳ１０７から移行して、様々な奥行き値ｄに対する評価値Ｑ1〜Ｑ7のうち最小の誤差値を与える最小評価値を判定し、最適奥行き値Ｄ（ｂx，ｂx）及び最適選択肢Ｓ（ｂx，ｂy）を決定する（ステップＳ１０８）。
補間方法判定手段２０−１は、視点Ｐ１のブロック位置（ｂｘ，ｂｙ）の走査が終了するまで、ステップＳ１０２〜ステップＳ１０８の処理を繰り返す（ステップＳ１０９）。
このように、補間方法判定手段２０−１により、視点Ｐ１の様々なブロック位置（ｂｘ，ｂｙ）の最適奥行き値Ｄ（ｂx，ｂx）及び最適選択肢Ｓ（ｂx，ｂy）が決定される。そして、最適マップ多重化部２８により、視点Ｐ１の様々なブロック位置（ｂｘ，ｂｙ）の最適奥行き値Ｄ（ｂx，ｂy）及び最適選択肢Ｓ（ｂx，ｂy）が多重化され、最適奥行きマップＤ１及び最適選択肢マップＳ１として、補助情報多重化部３０に出力される。
以上のように、本発明の実施形態による多視点画像符号化装置２００によれば、多視点画像符号化部１０は、視点Ａ，Ｂ，Ｃの入力画像を従来の多視点画像符号化方式にて符号化し、多視点画像符号化ストリームを生成する。そして、補間方法判定部２０は、視点Ａ，Ｂ，Ｃの入力画像を参照して視点Ｐ１〜Ｐ６の入力画像をそれぞれ復元するための最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を生成する。そして、補助情報多重化部３０は、視点Ｐ１〜Ｐ６の入力画像毎の最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ２〜Ｓ６を多重化し、補助情報を生成する。
これにより、多視点画像符号化装置２００から、視点Ａ，Ｂ，Ｃの入力画像については多視点画像符号化ストリームが出力され、視点Ｐ１〜Ｐ６の入力画像については補助情報が出力される。後述する多視点画像復号装置は、多視点画像符号化ストリーム及び補助情報を入力し、多視点画像符号化ストリームを復号して元の視点Ａ，Ｂ，Ｃの復号画像を生成することができ、視点Ａ，Ｂ，Ｃの復号画像を参照し、補助情報に基づいて元の視点Ｐ１〜Ｐ６の復元画像を生成することができる。
したがって、視点Ｐ１〜Ｐ６の入力画像については、カメラパラメータに起因するエピポーラ拘束を利用した補助情報に変換して出力され、この補助情報は、最適なブロック番号及び最適な奥行き値であり、従来の多視点画像符号化方式にて出力される誤差画像に比べて情報量が少ない。つまり、画像の符号化効率を向上させることができる。
尚、本発明の実施形態による多視点画像符号化装置２００のハードウェア構成としては、通常のコンピュータを使用することができる。多視点画像符号化装置２００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。多視点画像符号化装置２００に備えた多視点画像符号化部１０、補間方法判定部２０及び補助情報多重化部３０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
［多視点画像復号装置］
次に、本発明の実施形態による多視点画像復号装置について説明する。図１０は、本発明の実施形態による多視点画像復号装置の構成の一例を示すブロック図である。この多視点画像復号装置３００は、多視点画像復号部４０、補助情報逆多重化部５０及び画像復元部６０を備えている。
多視点画像復号装置３００は、多視点画像符号化装置２００から出力された多視点画像符号化ストリーム及び補助情報を入力し、多視点画像符号化ストリームから視点Ａ，Ｂ，Ｃの復号画像を生成する。そして、多視点画像復号装置３００は、補助情報から最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を生成し、視点Ａ，Ｂ，Ｃの復号画像並びに最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６に基づいて、視点Ｐ１〜Ｐ６の復元画像を生成する。
多視点画像復号部４０は、図２に示した多視点画像符号化部１０に対応する。多視点画像復号部４０は、多視点画像符号化装置２００から出力された多視点画像符号化ストリームを入力し、多視点画像符号化ストリームを従来の多視点画像復号方式にて復号し、視点Ａ，Ｂ，Ｃの復号画像を生成する。そして、多視点画像復号部４０は、生成した視点Ａ，Ｂ，Ｃの復号画像を画像復元部６０に出力すると共に、外部へ出力する。
補助情報逆多重化部５０は、図２に示した補助情報多重化部３０に対応する。補助情報逆多重化部５０は、多視点画像符号化装置２００から出力された補助情報を入力し、補助情報を逆多重化して最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を生成し、最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を画像復元部６０に出力する。
画像復元部６０は、図２に示した補間方法判定部２０に対応する。画像復元部６０は、多視点画像復号部４０から視点Ａ，Ｂ，Ｃの復号画像を入力すると共に、補助情報逆多重化部５０から最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を入力する。そして、画像復元部６０は、視点Ａ，Ｂ，Ｃの復号画像を参照し、最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６に基づいて、視点Ｐ１〜Ｐ６の復元画像を生成し、視点Ｐ１〜Ｐ６の復元画像を外部へ出力する。
（画像復元部６０）
図１１は、画像復元部６０の構成の一例を示すブロック図である。この画像復元部６０は、同一の機能を有する複数の画像復元手段６０−１〜６０−６を備えている。画像復元手段６０−１〜６０−６の数は、視点Ｐ１〜Ｐ６の視点数と同じである。
画像復元手段６０−１は、多視点画像復号部４０から視点Ａ，Ｂ，Ｃの復号画像を入力すると共に、補助情報逆多重化部５０から最適奥行きマップＤ１及び最適選択肢マップＳ１を入力する。そして、画像復元手段６０−１は、視点Ａ，Ｂ，Ｃの復号画像を参照し、最適奥行きマップＤ１及び最適選択肢マップＳ１に基づいて、視点Ｐ１の復元画像を生成し、視点Ｐ１の復元画像を外部へ出力する。
同様に、画像復元手段６０−２〜６０−６は、多視点画像復号部４０から視点Ａ，Ｂ，Ｃの復号画像を入力すると共に、補助情報逆多重化部５０から最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を入力する。そして、画像復元手段６０−２〜６０−６は、視点Ａ，Ｂ，Ｃの復号画像を参照し、最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６に基づいて、視点Ｐ２〜Ｐ６の復元画像を生成し、視点Ｐ２〜Ｐ６の復元画像を外部へ出力する。
（画像復元手段６０−１）
図１２は、画像復元手段６０−１の構成の一例を示すブロック図である。この画像復元手段６０−１は、走査部６１、ブロック切出部６２、マップデータ選択部６３、重畳部６４、切替選択部６５及びブロック多重化部６６を備えている。画像復元手段６０−２〜６０−６の構成は、画像復元手段６０−１と同様である。
走査部６１は、復元すべき視点Ｐ１の復元画像上に部分領域（ブロック）を指定するための画像位置（ｂx，ｂy）を走査して順次設定し、視点Ｐ１のブロック（ｂx，ｂy）としてブロック切出部６２、マップデータ選択部６３及びブロック多重化部６６に出力する。
マップデータ選択部６３は、補助情報逆多重化部５０から最適奥行きマップＤ１及び最適選択肢マップＳ１を入力すると共に、走査部６１から視点Ｐ１のブロック位置（ｂx，ｂy）を入力する。そして、マップデータ選択部６３は、ブロック位置（ｂx，ｂy）に基づいて、最適奥行きマップＤ１の中から最適奥行き値Ｄ（ｂx，ｂy）を選択し、ブロック切出部６２に出力する。また、マップデータ選択部６３は、ブロック位置（ｂx，ｂy）に基づいて、最適選択肢マップＳ１の中から最適選択肢Ｓ（ｂx，ｂy）を選択し、切替選択部６５に出力する。
前述のとおり、最適奥行きマップＤ１には、様々なブロック位置（ｂx，ｂy）における最適奥行き値Ｄ（ｂx，ｂy）が格納されており、最適選択肢マップＳ１には、様々なブロック位置（ｂx，ｂy）における最適選択肢Ｓ（ｂx，ｂy）が格納されている。マップデータ選択部６３により、ブロック位置（ｂx，ｂy）に対応する最適奥行き値Ｄ（ｂx，ｂy）及び最適選択肢Ｓ（ｂx，ｂy）が、最適奥行きマップＤ１及び最適選択肢マップＳ１からそれぞれ選択される。
（ブロック切出部６２）
ブロック切出部６２は、多視点画像復号部４０から視点Ａ，Ｂ，Ｃの復号画像を入力すると共に、マップデータ選択部６３から最適奥行き値Ｄ（ｂx，ｂy）を入力し、さらに、走査部６１から視点Ｐ１のブロック位置（ｂx，ｂy）を入力する。そして、ブロック切出部６２は、復元される視点Ｐ１の復元画像のブロック位置（ｂx，ｂy）に撮像された被写体１４０上の点が最適奥行き値Ｄ（ｂx，ｂy）の位置にあると仮定したときの、当該被写体１４０上の点に対応する視点Ａ，Ｂ，Ｃの復号画像の座標（基準点）を求める。つまり、ブロック切出部６２は、視点Ｐ１の復元画像のブロック位置（ｂx，ｂy）について、最適奥行き値Ｄ（ｂx，ｂy）に対応する視点Ａ，Ｂ，Ｃの復号画像におけるエピポーラ線上の座標を基準点としてそれぞれ求める。
ブロック切出部６２は、視点Ａ，Ｂ，Ｃの復号画像の基準点に基づいて、視点Ａ，Ｂ，Ｃの復号画像から所定形状の部分領域（ブロック）Ｔ1’，Ｔ2’，Ｔ3’をそれぞれ切り出し、視点Ａ，Ｂ，ＣのブロックＴ1’，Ｔ2’，Ｔ3’を重畳部６４に出力する。
図４に示したブロック切出部２４とこのブロック切出部６２とを比較すると、両ブロック切出部２４，６２は、同じ構成を有する点で同一である。しかし、ブロック切出部２４は、走査部２１から奥行き値ｄを入力するのに対し、ブロック切出部６２は、マップデータ選択部６３から最適奥行き値Ｄ（ｂx，ｂy）を入力する点で相違する。
（ブロック切出部６２）
図１３は、ブロック切出部６２の構成の一例を示すブロック図である。このブロック切出部６２は、同一の機能を有する複数のブロック切出手段６２−１〜６２−３を備えている。ブロック切出手段６２−１〜６２−３は、図５に示したブロック切出手段２４−１〜２４−３と同様の処理を行う。
ブロック切出手段６２−１は、視点Ａの復号画像を入力すると共に、マップデータ選択部６３から最適奥行き値Ｄ（ｂx，ｂy）を入力し、さらに、走査部６１からブロック位置（ｂx，ｂy）を入力する。そして、ブロック切出手段６２−１は、前述の処理にて視点Ａの復号画像から所定形状の部分領域（ブロック）Ｔ1’を切り出し、視点ＡのブロックＴ1’を重畳部６４に出力する。
同様に、ブロック切出手段６２−２，６２−３は、視点Ｂ，Ｃの復号画像をそれぞれ入力すると共に、マップデータ選択部６３から最適奥行き値Ｄ（ｂx，ｂy）を入力し、さらに、走査部６１からブロック位置（ｂx，ｂy）を入力する。そして、ブロック切出手段６２−２，６２−３は、前述の処理にて視点Ｂ，Ｃの復号画像から所定形状の部分領域（ブロック）Ｔ2’，Ｔ3’をそれぞれ切り出し、視点Ｂ，ＣのブロックＴ2’，Ｔ3’を重畳部６４にそれぞれ出力する。
図１２に戻って、重畳部６４は、ブロック切出部６２から視点Ａ，Ｂ，ＣのブロックＴ1’，Ｔ2’，Ｔ3’を入力し、ブロックＴ1’，Ｔ2’，Ｔ3’の中から２個以上を重畳し、重畳したブロックを生成する。重畳部６４は、入力したブロックＴ1’，Ｔ2’，Ｔ3’及び重畳により生成したブロックを、ブロックＷ1’〜Ｗ7’として切替選択部６５に出力する。
重畳部６４は、図４に示した重畳部２５と同様の処理を行い、図７に示した重畳部２５と同様の構成を有する。
切替選択部６５は、重畳部６４からブロックＷ1’〜Ｗ7’を入力すると共に、マップデータ選択部６３から最適選択肢Ｓ（ｂx，ｂy）を入力する。そして、切替選択部６５は、最適選択肢Ｓ（ｂx，ｂy）に基づいて、ブロックＷ1’〜Ｗ7’の中から１つのブロックを選択し、選択したブロックをブロック多重化部６６に出力する。
これにより、切替選択部６５にて、図４に示した誤差最小化部２７が判定した最小評価値のブロックと同じブロック番号のブロックが選択される。例えば、図４に示した誤差最小化部２７により、最小評価値のブロックとしてブロックＷ3が判定された場合、切替選択部６５により、同じブロック番号３のブロックＷ3’が選択される。
尚、重畳部６４及び切替選択部６５の代わりに、新たな重畳部を備えるようにしてもよい。新たな重畳部は、ブロック切出部６２から視点Ａ，Ｂ，ＣのブロックＴ1’，Ｔ2’，Ｔ3’を入力すると共に、マップデータ選択部６３から最適選択肢Ｓ（ｂx，ｂy）を入力する。そして、重畳部は、後述するテーブルに基づいて、最適選択肢Ｓ（ｂx，ｂy）に対応するブロックＴ1’，Ｔ2’，Ｔ3’の組み合わせを特定し、その組み合わせが２個以上のブロックの場合、これらのブロックを重畳し、重畳したブロックを生成する。重畳部は、特定した組み合わせが１個のブロックの場合、当該ブロックをブロック多重化部６６に出力し、特定した組み合わせが２個以上のブロックの場合、重畳により生成したブロックをブロック多重化部６６に出力する。
重畳部は、図４に示した符号化側の誤差最小化部２７が最適選択肢Ｓ（ｂx，ｂy）を設定する際に用いる規則と同じ規則が定義されたテーブル、すなわち最適選択肢Ｓ（ｂx，ｂy）とブロックＴ1’，Ｔ2’，Ｔ3’の組み合わせとの間の関係が定義されたテーブルを保持しているものとする。例えば、テーブルには、最適選択肢Ｓ（ｂx，ｂy）＝１とブロックＴ1’の組み合わせとが対応し、最適選択肢Ｓ（ｂx，ｂy）＝２とブロックＴ2’の組み合わせとが対応し、最適選択肢Ｓ（ｂx，ｂy）＝３とブロックＴ1’，Ｔ2’の組み合わせとが対応し、・・・、最適選択肢Ｓ（ｂx，ｂy）＝７とブロックＴ1’，Ｔ2’ ，Ｔ3’の組み合わせとが対応する関係が定義されている。
ブロック多重化部６６は、切替選択部６５からブロックを入力すると共に、走査部６１から視点Ｐ１のブロック位置（ｂｘ，ｂｙ）を入力する。そして、ブロック多重化部６６は、視点Ｐ１のブロック位置（ｂｘ，ｂｙ）にブロックを設定してタイル状に貼り合わせることで、ブロックを多重化し、視点Ｐ１の復元画像を生成する。ブロック多重化部６６は、視点Ｐ１の復元画像を外部へ出力する。
同様に、画像復元手段６０−２〜６０−６は、視点Ａ，Ｂ，Ｃの復号画像を参照し、最適奥行きマップＤ２〜Ｄ６及び最適選択肢マップＳ２〜Ｓ６に基づいて、視点Ｐ２〜Ｐ６の復元画像をそれぞれ生成し、視点Ｐ２〜Ｐ６の復元画像を外部へそれぞれ出力する。
（ブロック切出手段６２−１の動作）
次に、画像復元手段６０−１の動作について説明する。図１４は、画像復元手段６０−１による画像復元処理の一例を示すフローチャートである。画像復元手段６０−２から６０−６による画像復元処理も同様である。
まず、画像復元手段６０−１のブロック切出部６２は、多視点画像復号部４０から視点Ａ，Ｂ，Ｃの復号画像を入力し、マップデータ選択部６３は、補助情報逆多重化部５０から最適奥行きマップＤ１及び最適選択肢マップＳ１を入力する（ステップＳ２０１）。
走査部６１は、復元すべき視点Ｐ１の復元画像上に部分領域（ブロック）を指定するためのブロック位置（ｂx，ｂy）を設定する（ステップＳ２０２）。そして、マップデータ選択部６３は、ブロック位置（ｂx，ｂy）に基づいて、最適奥行きマップＤ１及び最適選択肢マップＳ１の中から最適奥行き値Ｄ（ｂx，ｂy）及び最適選択肢Ｓ（ｂx，ｂy）を選択する（ステップＳ２０３）。
ブロック切出部６２は、復元される視点Ｐ１の復元画像のブロック位置（ｂx，ｂy）に撮像された被写体１４０上の点が最適奥行き値Ｄ（ｂx，ｂy）の位置にあると仮定したときの、当該被写体１４０上の点に対応する視点Ａ，Ｂ，Ｃの復号画像の座標（基準点）を求め、視点Ａ，Ｂ，Ｃの復号画像から、基準点の部分領域（ブロック）Ｔ1’，Ｔ2’，Ｔ3’をそれぞれ切り出す（ステップＳ２０４）。
重畳部６４は、視点Ａ，Ｂ，ＣのブロックＴ1’，Ｔ2’，Ｔ3’の中から２個以上を重畳し、ブロックＷ1’〜Ｗ7’を生成する（ステップＳ２０５）。そして、切替選択部６５は、ステップＳ２０３にて選択された最適選択肢Ｓ（ｂx，ｂy）に基づいて、ブロックＷ1’〜Ｗ7’の中から１つのブロックを選択する（ステップＳ２０６）。
ブロック多重化部６６は、視点Ｐ１のブロック位置（ｂｘ，ｂｙ）に、ステップＳ２０６にて選択されたブロックをタイル状に貼り合わせ、視点Ｐ１の復元画像を生成する（ステップＳ２０７）。
画像復元手段６０−１は、視点Ｐのブロック位置（ｂｘ，ｂｙ）の走査が終了するまで、ステップＳ２０２〜ステップＳ２０７の処理を繰り返す（ステップＳ２０８）。
このように、画像復元手段６０−１により、視点Ｐ１の様々なブロック位置（ｂｘ，ｂｙ）におけるブロックＷ1’〜Ｗ7’が生成され、ブロックＷ1’〜Ｗ7’の中から１つのブロックが選択され、そのブロックを貼り合わせることで、視点Ｐ１の復元画像を生成される。
以上のように、本発明の実施形態による多視点画像復号装置３００によれば、多視点画像復号部４０は、多視点画像符号化部１０から出力された多視点画像符号化ストリームを復号し、視点Ａ，Ｂ，Ｃの復号画像を生成する。また、補助情報逆多重化部５０は、多視点画像符号化装置２００から出力された補助情報を逆多重化し、最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を生成する。そして、画像復元部６０は、視点Ａ，Ｂ，Ｃの復号画像を参照し、最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６に基づいて、視点Ｐ１〜Ｐ６の復元画像を生成する。
これにより、復号側にて、カメラパラメータに起因するエピポーラ拘束を利用した補助情報に基づいて、視点Ｐ１〜Ｐ６の復元画像が生成されるから、符号化側が、視点Ｐ１〜Ｐ６の入力画像を多視点画像符号化して出力する必要はない。この補助情報は、最適なブロックの番号を示す値及び最適な奥行き値であり、従来の多視点画像符号化方式及び多視点画像復号方式にて用いる誤差画像に比べて情報量が少ない。したがって、画像の符号化効率を向上させることができる。
尚、本発明の実施形態による多視点画像復号装置３００のハードウェア構成としては、通常のコンピュータを使用することができる。多視点画像復号装置３００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。多視点画像復号装置３００に備えた多視点画像復号部４０、補助情報逆多重化部５０及び画像復元部６０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
［多視点画像符号化装置／他の実施形態］
次に、本発明の他の実施形態による多視点画像符号化装置について説明する。図１５は、本発明の他の実施形態による多視点画像符号化装置の構成の一例を示すブロック図である。この多視点画像符号化装置４００は、多視点画像符号化部１０、補間方法判定部２０、補助情報多重化部３０、多視点画像復号部４０及び遅延部７０を備えている。
図２に示した多視点画像符号化装置２００とこの多視点画像符号化装置４００とを比較すると、両多視点画像符号化装置２００，４００は、多視点画像符号化部１０、補間方法判定部２０及び補助情報多重化部３０を備えている点で同一である。しかし、多視点画像符号化装置４００は、多視点画像復号部４０及び遅延部７０を備えている点で、多視点画像符号化装置２００と相違する。また、多視点画像符号化装置４００の補間方法判定部２０は、多視点画像復号部４０から視点Ａ，Ｂ，Ｃの復号画像を入力し、多視点画像符号化装置２００の補間方法判定部２０は、視点Ａ，Ｂ，Ｃから撮影した画像を入力する点で、両者は相違する。ここでは、多視点画像符号化部１０及び補助情報多重化部３０の説明を省略する。
多視点画像復号部４０は、多視点画像符号化部１０から多視点画像符号化ストリームを入力し、多視点画像符号化ストリームを従来の多視点画像復号方式にて復号して視点Ａ，Ｂ，Ｃの復号画像を生成し、視点Ａ，Ｂ，Ｃの復号画像を補間方法判定部２０に出力する。
遅延部７０は、視点Ｐ１〜Ｐ６から撮影した画像を入力し、視点Ｐ１〜Ｐ６の入力画像を、多視点画像符号化部１０及び多視点画像復号部４０の処理時間分だけ遅延させ、遅延させた視点Ｐ１〜Ｐ６の入力画像を補間方法判定部２０に出力する。
遅延部７０は、同一の機能を有する複数の遅延手段７０−１〜７０−６を備えている。遅延手段７０−１は、視点Ｐ１から撮影した画像を入力し、視点Ｐ１の入力画像を前述の処理時間分だけ遅延させ、遅延させた視点Ｐ１の入力画像を補間方法判定部２０に出力する。遅延手段７０−２〜７０−６は、遅延手段７０−１と同様の処理を行う。
補間方法判定部２０は、多視点画像復号部４０から視点Ａ，Ｂ，Ｃの復号画像を入力すると共に、遅延部７０から遅延した視点Ｐ１〜Ｐ６の画像を入力し、視点Ａ，Ｂ，Ｃの復号画像を参照して視点Ｐ１〜Ｐ６の画像を復元するために必要な最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を生成する。
以上のように、本発明の他の実施形態による多視点画像符号化装置４００によれば、多視点画像復号部４０は、多視点画像符号化ストリームを復号して視点Ａ，Ｂ，Ｃの復号画像を生成し、遅延部７０は、視点Ｐ１〜Ｐ６の入力画像を、多視点画像符号化部１０及び多視点画像復号部４０の処理時間分だけ遅延させる。そして、補間方法判定部２０は、視点Ａ，Ｂ，Ｃの復号画像を参照して視点Ｐ１〜Ｐ６の画像を復元するために必要な最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６を生成する。
これにより、図２に示した多視点画像符号化装置２００と同様の効果を奏する。また、視点Ａ，Ｂ，Ｃ，Ｐ１〜Ｐ６の入力画像が動画の場合に、補間方法判定部２０に入力される視点Ａ，Ｂ，Ｃの復号画像と視点Ｐ１〜Ｐ６の入力画像とのタイミングを合わせることができるから、同期した視点Ａ，Ｂ，Ｃの復号画像及びＰ１〜Ｐ６の入力画像を用いて、最適奥行きマップＤ１〜Ｄ６及び最適選択肢マップＳ１〜Ｓ６が生成される。
したがって、補間方法判定部２０により、多視点画像符号化部１０の符号化処理及び多視点画像復号部４０の復号処理による画質劣化を含め、補間方法の最適化がなされる。多視点画像復号装置３００において、符号化側に図２に示した多視点画像符号化装置２００を用いる場合よりも、視点Ｐ１〜Ｐ６の画像を正確に復元することができ、画質を向上させることができる。
尚、視点Ｐ１〜Ｐ６の画像が静止画である場合には、多視点画像符号化装置４００は、遅延部７０を備えていなくてもよい。
また、本発明の他の実施形態による多視点画像符号化装置４００のハードウェア構成としては、通常のコンピュータを使用することができる。多視点画像符号化装置４００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。多視点画像符号化装置４００に備えた多視点画像符号化部１０、補間方法判定部２０、補助情報多重化部３０、多視点画像復号部４０及び遅延部７０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
以上、実施形態及び他の実施形態を挙げて本発明を説明したが、本発明は前記実施形態等に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態等では、多視点画像符号化装置２００，４００の補間方法判定部２０は補間方法判定手段２０−１〜２０−６を備えているが、補間方法判定手段２０−１〜２０−６のそれぞれを１台の装置として構成するようにしてもよい。補間方法判定装置（補助情報生成装置）は、図４と同様に、走査部２１，２２等を備え、視点Ａ，Ｂ，Ｃの入力画像及び視点Ｐ１の入力画像に基づいて、最適奥行きマップＤ１及び最適選択肢マップＳ１を生成する。この補間方法判定装置のハードウェア構成としては、通常のコンピュータを使用することができる。補間方法判定装置は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。補間方法判定装置に備えた走査部２１，２２等の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
また、多視点画像復号装置３００の画像復元部６０は画像復元手段６０−１〜６０−６を備えているが、画像復元手段６０−１〜６０−６のそれぞれを１台の装置として構成するようにしてもよい。画像復元装置は、図１２と同様に、走査部６１等を備え、視点Ａ，Ｂ，Ｃの画像、及び補間方法判定装置により生成された最適奥行きマップＤ１及び最適選択肢マップＳ１に基づいて、視点Ｐ１の復元画像を生成する。この画像復元装置のハードウェア構成としては、通常のコンピュータを使用することができる。画像復元装置は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像復元装置に備えた走査部６１等の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
また、前記実施形態等では、従来の多視点画像符号化方式にて符号化される入力画像（参照画像）の数を３とし、補助情報が生成される入力画像（対象画像）の数を６として説明したが、本発明は、この数に限定されるものではなく、参照画像の数は２以上、対象画像の数は１以上の場合に適用がある。
参照画像の数が１の場合には、図２に示した多視点画像符号化装置２００及び図１５に示した多視点画像符号化装置４００において、補助情報多重化部３０を省略することができる。また、図１０に示した多視点画像復号装置３００において、補助情報逆多重化部５０を省略することができる。この場合、多視点画像符号化装置２００及び多視点画像符号化装置４００の補間方法判定部２０は、最適奥行きマップＤ１及び最適選択肢マップＳ１をそのまま出力し、多視点画像復号装置３００の画像復元部６０は、最適奥行きマップＤ１及び最適選択肢マップＳ１を直接入力する。
また、前記実施形態等では、図１０及び図１１に示した多視点画像復号装置３００の画像復元部６０は、図２及び図１５に示した多視点画像符号化装置２００，４００が入力する視点Ｐ１〜Ｐ６の画像の数に対応した６つの画像復元手段６０−１〜６０−６を備えているが、１つ以上６つ未満の画像復元手段を備えるようにしてもよい。要するに、多視点画像復号装置３００の画像復元部６０は、復元する画像の数分の画像復元手段を備えていればよい。
また、多視点画像符号化装置２００，４００は、多視点画像符号化ストリーム及び補助情報を、同一の伝送路（例えば、放送波の伝送路、インターネット等の通信回線の伝送路）を介して多視点画像復号装置３００へ出力するようにしてもよいし、異なる伝送路を介して出力するようにしてもよい。
また、多視点画像符号化装置２００，４００は、多視点画像符号化ストリーム及び補助情報を、多視点画像復号装置３００による復号処理を前提にして、一旦蓄積媒体に蓄積してもよい。多視点画像符号化装置２００，４００は、多視点画像符号化ストリーム及び補助情報を、同一の蓄積媒体に蓄積してもよいし、別々の蓄積媒体に蓄積してもよい。多視点画像符号化装置２００，４００は、多視点画像符号化ストリーム及び補助情報を同一の蓄積媒体に蓄積する場合、例えば、多視点画像符号化ストリームを、ＤＶＤの通常のトラックに記録し、補助情報を、特定の機材にて再生可能な特別のトラックに記録する。
１０ 多視点画像符号化部
２０ 補間方法判定部（補助情報生成部）
２０−１〜２０−６ 補間方法判定手段（補助情報生成手段）
２１，２２，６１ 走査部
２３，２４，６２ ブロック切出部
２４−１〜２４−３ ブロック切出手段
２５，６４ 重畳部
２５−１〜２５−４ 重畳手段
２６ 誤差評価部
２６−１〜２６−６ 誤差評価手段
２７ 誤差最小化部
２８ 最適マップ多重化部
３０ 補助情報多重化部
４０ 多視点画像復号部
５０ 補助情報逆多重化部
６０ 画像復元部
６０−１〜６０−６ 画像復元手段
６３ マップデータ選択部
６５ 切替選択部
６６ ブロック多重化部
１００ 視点Ｐの入力画像
１０１ 視点Ｐの入力画像内の画像位置（ｂｘ，ｂｙ）
１０２ 画像位置（ｂｘ，ｂｙ）の部分領域
１１０ 視点Ａの入力画像
１１１ エピポーラ線ＥＰＡ
１２０ 視点Ｂの入力画像
１２１ エピポーラ線ＥＰＢ
１３０ 視点Ｃの入力画像
１３１ エピポーラ線ＥＰＣ
２００，４００ 多視点画像符号化装置
３００ 多視点画像復号装置

Claims (12)

  1. Ｎ個の視点でそれぞれ得られるＮ個の入力画像（Ｎは２以上の整数）及び前記Ｎ個の視点以外の視点でそれぞれ得られるＬ個の入力画像（Ｌは１以上の整数）を符号化する多視点画像符号化装置において、
    前記Ｎ個の入力画像を符号化し、多視点画像符号化ストリームを生成する多視点画像符号化部と、
    前記Ｌ個の入力画像の部分領域毎に、当該部分領域に対応する前記Ｎ個の入力画像におけるエピポーラ線上の座標の部分領域を求め、前記Ｌ個の入力画像の部分領域と、前記Ｎ個の入力画像の部分領域との間の誤差が最小になるように、前記Ｎ個の入力画像から前記Ｌ個の入力画像を復元するために用いる補助情報であって、前記Ｎ個の入力画像の中から１以上の入力画像を選択する補助情報を、前記Ｌ個の入力画像のそれぞれについて生成する補助情報生成部と、
    を備えることを特徴とする多視点画像符号化装置。
  2. 請求項１に記載の多視点画像符号化装置において、
    さらに、前記多視点画像符号化部により生成された多視点画像符号化ストリームを復号し、Ｎ個の復号画像を生成する多視点画像復号部と、
    前記Ｌ個の入力画像をそれぞれ所定時間遅延させる遅延部と、を備え、
    前記補助情報生成部は、
    前記遅延部により遅延させたＬ個の入力画像の部分領域毎に、当該部分領域に対応する、前記多視点画像復号部により生成されたＮ個の復号画像におけるエピポーラ線上の座標の部分領域を求め、前記Ｌ個の入力画像の部分領域と、前記Ｎ個の復号画像の部分領域との間の誤差が最小になるように、前記Ｎ個の復号画像から前記Ｌ個の入力画像を復元するために用いる補助情報であって、前記Ｎ個の復号画像の中から１以上の入力画像を選択する補助情報を、前記Ｌ個の入力画像のそれぞれについて生成する、ことを特徴とする多視点画像符号化装置。
  3. 請求項１または２に記載の多視点画像符号化装置において、
    前記Ｎ個の入力画像のそれぞれを参照画像とし、前記Ｌ個の入力画像のそれぞれを対象画像として、
    前記補助情報生成部は、前記Ｌ個の対象画像のそれぞれに対応した補助情報生成手段を備え、
    前記補助情報生成手段は、
    所定の奥行き値を走査する第１走査部と、
    前記対象画像の座標を走査する第２走査部と、
    前記第２走査部により走査された対象画像の座標に基づいて、前記対象画像の部分領域を前記対象画像のブロックとして切り出す第１ブロック切出部と、
    前記第２走査部により走査された対象画像の座標に対し、前記第１走査部により走査された奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出す第２ブロック切出部と、
    前記第２ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、
    前記重畳部により出力された組み合わせ毎のブロックと、前記第１ブロック切出部により切り出された対象画像のブロックとの間の差を求め、前記差に基づいて、前記組み合わせ毎のブロックのそれぞれについての評価値を算出する誤差評価部と、
    前記第１走査部により走査された奥行き値毎に、前記誤差評価部により組み合わせ毎のブロックのそれぞれについて評価値が算出された場合に、前記評価値のうち最小の評価値を判定し、前記最小の評価値に対応する前記奥行き値及び前記組み合わせを、最適奥行き値及び最適選択肢としてそれぞれ決定する誤差最小化部と、
    前記第２走査部により走査された対象画像の座標毎に、前記誤差最小化部により最適奥行き値及び最適選択肢が決定された場合に、前記対象画像の座標毎の最適奥行き値及び最適選択肢を多重化し、補助情報を生成する多重化部と、
    を備えることを特徴とする多視点画像符号化装置。
  4. 請求項１の多視点画像符号化装置により生成された多視点画像符号化ストリーム及び補助情報を入力し、前記多視点画像符号化ストリーム及び前記補助情報に基づいて、Ｎ個の視点でそれぞれ得られるＮ個の復号画像（Ｎは２以上の整数）及び前記Ｎ個の視点以外の視点でそれぞれ得られるＬ個の復元画像（Ｌは１以上の整数）を生成する多視点画像復号装置において、
    前記視点画像符号化ストリームを復号し、前記Ｎ個の復号画像を生成する多視点画像復号部と、
    前記Ｌ個の入力画像の部分領域毎に、当該部分領域に対応する前記Ｎ個の入力画像におけるエピポーラ線上の座標の部分領域を求め、前記Ｎ個の入力画像の中から１以上の入力画像を選択する前記補助情報に基づいて、前記１以上の入力画像における前記部分領域のブロックを選択し、前記Ｌ個の復元画像を生成する画像復元部と、
    を備えることを特徴とする多視点画像復号装置。
  5. 請求項３の多視点画像符号化装置により生成された多視点画像符号化ストリーム及び補助情報を入力する請求項４に記載の多視点画像復号装置において、
    前記Ｎ個の復号画像のそれぞれを参照画像とし、前記Ｌ個の復元画像のそれぞれを対象画像として、
    前記画像復元部は、前記Ｌ個の対象画像のそれぞれに対応した画像復元手段を備え、
    前記画像復元手段は、
    前記対象画像の座標を走査する走査部と、
    前記走査部により走査された対象画像の座標に対し、前記補助情報に含まれる最適奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出すブロック切出部と、
    前記ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、
    前記補助情報に含まれる最適選択肢に基づいて、前記重畳部により出力された組み合わせ毎のブロックのうち１つの組み合わせのブロックを選択する選択部と、
    前記走査部により走査された対象画像の座標に、前記選択部により選択されたブロックを設定し、前記ブロックを多重化し、前記対象画像である復元画像を生成するブロック多重化部と、
    を備えることを特徴とする多視点画像復号装置。
  6. 請求項５に記載の多視点画像復号装置において、
    前記画像復元手段は、前記重畳部及び選択部の代わりに新たな重畳部を備え、
    前記新たな重畳部は、
    前記ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせと前記最適選択肢との間の関係が定義されたテーブルを用いて、前記補助情報に含まれる最適選択肢に対応する組み合わせを特定し、前記特定した組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記特定した組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力し、
    前記ブロック多重化部は、
    前記走査部により走査された対象画像の座標に、前記新たな重畳部により出力されたブロックを設定し、前記ブロックを多重化し、前記対象画像である復元画像を生成する、ことを特徴とする多視点画像復号装置。
  7. Ｎ個の視点でそれぞれ得られるＮ個の入力画像（Ｎは２以上の整数）を参照し、前記Ｎ個の視点以外の視点で得られる入力画像を復元するための補助情報を生成する補助情報生成装置において、
    前記Ｎ個の入力画像のそれぞれを参照画像とし、前記Ｎ個の視点以外の視点で得られる入力画像を対象画像として、
    所定の奥行き値を走査する第１走査部と、
    前記対象画像の座標を走査する第２走査部と、
    前記第２走査部により走査された対象画像の座標に基づいて、前記対象画像の部分領域を前記対象画像のブロックとして切り出す第１ブロック切出部と、
    前記第２走査部により走査された対象画像の座標に対し、前記第１走査部により走査された奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出す第２ブロック切出部と、
    前記第２ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、
    前記重畳部により出力された組み合わせ毎のブロックと、前記第１ブロック切出部により切り出された対象画像のブロックとの差を求め、前記差に基づいて、前記組み合わせ毎のブロックのそれぞれについての評価値を算出する誤差評価部と、
    前記第１走査部により走査された奥行き値毎に、前記誤差評価部により組み合わせ毎のブロックのそれぞれについて評価値が算出された場合に、前記評価値のうち最小の評価値を判定し、前記最小の評価値に対応する前記奥行き値及び前記組み合わせを、最適奥行き値及び最適選択肢としてそれぞれ決定する誤差最小化部と、
    前記第２走査部により走査された対象画像の座標毎に、前記誤差最小化部により最適奥行き値及び最適選択肢が決定された場合に、前記対象画像の座標毎の最適奥行き値及び最適選択肢を多重化し、補助情報を生成する多重化部と、
    を備えることを特徴とする補助情報生成装置。
  8. Ｎ個の視点でそれぞれ得られるＮ個の画像（Ｎは２以上の整数）を参照し、請求項７の補助情報生成装置により生成された補助情報に基づいて、前記Ｎ個の視点以外の視点で得られる画像を復元する画像復元装置において、
    前記Ｎ個の画像のそれぞれを参照画像とし、前記復元画像を対象画像として、
    前記対象画像の座標を走査する走査部と、
    前記走査部により走査された対象画像の座標に対し、前記補助情報に含まれる最適奥行き値に対応する前記Ｎ個の参照画像におけるエピポーラ線上の座標を基準点としてそれぞれ求め、前記基準点に基づいて、前記参照画像の部分領域を前記参照画像のブロックとして切り出すブロック切出部と、
    前記ブロック切出部により切り出された前記Ｎ個の参照画像のブロックのうち１個以上のブロックの組み合わせを生成し、前記組み合わせが１個のブロックの場合、当該１個のブロックを出力し、前記組み合わせが複数のブロックの場合、当該複数のブロックを重畳して出力する重畳部と、
    前記補助情報に含まれる最適選択肢に基づいて、前記重畳部により出力された組み合わせ毎のブロックのうち１つの組み合わせのブロックを選択する選択部と、
    前記走査部により走査された対象画像の座標に、前記選択部により選択されたブロックを設定し、前記ブロックを多重化し、前記対象画像である復元画像を生成するブロック多重化部と、
    を備えることを特徴とする画像復元装置。
  9. コンピュータを、請求項１から３までのいずれか一項に記載の多視点画像符号化装置として機能させるための多視点画像符号化プログラム。
  10. コンピュータを、請求項４から６までのいずれか一項に記載の多視点画像復号装置として機能させるための多視点画像復号プログラム。
  11. コンピュータを、請求項７に記載の補助情報生成装置として機能させるための補助情報生成プログラム。
  12. コンピュータを、請求項８に記載の画像復元装置として機能させるための画像復元プログラム。
JP2015095606A 2015-05-08 2015-05-08 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム Active JP6599634B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015095606A JP6599634B2 (ja) 2015-05-08 2015-05-08 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015095606A JP6599634B2 (ja) 2015-05-08 2015-05-08 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2016213664A true JP2016213664A (ja) 2016-12-15
JP6599634B2 JP6599634B2 (ja) 2019-10-30

Family

ID=57551845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015095606A Active JP6599634B2 (ja) 2015-05-08 2015-05-08 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6599634B2 (ja)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
今泉 浩幸 ほか３名: "対応点の確度分布を考慮した多眼画像からの奥行き推定", 情報処理学会研究報告, vol. 第2000巻、第7号, JPN6019004223, 21 January 2000 (2000-01-21), pages 9 - 16 *
粕谷 満成 ほか１名: "多視点画像符号化を想定した奥行き推定の検討", 画像符号化シンポジウム 第２７回シンポジウム資料, JPN6019004224, 24 October 2012 (2012-10-24), pages p. 59〜60 *

Also Published As

Publication number Publication date
JP6599634B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
JP6384744B2 (ja) 符号化装置および符号化方法
JP4414379B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2761878B1 (en) Representation and coding of multi-view images using tapestry encoding
JP6000463B2 (ja) ３ｄ映像符号化の仮想深度値の方法および装置
KR102527566B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR20140092910A (ko) 입체 영상 부호화 장치, 입체 영상 복호화 장치, 입체 영상 부호화 방법, 입체 영상 복호화 방법, 입체 영상 부호화 프로그램 및 입체 영상 복호화 프로그램
WO2017082079A1 (ja) 画像処理装置および画像処理方法
JP3693407B2 (ja) 多視点画像符号化装置および復号装置
JP2018519697A (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
KR20150046154A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
KR101648094B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
US20150334418A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
KR20160118363A (ko) 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램
Farid et al. Panorama view with spatiotemporal occlusion compensation for 3D video coding
JP4851564B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009164865A (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP6599634B2 (ja) 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム
KR101233399B1 (ko) 다시점 깊이 영상 생성 방법 및 장치
JP4815004B2 (ja) 多視点画像符号化装置
WO2017082077A1 (ja) 画像処理装置および画像処理方法
JP2009207183A (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN117561716A (zh) 用于从多视图视频构建深度图像的方法、用于对表示多视图视频的数据流进行解码的方法、编码方法、设备、系统、终端设备、信号以及与其对应的计算机程序
Lee et al. Technical Challenges of 3D Video Coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191003

R150 Certificate of patent or registration of utility model

Ref document number: 6599634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250