JP2015019326A - 符号化装置および符号化方法、並びに、復号装置および復号方法 - Google Patents

符号化装置および符号化方法、並びに、復号装置および復号方法 Download PDF

Info

Publication number
JP2015019326A
JP2015019326A JP2013146806A JP2013146806A JP2015019326A JP 2015019326 A JP2015019326 A JP 2015019326A JP 2013146806 A JP2013146806 A JP 2013146806A JP 2013146806 A JP2013146806 A JP 2013146806A JP 2015019326 A JP2015019326 A JP 2015019326A
Authority
JP
Japan
Prior art keywords
encoding
decoding
image
unit
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013146806A
Other languages
English (en)
Inventor
浩典 森
Hironori Mori
浩典 森
功久 井藤
Norihisa Ito
功久 井藤
健吾 早坂
Kengo Hayasaka
健吾 早坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013146806A priority Critical patent/JP2015019326A/ja
Priority to US14/322,532 priority patent/US20150016517A1/en
Priority to CN201410317368.0A priority patent/CN104284193A/zh
Publication of JP2015019326A publication Critical patent/JP2015019326A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができるようにする。
【解決手段】オクルージョン領域符号化部は、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の周辺視点の予測画像と周辺視点の画像の差分を第１の符号化方式で符号化する。オクルージョン領域符号化部は、周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化する。本開示は、例えば、符号化装置等に適用することができる。
【選択図】図３

Description

本開示は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
複数の視点の画像である多視点画像の符号化方式としては、例えば、視点間にもフレーム間と同様に動き補償予測を適用して符号化するMVC(Multiview Video Coding)方式がある（例えば、非特許文献１参照）。また、必要な視点より少ない視点の多視点画像から生成される被写体の奥行き方向の位置を表すデプスマップを多視点画像とともに符号化し、復号時にデプスマップと多視点画像を用いて必要な視点の画像を生成する3DV/FTV(3D video/Free-viewpoint Television）方式もある。
MVC方式では、ブロックマッチングにより時間方向の動き補償と空間方向の視差補償が行われる。3DV/FTV方式では、多視点画像とデプスマップの符号化方式を総称してMVD(Multi View Depth）方式と呼び、MVD方式には従来のAVC（Advanced Video Coding）方式、MVC方式などが使用される。
また、各視点の画像やデプスマップは、オクルージョン領域（詳細は後述する）を除いて、１つの基準となる視点である基準視点の画像やデプスマップからの射影により生成することができる。従って、多視点画像の符号化方式として、基準視点の画像およびデプスマップ、並びに、基準視点以外の視点である周辺視点のオクルージョン領域の画像およびデプスマップを符号化することにより効率的な符号化を実現するLDV（Layered Depth Video）方式もある。
なお、オクルージョン領域とは、周辺視点の画像には存在するが、基準視点の画像には存在しない被写体の領域である。
上述した多視点画像の符号化方式は、いずれも、高効率な符号化を目的としているため、非可逆符号化である。そのため、画質を保つことができない。
本開示は、このような状況に鑑みてなされたものであり、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができるようにするものである。
本開示の第１の側面の符号化装置は、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化部と、前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化部とを備える符号化装置である。
本開示の第１の側面の符号化方法は、本開示の第１の側面の符号化装置に対応する。
本開示の第１の側面においては、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分が、前記第１の符号化方式で符号化され、前記周辺視点の画像のオクルージョン領域が、第１の符号化方式とは異なる第２の符号化方式で符号化される。
本開示の第２の側面の復号装置は、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号部と、前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号部とを備える復号装置である。
本開示の第２の側面の復号方法は、本開示の第２の側面の復号装置に対応する。
本開示の第２の側面においては、基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データが、前記第１の符号化方式に対応する第１の復号方式で復号され、前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データが、前記第２の符号化方式に対応する第２の復号方式で復号される。
なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面によれば、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができる。
また、本開示の第２の側面によれば、周辺視点の画像の画質を保ちつつ、高効率な符号化を行った符号化データを復号することができる。
本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。 図１の画像処理システムの処理の流れを説明する図である。 図１の符号化装置の構成例を示すブロック図である。 予測画像の生成を説明する図である。 図３の符号化装置の符号化処理を説明するフローチャートである。 図１の復号装置の構成例を示すブロック図である。 図６の復号装置の復号処理を説明するフローチャートである。 本開示を適用した画像処理システムの第２実施の形態における符号化装置の構成例を示す図である。 非オクルージョン領域の差分の分離を説明する図である。 図８の符号化装置の符号化処理を説明するフローチャートである。 本開示を適用した画像処理システムの第２実施の形態における復号装置の構成例を示すブロック図である。 図１１の復号装置の復号処理を説明するフローチャートである。 用途と符号化方式の関係の第１の例を示す図である。 用途と符号化方式の関係の第２の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 視差と奥行きについて説明する図である。
＜第１実施の形態＞
（画像処理システムの第１実施の形態の構成例）
図１は、本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
図１の画像処理システム１０は、Ｎ個（Ｎは２以上の整数）のカメラ１１−１乃至１１−Ｎ、生成装置１２、符号化装置１３、および復号装置１４により構成される。画像処理システム１０は、撮像されたＮ視点の画像と基準視点のデプスマップを符号化し、復号する。
具体的には、画像処理システム１０のカメラ１１−１乃至１１−Ｎは、それぞれ、互いに異なるＮ視点で被写体を撮像する。カメラ１１−１乃至１１−Ｎにより撮像されたＮ視点の画像は、生成装置１２に供給される。以下では、カメラ１１−１乃至１１−Ｎを特に区別する必要がない場合、それらをまとめてカメラ１１という。
生成装置１２は、カメラ１１−１乃至１１−Ｎから供給されるＮ視点の画像から、ステレオマッチングなどにより、基準視点のデプスマップを生成する。生成装置１２は、Ｎ視点の画像のうちの基準視点の画像、残りの周辺視点の画像、およびデプスマップを符号化装置１３に供給する。
符号化装置１３は、生成装置１２から供給される基準視点の画像の各画素をデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。このようにして生成された周辺視点の予測画像のオクルージョン領域には画素値は存在しない。
符号化装置１３は、非オクルージョン領域について、周辺視点の予測画像と、生成装置１２から供給される周辺視点の画像の差分を求める。符号化装置１３は、その差分に対して、非可逆符号化より高品質なエントロピー符号化などの可逆符号化（Lossless符号化）を行い、符号化データを生成する。一方、符号化装置１３は、オクルージョン領域について、生成装置１２から供給される周辺視点の画像を非可逆符号化して符号化データを生成する。
また、符号化装置１３は、基準視点の画像とデプスマップを可逆符号化して符号化データを生成する。符号化装置１３は、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データを多重化して符号化ストリームを生成する。符号化装置１３は、符号化ストリームを復号装置１４に伝送する。
復号装置１４は、符号化装置１３から伝送されてくる符号化ストリームを、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに分離する。
復号装置１４は、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データを、符号化装置１３の符号化方式に対応する復号方式で復号する。
具体的には、復号装置１４は、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに対して非可逆復号より高品質な可逆復号を行い、オクルージョン領域の周辺視点の画像の符号化データに対して非可逆復号を行う。復号装置１４は、復号の結果得られるオクルージョン領域の周辺視点の画像と非オクルージョン領域の差分を合成し、残差画像を生成する。
復号装置１４は、符号化装置１３と同様に、復号の結果得られる基準視点の画像の各画素をデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。そして、復号装置１４は、周辺視点の予測画像と残差画像を加算することにより、周辺視点の画像を生成する。このとき、オクルージョン領域については、周辺視点の予測画像の画素値が存在しないため、残差画像の画素値がそのまま周辺視点の画像の画素値となる。復号装置１４は、周辺視点の画像、並びに、復号の結果得られる基準視点の画像およびデプスマップを出力する。
以上のように、画像処理システム１０では、非オクルージョン領域の差分が可逆符号化されるので、非可逆符号化される場合に比べて、復号の結果得られる非オクルージョン領域の差分の画質は向上する。従って、その差分を用いて生成される非オクルージョン領域の周辺視点の画像の画質も向上する。
（画像処理システムの処理の流れの説明）
図２は、図１の画像処理システム１０の処理の流れを説明する図である。
図２に示すように、画像処理システム１０では、基準視点の画像３１は、符号化装置１３により可逆符号化され、復号装置１４により可逆復号され、復元される。同様に、生成装置１２により生成された基準視点のデプスマップ３２は、符号化装置１３により可逆符号化され、復号装置１４により可逆復号され、復元される。
一方、周辺視点の画像３３の非オクルージョン領域については、画像３３と、デプスマップ３２に基づいて画像３１を移動させることにより生成される予測画像との差分３４が符号化装置１３により可逆符号化され、復号装置１４により可逆復号される。
また、周辺視点の画像３３のオクルージョン領域については、画像３３がそのまま画像３５として符号化装置１３により非可逆符号化され、復号装置１４により非可逆復号され、復元される。
そして、復号装置１４により、差分３４と画像３５が合成され、残差画像３６が生成される。残差画像３６は、復号装置１４により、デプスマップ３２に基づいて画像３１の各画素を移動させることにより生成される予測画像と加算される。これにより、画像３３が復元される。
（符号化装置の構成例）
図３は、図１の符号化装置１３の構成例を示すブロック図である。
図３の符号化装置１３は、デプスマップ取得部５１、デプスマップ符号化部５２、基準画像取得部５３、基準画像符号化部５４、周辺画像取得部５５、残差画像生成部５６、および分離部５７を備える。また、符号化装置１３は、オクルージョン領域符号化部５８、非オクルージョン領域符号化部５９、および多重化部６０を備える。
符号化装置１３のデプスマップ取得部５１は、生成装置１２から供給されるデプスマップを取得し、デプスマップ符号化部５２と残差画像生成部５６に供給する。デプスマップ符号化部５２は、デプスマップ取得部５１から供給されるデプスマップを可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
基準画像取得部５３は、生成装置１２から供給される基準視点の画像を取得し、基準画像符号化部５４と残差画像生成部５６に供給する。基準画像符号化部５４は、基準画像取得部５３から供給される基準視点の画像を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
周辺画像取得部５５は、生成装置１２から供給される周辺視点の画像を取得し、残差画像生成部５６に供給する。
残差画像生成部５６は、基準画像取得部５３から供給される基準視点の画像の各画素を、デプスマップ取得部５１から供給されるデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。
残差画像生成部５６は、周辺視点の画像の非オクルージョン領域について、周辺画像取得部５５から供給される周辺視点の画像と周辺視点の予測画像の差分を生成し、分離部５７に供給する。また、残差画像生成部５６は、オクルージョン領域の周辺視点の画像をそのまま分離部５７に供給する。
分離部５７は、残差画像生成部５６から供給されるオクルージョン領域の周辺視点の画像をオクルージョン領域符号化部５８に供給する。また、分離部５７は、残差画像生成部５６から供給される非オクルージョン領域の差分を非オクルージョン領域符号化部５９に供給する。
オクルージョン領域符号化部５８は、分離部５７から供給されるオクルージョン領域の周辺視点の画像を非可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
非オクルージョン領域符号化部５９は、分離部５７から供給される非オクルージョン領域の差分を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
多重化部６０は、デプスマップ、基準視点の画像、オクルージョン領域の周辺視点の画像、および非オクルージョン領域の差分の符号化データを多重化して符号化ストリームを生成する。多重化部６０は、伝送部として機能し、符号化ストリームを復号装置１４に伝送する。
（予測画像の生成の説明）
図４は、残差画像生成部５６による予測画像の生成を説明する図である。
図４において、図２と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
基準視点のデプスマップ３２の値は、基準視点の画像３１と周辺視点の画像３３の視差量に対応する値である。位置(x,y)の水平方向の視差量Δx(x,y)と垂直方向の視差量Δy(x,y)は、それぞれ、デプスマップ３２の位置(x,y)の値d(x,y)に基づいて、以下の式（１）で表される。
Figure 2015019326
なお、式（１）において、C1,C2は、カメラ１１のアライメント（基線長、方向など）とデプスマップの値の定義により求まる、デプスマップの値を視差量に変換するための係数である。
周辺視点の画像３３の位置(x,y)の画素が非オクルージョン領域の画素である場合、その画素に対応する基準視点の画像３１の画素の位置は、視差量Δx,Δyを用いて位置(x+Δx(x,y),y+Δy(x,y))と表すことができる。従って、基準視点の画像３１の位置(x+Δx,y+Δy(x,y))の画素が移動され、周辺視点の予測画像の位置(x,y)の画素とされる。
このようにして生成された周辺視点の予測画像の位置(x,y)の画素の画素値である画像３１の位置(x+Δx(x,y),y+Δy(x,y))の画素の画素値a(x+Δx(x,y),y+Δy(x,y))と、画像３３の位置(x,y)の画素の画素値b(x,y)との差分r（x,y）は、以下の式（２）により表される。
Figure 2015019326
非オクルージョン領域については、この差分r（x,y）が可逆符号化される。
これに対して、周辺視点の画像３３の位置(x,y)の画素がオクルージョン領域の画素である場合、その画素に対応する基準視点の画像３１の画素は存在しない。従って、周辺視点の予測画像のオクルージョン領域の画素値は生成されない。よって、基準視点の画像３３の位置(x,y)の画素が非可逆符号化される。
（符号化装置の処理の説明）
図５は、図３の符号化装置１３の符号化処理を説明するフローチャートである。この符号化処理は、図１の生成装置１２から基準視点の画像、デプスマップ、および周辺視点の画像が供給されたとき、開始される。
図５のステップＳ１１において、符号化装置１３の基準画像取得部５３は、生成装置１２から供給される基準視点の画像を取得し、基準画像符号化部５４と残差画像生成部５６に供給する。また、デプスマップ取得部５１は、生成装置１２から供給されるデプスマップを取得し、デプスマップ符号化部５２と残差画像生成部５６に供給する。さらに、周辺画像取得部５５は、生成装置１２から供給される周辺視点の画像を取得し、残差画像生成部５６に供給する。
ステップＳ１２において、残差画像生成部５６は、基準画像取得部５３から供給される基準視点の画像の各画素を、デプスマップ取得部５１から供給されるデプスマップに基づいて移動させることにより、周辺視点の予測画像を生成する。
ステップＳ１３において、残差画像生成部５６は、非オクルージョン領域について、周辺画像取得部５５から供給される周辺視点の画像と周辺視点の予測画像の差分を生成し、分離部５７に供給する。分離部５７は、残差画像生成部５６から供給される非オクルージョン領域の差分を非オクルージョン領域符号化部５９に供給する。
ステップＳ１４において、残差画像生成部５６は、オクルージョン領域の周辺視点の画像をそのまま分離部５７を介してオクルージョン領域符号化部５８に出力する。
ステップＳ１５において、オクルージョン領域符号化部５８は、分離部５７から供給されるオクルージョン領域の周辺視点の画像を非可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
ステップＳ１６において、非オクルージョン領域符号化部５９は、分離部５７から供給される非オクルージョン領域の差分を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
ステップＳ１７において、デプスマップ符号化部５２は、デプスマップ取得部５１から供給されるデプスマップを可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
ステップＳ１８において、基準画像符号化部５４は、基準画像取得部５３から供給される基準視点の画像を可逆符号化し、その結果得られる符号化データを多重化部６０に供給する。
ステップＳ１９において、多重化部６０は、デプスマップ、基準視点の画像、オクルージョン領域の周辺視点の画像、および非オクルージョン領域の差分の符号化データを多重化して符号化ストリームを生成する。多重化部６０は、符号化ストリームを復号装置１４に伝送し、処理を終了する。
（復号装置の構成例）
図６は、図１の復号装置１４の構成例を示すブロック図である。
図６の復号装置１４は、取得部１０１、分離部１０２、デプスマップ復号部１０３、基準画像復号部１０４、オクルージョン領域復号部１０５、および、非オクルージョン領域復号部１０６を備える。また、復号装置１４は、残差画像生成部１０７と復号画像生成部１０８を備える。
復号装置１４の取得部１０１は、受け取り部として機能し、符号化装置１３から伝送されてくる符号化ストリームを取得し、分離部１０２に供給する。
分離部１０２は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに分離する。分離部１０２は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。
また、分離部１０２は、オクルージョン領域の周辺視点の画像の符号化データをオクルージョン領域復号部１０５に供給する。分離部１０２は、非オクルージョン領域の差分の符号化データを非オクルージョン領域復号部１０６に供給する。
デプスマップ復号部１０３は、分離部１０２から供給されるデプスマップの符号化データを可逆復号する。デプスマップ復号部１０３は、可逆復号の結果得られるデプスマップを復号画像生成部１０８に供給する。
基準画像復号部１０４は、分離部１０２から供給される基準視点の画像の符号化データを可逆復号する。基準画像復号部１０４は、可逆復号の結果得られる基準視点の画像を復号画像生成部１０８に供給する。
オクルージョン領域復号部１０５は、分離部１０２から供給されるオクルージョン領域の周辺視点の画像の符号化データを非可逆復号する。オクルージョン領域復号部１０５は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像を残差画像生成部１０７に供給する。
非オクルージョン領域復号部１０６は、分離部１０２から供給される非オクルージョン領域の差分の符号化データに対して、非可逆復号に比べて高品質な可逆復号を行う。非オクルージョン領域復号部１０６は、可逆復号の結果得られる非オクルージョン領域の差分を残差画像生成部１０７に供給する。
残差画像生成部１０７は、オクルージョン領域復号部１０５から供給されるオクルージョン領域の周辺視点の画像と、非オクルージョン領域復号部１０６から供給される非オクルージョン領域の差分とを合成し、残差画像を生成する。残差画像生成部１０７は、残差画像を復号画像生成部１０８に供給する。
復号画像生成部１０８は、デプスマップ復号部１０３から供給されるデプスマップを出力する。復号画像生成部１０８は、基準画像復号部１０４から供給される基準視点の画像を出力する。復号画像生成部１０８は、図３の残差画像生成部５６と同様に、基準視点の画像の各画素をデプスマップに基づいて移動することにより、予測画像を生成する。復号画像生成部１０８は、予測画像と残差画像を加算し、周辺視点の画像を生成する。復号画像生成部１０８は、周辺視点の画像を出力する。
（復号装置の処理の説明）
図７は、図６の復号装置１４の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１３から符号化ストリームが伝送されてきたとき、開始される。
図７のステップＳ３１において、復号装置１４の取得部１０１は、符号化装置１３から伝送されてくる符号化ストリームを取得し、分離部１０２に供給する。
ステップＳ３２において、分離部１０２は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像、非オクルージョン領域の差分、基準視点の画像、およびデプスマップの符号化データに分離する。
分離部１０２は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。また、分離部１０２は、オクルージョン領域の周辺視点の画像の符号化データをオクルージョン領域復号部１０５に供給する。さらに、分離部１０２は、非オクルージョン領域の差分の符号化データを非オクルージョン領域復号部１０６に供給する。
ステップＳ３３において、オクルージョン領域復号部１０５は、分離部１０２から供給されるオクルージョン領域の周辺視点の画像の符号化データを非可逆復号する。オクルージョン領域復号部１０５は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像を残差画像生成部１０７に供給する。
ステップＳ３４において、非オクルージョン領域復号部１０６は、分離部１０２から供給される非オクルージョン領域の差分の符号化データを可逆復号する。非オクルージョン領域復号部１０６は、可逆復号の結果得られる非オクルージョン領域の差分を残差画像生成部１０７に供給する。
ステップＳ３５において、残差画像生成部１０７は、オクルージョン領域復号部１０５から供給されるオクルージョン領域の周辺視点の画像と、非オクルージョン領域復号部から供給される非オクルージョン領域の差分とを合成し、残差画像を生成する。残差画像生成部１０７は、残差画像を復号画像生成部１０８に供給する。
ステップＳ３６において、デプスマップ復号部１０３は、分離部１０２から供給されるデプスマップの符号化データを可逆復号する。デプスマップ復号部１０３は、可逆復号の結果得られるデプスマップを復号画像生成部１０８に供給する。
ステップＳ３７において、基準画像復号部１０４は、分離部１０２から供給される基準視点の画像の符号化データを可逆復号する。基準画像復号部１０４は、可逆復号の結果得られる基準視点の画像を復号画像生成部１０８に供給する。
ステップＳ３８において、復号画像生成部１０８は、図３の残差画像生成部５６と同様に、基準視点の画像の各画素をデプスマップに基づいて移動することにより、予測画像を生成する。ステップＳ３９において、復号画像生成部１０８は、予測画像と残差画像を加算し、周辺視点の画像を生成する。
ステップＳ４０において、復号画像生成部１０８は、デプスマップ、基準視点の画像、および周辺視点の画像を出力する。そして、処理は終了する。
以上のように、画像処理システム１０では、符号化装置１３が、周辺視点の画像の非オクルージョン領域の差分を可逆符号化し、オクルージョン領域を非可逆符号化する。従って、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができる。
また、復号装置１４は、周辺視点の画像の非オクルージョン領域の差分を可逆復号し、オクルージョン領域を非可逆復号する。従って、符号化装置１３により周辺視点の画像の画質を保ちつつ、高効率な符号化が行われた符号化ストリームを復号することができる。
＜第２実施の形態＞
（画像処理システムの第２実施の形態の構成例）
本開示を適用した画像処理システムの第２実施の形態の構成は、符号化装置１３と復号装置１４を除いて、図１の画像処理システム１０と同様である。従って、以下では、符号化装置１３と復号装置１４についてのみ説明する。
（符号化装置の構成例）
図８は、本開示を適用した画像処理システムの第２実施の形態における符号化装置の構成例を示す図である。
図８に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図８の符号化装置１２０の構成は、分離部５７、オクルージョン領域符号化部５８、非オクルージョン領域符号化部５９、多重化部６０の代わりに、分離部１２１、オクルージョン領域符号化部１２２、非オクルージョン領域符号化部１２３、多重化部１２４が設けられる点が図３の符号化装置１３の構成と異なる。符号化装置１２０は、非オクルージョン領域の差分のうちの比較的大きい差分を、オクルージョン領域とともに非可逆符号化する。
具体的には、符号化装置１２０の分離部１２１は、残差画像生成部５６から供給されるオクルージョン領域の周辺視点の画像をオクルージョン領域符号化部１２２に供給する。分離部１２１はまた、残差画像生成部５６から供給される非オクルージョン領域の差分のうちの閾値以上の差分を、大差分としてオクルージョン領域符号化部１２２に供給する。分離部１２１は、非オクルージョン領域の差分のうちの閾値より小さい差分を小差分として非オクルージョン領域符号化部１２３に供給する。
オクルージョン領域符号化部１２２は、分離部１２１から供給されるオクルージョン領域の周辺視点の画像と大差分を非可逆符号化する。オクルージョン領域符号化部１２２は、その結果得られるオクルージョン領域の周辺視点の画像と大差分の符号化データを多重化部１２４に供給する。
非オクルージョン領域符号化部１２３は、分離部１２１から供給される小差分を可逆符号化し、その結果得られる符号化データを多重化部１２４に供給する。
多重化部１２４は、非可逆符号化の結果得られるオクルージョン領域の周辺視点の画像、および大差分の符号化データ、並びに、可逆符号化の結果得られるデプスマップ、基準視点の画像、および小差分の符号化データを多重化する。多重化部１２４は、伝送部として機能し、多重化の結果得られる符号化ストリームを後述する復号装置１６０に伝送する。
（非オクルージョン領域の差分の分離の説明）
図９は、図８の分離部１２１による非オクルージョン領域の差分の分離を説明する図である。
図９において、図４と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
図９の例では、カメラ１１により撮像された画像中のノイズや生成装置１２によるデプスマップの生成エラーなどの原因により、基準視点のデプスマップ１４０の前景である人と背景との右側の境界領域１４０Ａが、背景の奥行き方向の位置を表さない値となっている。
従って、デプスマップ１４０に基づいて図４で説明したように生成される周辺視点の予測画像は、境界領域１４０Ａにおいて周辺視点の画像３３と大きく異なる。その結果、非オクルージョン領域の差分１４１のうちの、境界領域１４０Ａに対応する領域１４２の差分が大きくなる。よって、この場合、例えば、差分１４１のうちの領域１４２の差分が大差分とされ、差分１４１のうちの領域１４２以外の領域の差分が小差分とされる。
（符号化装置の処理の説明）
図１０は、図８の符号化装置１２０の符号化処理を説明するフローチャートである。この符号化処理は、生成装置１２から基準視点の画像、デプスマップ、および周辺視点の画像が供給されたとき、開始される。
図１０のステップＳ５１乃至Ｓ５３の処理は、図５のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
ステップＳ５４において、符号化装置１２０の分離部１２１は、残差画像生成部５６から供給される非オクルージョン領域の差分のうちの閾値以上の差分を大差分として分離し、閾値より小さい差分を小差分として分離する。分離部１２１は、大差分をオクルージョン領域符号化部１２２に供給し、小差分を非オクルージョン領域符号化部１２３に供給する。
ステップＳ５５において、オクルージョン領域符号化部１２２は、分離部１２１から供給されるオクルージョン領域の周辺視点の画像と大差分を非可逆符号化する。オクルージョン領域符号化部１２２は、その結果得られる符号化データを多重化部１２４に供給する。
ステップＳ５６において、非オクルージョン領域符号化部１２３は、分離部１２１から供給される小差分を可逆符号化し、その結果得られる符号化データを多重化部１２４に供給する。
ステップＳ５７およびＳ５８の処理は、図１０のステップＳ１７およびＳ１８の処理と同様であるので、説明は省略する。
ステップＳ５９において、多重化部１２４は、非可逆符号化の結果得られるオクルージョン領域の周辺視点の画像および大差分の符号化データ、並びに、可逆符号化の結果得られるデプスマップ、基準視点の画像、および小差分の符号化データを多重化する。多重化部１２４は、多重化の結果得られる符号化ストリームを後述する復号装置１６０に伝送し、処理を終了する。
（復号装置の構成例）
図１１は、本開示を適用した画像処理システムの第２実施の形態における復号装置の構成例を示すブロック図である。
図１１に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１１の復号装置１６０の構成は、分離部１０２、オクルージョン領域復号部１０５、非オクルージョン領域復号部１０６、残差画像合成部１０７の代わりに、分離部１６１、オクルージョン領域復号部１６２、非オクルージョン領域復号部１６３、残差画像合成部１６４が設けられる点が図６の復号装置１４の構成と異なる。
復号装置１６０の分離部１６１は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像と大差分、小差分、基準視点の画像、およびデプスマップの符号化データに分離する。分離部１６１は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。
また、分離部１６１は、オクルージョン領域の周辺視点の画像と大差分の符号化データをオクルージョン領域復号部１６２に供給する。分離部１６１は、小差分の符号化データを非オクルージョン領域復号部１６３に供給する。
オクルージョン領域復号部１６２は、分離部１６１から供給されるオクルージョン領域の周辺視点の画像と大差分の符号化データを非可逆復号する。オクルージョン領域復号部１６２は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像と大差分を残差画像生成部１６４に供給する。
非オクルージョン領域復号部１６３は、分離部１６１から供給される小差分の符号化データを可逆復号する。非オクルージョン領域復号部１６３は、可逆復号の結果得られる小差分を残差画像生成部１６４に供給する。
残差画像生成部１６４は、オクルージョン領域復号部１６２から供給されるオクルージョン領域の周辺視点の画像および大差分、並びに、非オクルージョン領域復号部１６３から供給される小差分を合成し、残差画像を生成する。残差画像生成部１６４は、残差画像を復号画像生成部１０８に供給する。
（復号装置の処理の説明）
図１２は、図１１の復号装置１６０の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１２０から符号化ストリームが伝送されてきたとき、開始される。
図１２のステップＳ７１において、復号装置１６０の取得部１０１は、符号化装置１２０から伝送されてくる符号化ストリームを取得し、分離部１６１に供給する。
ステップＳ７２において、分離部１６１は、取得部１０１から供給される符号化ストリームを、オクルージョン領域の周辺視点の画像と大差分、小差分、基準視点の画像、およびデプスマップの符号化データに分離する。分離部１６１は、デプスマップの符号化データをデプスマップ復号部１０３に供給し、基準視点の画像の符号化データを基準画像復号部１０４に供給する。
また、分離部１６１は、オクルージョン領域の周辺視点の画像と大差分の符号化データをオクルージョン領域復号部１６２に供給する。分離部１６１は、小差分の符号化データを非オクルージョン領域復号部１６３に供給する。
ステップＳ７３において、オクルージョン領域復号部１６２は、分離部１６１から供給されるオクルージョン領域の周辺視点の画像と大差分の符号化データを非可逆復号する。オクルージョン領域復号部１６２は、非可逆復号の結果得られるオクルージョン領域の周辺視点の画像と大差分を残差画像生成部１６４に供給する。
ステップＳ７４において、非オクルージョン領域復号部１６３は、分離部１６１から供給される小差分の符号化データを可逆復号する。非オクルージョン領域復号部１６３は、可逆復号の結果得られる小差分を残差画像生成部１６４に供給する。
ステップＳ７５において、残差画像生成部１６４は、オクルージョン領域復号部１６２から供給されるオクルージョン領域の周辺視点の画像および大差分、並びに、非オクルージョン領域復号部１６３から供給される小差分を合成し、残差画像を生成する。残差画像生成部１６４は、残差画像を復号画像生成部１０８に供給する。
ステップＳ７６乃至Ｓ８０の処理は、図７のステップＳ３６乃至Ｓ４０の処理と同様であるので、説明は省略する。
以上のように、符号化装置１２０が、小差分を可逆符号化し、オクルージョン領域および大差分を非可逆符号化する。従って、周辺視点の画像の画質を保ちつつ、高効率な符号化を行うことができる。また、非オクルージョン領域の差分のうちの大差分が非可逆符号化されるので、符号化装置１３に比べて、より符号化効率が向上する。
また、復号装置１６０は、小差分を可逆復号し、オクルージョン領域および大差分を非可逆復号する。従って、符号化装置１２０により周辺視点の画像の画質を保ちつつ、高効率の符号化が行われた符号化ストリームを復号することができる。
＜符号化方式の例＞
（符号化方式の第１の例）
上述した説明では、オクルージョン領域が非可逆符号化され、非オクルージョン領域が可逆符号化されたが、符号化方式は、これに限定されない。
図１３は、復号装置１４（１６０）から出力されるデプスマップおよびＮ視点の画像の用途と、オクルージョン領域および非オクルージョン領域の符号化方式との関係の第１の例を示す図である。
図１３に示すように、用途が、Ｎ視点の画像を用いてカメラ１１の焦点距離を変更した画像を生成するリフォーカス処理である場合、Ｎ視点の画像として取得された光線空間（ライトフィールド）の全ての情報を用いて画像が再構成される。従って、オクルージョン領域と非オクルージョン領域の両方が重要である。
よって、この場合、オクルージョン領域の符号化方式としては、Visually Lossless方式が用いられる。Visually Lossless方式とは、非可逆符号化方式であるが、画質の劣化が知覚できない程度である高品質な符号化方式である。また、非オクルージョン領域の符号化方式としてはLossless方式が用いられる。
即ち、非オクルージョン領域については基準視点の画像を移動させることで同等の画像を生成することができるため、従来の符号化装置では、符号化効率を高めるために非オクルージョン領域の視点間の小さな差分は伝送されない。
しかしながら、用途がリフォーカス処理である場合、非オクルージョン領域の視点間の差分は、各視点の質感や光沢などの特徴を表す情報であるため、重要である。従って、本開示では、非オクルージョン領域の視点間の差分がLossless方式で符号化される。その結果、視点間の微妙な見え方の違いが復号画像に劣化なく保持され、高精度にリフォーカス処理を行うことができる。
また、用途が、デプスマップを用いて各視点の画像の画素値をサブピクセル単位で対応付けることにより行う超解像処理である場合、基準視点の画角で超解像画像が再構成される。従って、非オクルージョン領域は重要であるが、オクルージョン領域は不要である。
従って、この場合、オクルージョン領域の符号化方式としてはLossy方式が用いられるか、または、オクルージョン領域は符号化されない（Discard）。Lossy方式とは、Visually Lossless方式に比べて低品質な非可逆符号化方式であり、画質の劣化が知覚できる程度である符号化方式である。Lossy方式としては、JPEG（Joint Photographic Experts Group）方式などがある。非オクルージョン領域の符号化方式としてはLossless方式が用いられる。
用途が、Ｎ視点の画像から被写体の３Ｄモデリング画像を生成する３Ｄモデリング処理である場合、オクルージョン領域も含めた全領域から被写体の立体形状が認識される。従って、非オクルージョン領域とオクルージョン領域の両方が重要である。よって、この場合、オクルージョン領域および非オクルージョン領域の符号化方式としてVisually Lossless方式が用いられる。
用途が、必要に応じて視点補間を行い、出力画像の視点を移動させる視点移動処理である場合、周辺視点の画像が必要である。従って、この場合、オクルージョン領域の符号化方式としてLossy方式が用いられ、非オクルージョン領域の符号化方式としてVisually Lossless方式が用いられる。
用途が、デプスマップを用いてカメラ１１から被写体までの奥行き方向の距離を検出する測位処理である場合、デプスマップの精度が重要であり、各視点の画像は重要ではない。従って、この場合、オクルージョン領域と非オクルージョン領域の両方の符号化方式としてLossy方式が用いられる。
（符号化方式の第２の例）
図１４は、復号装置１４（１６０）から出力されるデプスマップおよびＮ視点の画像の用途と、オクルージョン領域および非オクルージョン領域の符号化方式との関係の第２の例を示す図である。
図１４に示すように、用途が、新たに開発されるアプリケーション向けの多目的用途である場合、用途を制限しないようにすることが必要である。従って、オクルージョン領域と非オクルージョン領域の両方の画質を劣化させないようにする必要がある。よって、この場合、オクルージョン領域と非オクルージョン領域の両方の符号化方式としてLossless方式が用いられる。
また、用途が、本格的なリフォーカス処理またはボケ補正のための超解像処理である場合、再構成された画像の画質を向上させる必要がある。従って、リフォーカス処理およびボケ補正のための超解像度処理において重要な非オクルージョン領域とオクルージョン領域の両方の画質が比較的重要となる。よって、非オクルージョン領域の符号化方式としてLossless方式が用いられ、オクルージョン領域の符号化方式として高品質（High Quality）のVisually Losslessが用いられる。
用途が視点移動処理である場合、視点移動時に周辺視点の画像が必要であるため、オクルージョン領域と非オクルージョン領域の両方が重要である。また、Ｎ視点の画像が静止画像である場合、動画像である場合に比べて周辺視点の画像のデータ量は少ない。よって、用途が視点移動処理であり、Ｎ視点の画像が静止画像である場合、非オクルージョン領域とオクルージョン領域の両方の符号化方式として高品質のVisually Losslessが用いられる。
用途が簡易的なリフォーカス処理である場合、非オクルージョン領域とオクルージョン領域の両方が重要であり、最低限の画質とボケ味の質感を維持する必要がある。従って、非オクルージョン領域の符号化方式として高品質のVisually Losslessが用いられ、オクルージョン領域の符号化方式として高品質のLossy方式が用いられる。
用途が、パンフォーカス画像を生成するための超解像度処理である場合、基準視点の画角で超解像画像が再構成されるため、オクルージョン領域は不要である。従って、非オクルージョン領域の符号化方式としては高品質のVisually Losslessが用いられるが、オクルージョン領域の符号化方式としては低品質（Low Quality）のLossy方式が用いられるか、または、オクルージョン領域が符号化されない（Discard）。
用途が、３Ｄモデリング処理または被写体のジェスチャを認識するジェスチャ認識処理である場合、オクルージョン領域も含めた全領域から被写体の立体形状が認識される。従って、非オクルージョン領域だけでなくオクルージョン領域の画質も維持する必要がある。よって、非オクルージョン領域とオクルージョン領域の符号化方式としては高品質のLossy方式が用いられる。
用途が視点移動処理である場合、上述したように、視点移動時に周辺視点の画像が必要であるため、オクルージョン領域と非オクルージョン領域の両方が重要である。一方、Ｎ視点の画像が動画像である場合、静止画像である場合に比べて周辺視点の画像のデータ量は多い。従って、用途が視点移動処理であり、Ｎ視点の画像が動画像である場合、非オクルージョン領域の符号化方式としては高品質のLossy方式が用いられ、オクルージョン領域の符号化方式としては低品質のLossy方式が用いられる。
用途が測位処理である場合、デプスマップの精度が重要であり、各視点の画像は重要ではない。従って、この場合、オクルージョン領域と非オクルージョン領域の両方の符号化方式として低品質のLossy方式が用いられる。
なお、オクルージョン領域と非オクルージョン領域の符号化方式は、ユーザが用途に応じて設定するようにしてもよいし、符号化装置１３（１２０）が用途を判断し、自動的に設定するようにしてもよい。
また、オクルージョン領域と非オクルージョン領域の符号化方式を表すフラグ（情報）が、符号化装置１３（１２０）から復号装置１４（１６０）に伝送されるようにしてもよい。この場合、多重化部６０（１２４）により、フラグが、例えば、SPS（Sequence Parameter Set）やシステムレイヤ、ファイルフォーマットのヘッダなどに設定され、伝送される。そして、取得部１０１により、フラグが受け取られ、そのフラグが表す符号化方式に対応する復号方式でオクルージョン領域と非オクルージョン領域の差分の符号化データが復号される。
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜本明細書におけるデプスマップの説明＞
図１６は、視差と奥行きについて説明する図である。
図１６に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
Figure 2015019326
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、上述したデプスマップは、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像に代えることができる。以下では、視差ｄを表す画像とデプスマップとを総称して、デプス画像とする。
デプス画像は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2015019326
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2015019326
式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
また、デプス画像のカラーフォーマットとしては、YUV420又はYUV400などを採用することができる。勿論、他のカラーフォーマットを採用するにようにしてもよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、第１実施の形態において、残差画像生成部５６は、非オクルージョン領域の差分とオクルージョン領域の周辺視点の画像を合成して残差画像を生成するようにしてもよい。この場合、残差画像生成部５６は、非オクルージョン領域またはオクルージョン領域のマスクを生成する。そして、分離部５７は、そのマスクを用いて残差画像から非オクルージョン領域の差分とオクルージョン領域の周辺視点の画像を分離する。
また、同様に、第２実施の形態においても、残差画像生成部５６は、非オクルージョン領域の差分とオクルージョン領域の周辺視点の画像を合成して残差画像を生成するようにしてもよい。この場合、残差画像生成部５６は、小差分の領域、または、大差分の領域とオクルージョン領域を合成した領域のマスクを生成する。そして、分離部１２１は、そのマスクを用いて残差画像から小差分と、大差分およびオクルージョン領域の周辺視点の画像とを分離する。
さらに、第２実施の形態において、小差分と大差分の分離は、閾値判定によって行われるのではなく、所定の評価関数に基づいて行われるようにしてもよい。
本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は、以下のような構成もとることができる。
（１）
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化部と、
前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化部と
を備える符号化装置。
（２）
前記第１の符号化方式は、前記第２の符号化方式に比べて高品質の符号化方式である
前記（１）に記載の符号化装置。
（３）
前記第１の符号化方式は、可逆符号化であり、前記第２の符号化方式は、非可逆符号化である
前記（２）に記載の符号化装置。
（４）
前記第１の符号化方式は、第１の品質の非可逆符号化であり、前記第２の符号化方式は、第１の品質より低い第２の品質の非可逆符号化である
前記（２）に記載の符号化装置。
（５）
前記非オクルージョン領域符号化部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化し、
前記オクルージョン領域符号化部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化する
前記（１）乃至（４）のいずれかに記載の符号化装置。
（６）
前記基準視点の画像を符号化する基準画像符号化部と、
前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップを符号化するデプスマップ符号化部と
をさらに備える
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
前記（１）乃至（６）のいずれかに記載の符号化装置。
（８）
前記第１の符号化方式と前記第２の符号化方式を表す情報を伝送する伝送部
をさらに備える
前記（１）乃至（７）のいずれかに記載の符号化装置。
（９）
符号化装置が、
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化ステップと
前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化ステップと
を含む符号化方法。
（１０）
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号部と、
前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号部と
を備える復号装置。
（１１）
前記第１の復号方式は、前記第２の復号方式に比べて高品質の復号方式である
前記（１０）に記載の復号装置。
（１２）
前記第１の復号方式は、可逆復号であり、前記第２の復号方式は、非可逆復号である
前記（１１）に記載の復号装置。
（１３）
前記第１の復号方式は、第１の品質の非可逆復号であり、前記第２の復号方式は、第１の品質より低い第２の品質の非可逆復号である
前記（１１）に記載の復号装置。
（１４）
前記非オクルージョン領域復号部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化した符号化データを前記第１の復号方式で復号し、
前記オクルージョン領域復号部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化した符号化データを前記第２の復号方式で復号する
前記（１０）乃至（１３）のいずれかに記載の復号装置。
（１５）
前記基準視点の画像の符号化データを復号する基準画像復号部と、
前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップの符号化データを復号するデプスマップ復号部と
をさらに備える
前記（１０）乃至（１４）のいずれかに記載の復号装置。
（１６）
前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
前記（１０）乃至（１５）のいずれかに記載の復号装置。
（１７）
前記第１の符号化方式と前記第２の符号化方式を表す情報を受け取る受け取り部
をさらに備え、
前記非オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第１の符号化方式に対応する第１の復号方式で復号を行い、
前記オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第２の符号化方式に対応する第２の復号方式で復号を行う
前記（１０）乃至（１６）のいずれかに記載の復号装置。
（１８）
復号装置が、
基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号ステップと、
前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号ステップと
復号方法。
１３ 符号化装置， １４ 復号装置， ５２ デプスマップ符号化部， ５４ 基準画像符号化部， ５８ オクルージョン領域符号化部， ５９ 非オクルージョン領域符号化部， １０３ デプスマップ復号部， １０４ 基準画像復号部， １０５ オクルージョン領域復号部， １０６ 非オクルージョン領域復号部， １２０ 符号化装置， １２２ オクルージョン領域符号化部， １２３ 非オクルージョン領域符号化部， １６０ 復号装置， １６２ オクルージョン領域復号部， １６３ 非オクルージョン領域復号部

Claims (18)

  1. 基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化部と、
    前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化部と
    を備える符号化装置。
  2. 前記第１の符号化方式は、前記第２の符号化方式に比べて高品質の符号化方式である
    請求項１に記載の符号化装置。
  3. 前記第１の符号化方式は、可逆符号化であり、前記第２の符号化方式は、非可逆符号化である
    請求項２に記載の符号化装置。
  4. 前記第１の符号化方式は、第１の品質の非可逆符号化であり、前記第２の符号化方式は、第１の品質より低い第２の品質の非可逆符号化である
    請求項２に記載の符号化装置。
  5. 前記非オクルージョン領域符号化部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化し、
    前記オクルージョン領域符号化部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化する
    請求項１に記載の符号化装置。
  6. 前記基準視点の画像を符号化する基準画像符号化部と、
    前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップを符号化するデプスマップ符号化部と
    をさらに備える
    請求項１に記載の符号化装置。
  7. 前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
    請求項１に記載の符号化装置。
  8. 前記第１の符号化方式と前記第２の符号化方式を表す情報を伝送する伝送部
    をさらに備える
    請求項１に記載の符号化装置。
  9. 符号化装置が、
    基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を、前記第１の符号化方式で符号化する非オクルージョン領域符号化ステップと
    前記周辺視点の画像のオクルージョン領域を、第１の符号化方式とは異なる第２の符号化方式で符号化するオクルージョン領域符号化ステップと
    を含む符号化方法。
  10. 基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号部と、
    前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号部と
    を備える復号装置。
  11. 前記第１の復号方式は、前記第２の復号方式に比べて高品質の復号方式である
    請求項１０に記載の復号装置。
  12. 前記第１の復号方式は、可逆復号であり、前記第２の復号方式は、非可逆復号である
    請求項１１に記載の復号装置。
  13. 前記第１の復号方式は、第１の品質の非可逆復号であり、前記第２の復号方式は、第１の品質より低い第２の品質の非可逆復号である
    請求項１１に記載の復号装置。
  14. 前記非オクルージョン領域復号部は、前記差分のうちの閾値より小さい差分を前記第１の符号化方式で符号化した符号化データを前記第１の復号方式で復号し、
    前記オクルージョン領域復号部は、前記オクルージョン領域と前記差分のうちの前記閾値以上である差分を前記第２の符号化方式で符号化した符号化データを前記第２の復号方式で復号する
    請求項１０に記載の復号装置。
  15. 前記基準視点の画像の符号化データを復号する基準画像復号部と、
    前記基準視点の画像と前記周辺視点の画像を用いて生成される被写体の奥行き方向の位置を表すデプスマップの符号化データを復号するデプスマップ復号部と
    をさらに備える
    請求項１０に記載の復号装置。
  16. 前記第１の符号化方式と前記第２の符号化方式は、前記周辺視点の画像の用途に応じて設定される
    請求項１０に記載の復号装置。
  17. 前記第１の符号化方式と前記第２の符号化方式を表す情報を受け取る受け取り部
    をさらに備え、
    前記非オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第１の符号化方式に対応する第１の復号方式で復号を行い、
    前記オクルージョン領域復号部は、前記受け取り部により受け取られた情報が表す前記第２の符号化方式に対応する第２の復号方式で復号を行う
    請求項１０に記載の復号装置。
  18. 復号装置が、
    基準視点とは異なる視点である周辺視点の画像の非オクルージョン領域の前記周辺視点の予測画像と前記周辺視点の画像の差分を第１の符号化方式で符号化した符号化データを、前記第１の符号化方式に対応する第１の復号方式で復号する非オクルージョン領域復号ステップと、
    前記周辺視点の画像のオクルージョン領域を第１の符号化方式とは異なる第２の符号化方式で符号化した符号化データを、前記第２の符号化方式に対応する第２の復号方式で復号するオクルージョン領域復号ステップと
    復号方法。
JP2013146806A 2013-07-12 2013-07-12 符号化装置および符号化方法、並びに、復号装置および復号方法 Pending JP2015019326A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013146806A JP2015019326A (ja) 2013-07-12 2013-07-12 符号化装置および符号化方法、並びに、復号装置および復号方法
US14/322,532 US20150016517A1 (en) 2013-07-12 2014-07-02 Encoding device and encoding method, and decoding device and decoding method
CN201410317368.0A CN104284193A (zh) 2013-07-12 2014-07-04 编码装置和编码方法、以及解码装置和解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013146806A JP2015019326A (ja) 2013-07-12 2013-07-12 符号化装置および符号化方法、並びに、復号装置および復号方法

Publications (1)

Publication Number Publication Date
JP2015019326A true JP2015019326A (ja) 2015-01-29

Family

ID=52258602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013146806A Pending JP2015019326A (ja) 2013-07-12 2013-07-12 符号化装置および符号化方法、並びに、復号装置および復号方法

Country Status (3)

Country Link
US (1) US20150016517A1 (ja)
JP (1) JP2015019326A (ja)
CN (1) CN104284193A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244131A1 (ja) * 2021-05-19 2022-11-24 株式会社ソニー・インタラクティブエンタテインメント 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US9813721B2 (en) * 2014-11-20 2017-11-07 Getgo, Inc. Layer-based video encoding
CN106210722B (zh) * 2016-07-08 2019-06-25 上海大学 基于hevc的分层深度视频残差层数据的编码方法
CN106941402B (zh) * 2017-04-01 2020-07-10 中国人民武装警察部队工程大学 一种同态密文域可逆隐藏方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714859B2 (en) * 2004-09-03 2010-05-11 Shoemaker Garth B D Occlusion reduction and magnification for multidimensional data presentations
US20100007432A1 (en) * 2008-07-14 2010-01-14 Jaroslaw Uher Orthomode junction assembly with associated filters for use in an antenna feed system
JP5544361B2 (ja) * 2008-08-26 2014-07-09 コーニンクレッカ フィリップス エヌ ヴェ 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
US20100074321A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation Adaptive image compression using predefined models
JP2011082622A (ja) * 2009-10-02 2011-04-21 Sony Corp 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム
US20120003952A1 (en) * 2010-06-30 2012-01-05 Lifestream Corporation System and method for emergency notification from a mobile communication device
KR101676830B1 (ko) * 2010-08-16 2016-11-17 삼성전자주식회사 영상 처리 장치 및 방법
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244131A1 (ja) * 2021-05-19 2022-11-24 株式会社ソニー・インタラクティブエンタテインメント 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造

Also Published As

Publication number Publication date
CN104284193A (zh) 2015-01-14
US20150016517A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
JP6633694B2 (ja) 多視点信号コーデック
JP5303754B2 (ja) 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
US20150245062A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
WO2015098948A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2013039031A1 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
JP2015019326A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
JPWO2014168082A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2016537871A (ja) マルチビュービデオのデコード方法及び装置
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
US20130120530A1 (en) Image processing apparatus and method and program
JP2020120322A (ja) 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム
KR101289269B1 (ko) 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2016127372A (ja) 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
WO2013141075A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2021093641A (ja) 画像符号化装置およびそのプログラム、ならびに、画像復号装置およびそのプログラム
TW201301865A (zh) 處理信號之方法及其系統
JP2011211351A (ja) 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体
WO2015141549A1 (ja) 動画像符号化装置及び方法、及び、動画像復号装置及び方法
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2021087810A1 (zh) 信息处理方法和系统、编码装置、解码装置及存储介质
JP6310340B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム