JP2008199587A - 画像符号化装置、画像復号化装置および方法 - Google Patents

画像符号化装置、画像復号化装置および方法 Download PDF

Info

Publication number
JP2008199587A
JP2008199587A JP2008001713A JP2008001713A JP2008199587A JP 2008199587 A JP2008199587 A JP 2008199587A JP 2008001713 A JP2008001713 A JP 2008001713A JP 2008001713 A JP2008001713 A JP 2008001713A JP 2008199587 A JP2008199587 A JP 2008199587A
Authority
JP
Japan
Prior art keywords
image
still image
encoding
still
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008001713A
Other languages
English (en)
Inventor
Toshiyuki Kondo
敏志 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39641278&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2008199587(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2008001713A priority Critical patent/JP2008199587A/ja
Publication of JP2008199587A publication Critical patent/JP2008199587A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】静止画像を符号化において、従来方式と比較して飛躍的に符号化効率を向上することができる画像符号化方法および画像復号化方法を提供する。
【解決手段】本発明の画像符号化装置は、第１静止画像に類似する少なくとも１つの第２静止画像を画像集合から検索する類似画像検索部２０１と、前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像に対する予測画像を生成し、前記第１静止画像と予測画像との差分を符号化することにより符号列を生成する符号化処理部２０２と、前記少なくとも１つの第２静止画像の所在を示す情報を前記符号列に付加する参照画像情報処理部２０４とを備える。
【選択図】図２

Description

本発明は、静止画像の高能率圧縮する画像符号化装置、画像復号化装置および方法に関する。
静止画像を高能率圧縮符号化する方法として、ＪＰＥＧ方式やＪＰＥＧ２０００方式が標準規格として制定されている（例えば、非特許文献１）。またＭＰＥＧ−２方式、Ｈ．２６４方式等の動画像符号化標準規格においても、アクセスポイントとなる画像を他の画像を参照することなく符号化する画面内符号化方法が用いられる。
画像処理の１つとして、デジタルカメラ等で撮影した画像から画像の一部を削除し、さらに削除部分を補完画素で補填し補完画像を生成する画像補完方法が提案されている（例えば、非特許文献２）。このような従来の方法においては、画像中の削除部以外の部分から類似部を探し出し、その類似部の画素を用いて削除部の補填を行う。
画像処理の他の１つとして超解像画像処理が提案されている。超解像画像処理とは、低解像度画像が有していない高周波数成分を生成し、低解像度画像に付加することにより、高精細な高解像度画像を得る手法をいう。超解像画像処理の一手法として、現存する高解像度画像を手本として用いる方法（例えば、非特許文献３、非特許文献４）や、低解像度画像から高解像度画像への変換テーブルを用いる方法が提案されている（例えば、非特許文献５）。
ITU-T Rec. T.81, Information Technology - Digital Compression and Coding of Continuous-Tone Still Images -, 1992. I.Drori,D.Chohen-Or,H.Yeshurun,"Fragment-based image completion",Proceedings of ACM SIGGRAPH 2003,pp.303-312(2003). A.Hertzmann,C.Jacobs,N.Oliver,B.Curless,D.Salesin,"Image Analogies", SIGGRAPH 2001 Conference Proceedings. S.Baker and T.Kanade,"Limits on Super-Resolution and How to Break Them", IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.24,No.9,Pages:1167-1183,September 2002. W.T.Freeman,T.R.Jones and E.C.Pasztor,"Example-based Super-Resolution", IEEE Computer Graphics and Applications,Vol.22,No.2,pp.56-65,March/April 2002.
上記従来の静止画像符号化方法や画面内符号化方法は、ＭＰＥＧ−２方式やＨ．２６４方式等で採用されている動き補償を用いた画面間予測符号化方法と比較して符号化効率が悪い（圧縮率が低い）という課題を有している。
上記従来の画像補完方法においては、削除部が平坦な画像で補完されるべき場合や、削除部が非削除部に存在するテクスチャ画像で補完されるべき場合には、比較的自然な補完画像を得ることができる。しかしながら、削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合には、不自然な補完画像となってしまうという他の課題を有している。
上記従来の超解像画像処理では、手本となる高解像度画像や変換テーブルが必要となる。この手本となる高解像度画像や変換テーブルは、低解像度画像に近い内容の画像や低解像度画像に適した内容である必要がある。しかしながら、上記の文献においては、手本となる高解像度画像は予め得られている、または変換テーブルは予め生成されているという前提に基づいており、手本となる高解像度画像を得る方法には言及されていない。したがって、一般的な低解像度画像に対して上記従来の超解像画像処理方法を施しても充分な高解像度画像が得られないという課題を有している。
本発明の目的は、静止画像を符号化する際や、動画像中で従来方式では画面内符号化を用いて符号化されていた画像を符号化する際に、従来方式と比較して飛躍的に符号化効率を向上（圧縮率を高く）することができる画像符号化方法および画像復号方法を提案することにある。
本発明の他の目的は、デジタルカメラ等で撮影した画像から、画像の一部を削除し、削除部分を補完画素で補填して補完画像を生成する際に、削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合であっても、自然な補完画像を生成することができる画像処理方法を提案することにある。
本発明のさらに他の目的は、手本となる高解像度画像が予め得られていない状況であっても、高性能な超解像画像処理を実現することができる画像処理方法を提案することにある。
上記目的を達成するため本発明の画像符号化装置は、第１静止画像に類似する少なくとも１つの第２静止画像を画像集合から検索する検索手段と、前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像に対する予測画像を生成し、前記第１静止画像と予測画像との差分を符号化することにより符号列を生成する符号化手段と、前記少なくとも１つの第２静止画像の所在を示す情報を前記符号列に付加する付加手段とを備える。
この構成によれば、第１静止画像は単体で符号化されるのではなく、類似する第２静止画像との差分が符号化されるので、飛躍的に符号化効率を向上（圧縮率を高く）することができる。また、情報を前記符号列に付加することにより、画像復号化装置において完全に復号することを保証することができる。
ここで、前記各第２静止画像は、前記第１静止画像中の被写体画像に対応する被写体を示す部分画像を含むことが好ましい。
この構成によれば、第２静止画像が第１静止画像に類似する度合いを高めるので、圧縮率をより向上させることができる。
ここで、前記画像符号化装置は、さらに、前記第２静止画像に所定の変換処理を施す変換手段を備え、前記所定の変換処理は、前記部分画像の大きさおよび撮影角度の少なくとも一方を前記被写体画像に合わせるように、第２静止画像を変換する処理であり、前記符号化手段は、変換後の第２静止画像類似画像を参照画像として前記静止画像を予測符号化することにより符号列を生成し、前記付加手段は、さらに、前記第２静止画像に適用した変換処理を示す変換情報を前記符号列に付加するようにしてもよい。
この構成によれば、前記第２静止画像中の前記部分画像の大きさおよび撮影角度の少なくとも一方を、第１静止画像中の被写体画像に合わせるので、第２静止画像と第１静止画像の類似度合いを高めることができる。その結果、圧縮率をより大きく向上させることができる。
ここで、前記画像符号化装置は、さらに、複数の静止画像を記憶する記憶手段を備え、前記検索手段は、前記記憶手段に記憶された前記複数の静止画像を前記画像集合として前記第２静止画像を検索するようにしてもよい。
この構成によれば、前記検索手段は、前記第１静止画像が保持されている機器と同一の機器内から前記第２静止画像を検索するので、インターネットを検索するよりも比較的短時間で検索することができ、第２静止画像が消失する危険を回避することができる。
ここで、前記検索手段は、前記第２静止画像をインターネット上の静止画像を前記画像集合として検索するようにしてもよい。
この構成によれば、より類似度の高い第２静止画像を見つける可能性が高めることができる。
ここで、前記検索手段は、前記画像集合に含まれる各候補画像と前記第１静止画像との類似度を算出する類似度算出手段と、類似度の最も高い候補画像から順に少なくとも１つの前記第２静止画像を決定する決定手段とを備えるようにしてもよい。
この構成によれば、しきい値を高くすれば圧縮率を飛躍的に高くすることができ、しきい値を低くすれば検索時間を短縮することができる。
ここで、前記類似度算出手段は、前記第１静止画像の特徴を表す複数の第１特徴点を抽出し、前記候補画像の特徴を表す複数の第２特徴点を抽出し、対応する第１特徴点と第２特徴点のペアを判別し、前記ペアの数が多いほど高くなるように前記類似度を算出するようにしてもよい。
この構成によれば、前記ペアの数により類似度を算出するので処理の高速化に適している。
ここで、前記類似度算出手段は、前記第１静止画像の特徴を表す複数の第１特徴点を抽出し、前記候補画像の特徴を表す複数の第２特徴点を抽出し、対応する第１特徴点と第２特徴点のペアを判別し、複数の前記ペアに基づいて、前記候補画像の大きさおよび撮影角度の少なくとも一方が前記第１静止画像と同じになるように、各候補画像を変換する変換行列を求め、前記変換における変形の度合いが小さいほど高くなるように前記類似度を算出するようにしてもよい。
この構成によれば、検索の結果、第２静止画像の大きさおよび撮影角度の少なくとも一方が第１静止画像に類似するので、より高い圧縮率を実現することができる。
ここで、前記類似度算出手段は、前記第１静止画像の特徴を表す複数の第１特徴点を抽出し、前記候補画像の特徴を表す複数の第２特徴点を抽出し、対応する第１特徴点と第２特徴点のペアを判別し、複数の前記ペアに基づいて、前記候補画像の大きさおよび撮影角度の少なくとも一方が前記第１静止画像と同じになるように、各候補画像を変換する変換行列を求め、前記ペアの数が多いほど高くなり、かつ変形の度合いが小さいほど高くなるように前記類似度を算出するようにしてもよい。
この構成によれば、類似度の算出精度を向上させるので、高い圧縮率を実現することができる。
ここで、前記検索手段は、前記画像集合に含まれる各候補画像にメタデータに基づいて検索し、前記メタデータは、キーワード、撮影位置情報、撮影日時情報の少なくとも１つを含むようにしてもよい。
この構成によれば、検索に要する時間を短縮することができ、検索から符号化までの処理時間を短縮することができる。
ここで、前記検索手段は、他の静止画像を参照画像として符号化されている静止画像を前記少なくとも１つの第２静止画像から除外するようにしてもよい。
この構成によれば、２段階以上の参照を回避し、処理の複雑化を避けることができる。すなわち、もし、第２静止画像が他の画像を参照していれば、当該他の画像まで取得しないと符号化処理が実施できなくなり処理が複雑化するが、これを防ぐことができる。
ここで、前記符号化手段は、第１静止画像をブロック毎に符号化し、少なくとも１つのブロックは、１つの第２静止画像を参照画像として、動画像圧縮符号化におけるＰピクチャの符号化が適用されるようにしてもよい。
この構成によれば、従来の動画像圧縮符号化を行うハードウェア資産およびソフトウェア資産の一部または全部を流用し、本装置の開発・製造コストを低減することができる。
ここで、前記符号化手段は、少なくとも１つ前記第２静止画像を格納する参照メモリと、参照メモリ中の前記第２静止画像を参照画像として、前記少なくとも１つのブロックの動きベクトルを検出する動きベクトル検出部と、前記少なくとも１つのブロックと、動きベクトルに従って参照画像から得られる予測画像との差分を予測残差として算出する減算部と、前記予測残差と動きベクトルとを可変長符号化する可変長符号化部とを備えるようにしてもよい。
この構成によれば、動画像圧縮符号化を行うハードウェア資産およびソフトウェア資産の全部または一部を備えることにより、容易に本装置を開発・製造することができる。
ここで、前記符号化手段は、第１静止画像をブロック毎に符号化し、少なくとも１つのブロックは、２つの第２静止画像を参照画像として、動画像圧縮符号化方式におけるＢピクチャの符号化が適用されるようにしてもよい。
この構成によれば、従来の動画像圧縮符号化を行うハードウェア資産およびソフトウェア資産の一部または全部を流用し、本装置の開発・製造コストを低減することができる。
ここで、前記画像符号化装置は、さらに、前記記憶手段に記憶された静止画像の削除指示を受け付ける受付手段と、削除命令の対象である静止画像を参照画像として符号化されている他の静止画像が存在するか否かを判定する判定手段と、前記他の静止画像が存在すると判定されたとき、その旨を通知する通知手段とを備えるようにしてもよい。
ここで、前記画像符号化装置は、さらに、前記受付手段により前記通知に対して再度削除指示が受け付けられたとき、当該静止画像を削除する削除手段を備えるようにしてもよい。
この構成によれば、削除命令の対象である静止画像を参照画像として利用されている場合に、誤って削除されることを防止することができる。
ここで、前記画像符号化装置は、さらに、前記第１静止画像内の第１の領域を指定する指定手段と、前記第２の静止画像において、前記第１の領域に対応する第２の領域を特定する特定手段と、前記第１領域の画素を削除し、削除された前記第１の領域に対して前記第２の領域の画素を補完する補完手段とを備え、前記符号化手段は、補完手段による補完後の第１静止画像を符号化するようにしてもよい。
この構成によれば、削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合であっても、自然な補完画像を生成することができ、さらに、符号化の圧縮率を飛躍的に向上することができる。
ここで、前記画像符号化装置は、さらに、前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像を高解像度化する超解像手段を備え、前記符号化手段は、高解像度化された第１静止画像を符号化するようにしてもよい。
この構成によれば、第１静止画像を高解像度化し、さらに、高い圧縮率で符号化することができる。例えば、元の第１静止画像を高解像度化しているのに、符号化後のファイルサイズを小さくすることができる。
本発明の画像復号化装置は、入力符号列から、第１静止画像を示す符号列と付加情報とを取得する取得手段と、前記付加情報に示される第２静止画像を取得する画像取得手段と、前記第２の画像を参照画像として第１静止画像に対する予測画像を生成し、前記画像を示す符号列から得られる予測残差と前記予測画像とを加算することにより前記第１の静止画像を出力する復号化手段とを備える。
この構成によれば、本発明の画像符号化装置および方法により高圧縮率で符号化された第１静止画像の符号列を復号することができる。
また、本発明の画像符号化方法、画像復号化方法、半導体装置は、上記画像符号化装置または画像復号化装置と同様の構成を有する。
また、上記他の目的を達成する画像処理装置は、第１静止画像に類似する少なくとも１つの第２静止画像を画像集合から検索する検索手段と、前記第１静止画像内の第１の領域を指定する指定手段と、前記第２の静止画像において、前記第１の領域に対応する第２の領域を特定する特定手段と、前記第１領域の画素を削除し、前記第２の領域の画素を補完する補完手段とを備える。
この構成によれば、デジタルカメラ等で撮影した画像から、画像の一部を削除し、削除部分を補完画素で補填して補完画像を生成する際に、削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合であっても、自然な補完画像を生成することができる。
また、上記さらに他の目的を達成する画像処理装置は、前記第１静止画像に類似する少なくとも１つの第２静止画像を画像集合から検索する検索手段と、前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像を高解像度化する超解像手段とを備える。
この構成によれば、手本とすべき高解像度画像が予め得られていない場合であっても、低解像度画像の高解像度化を実現することができる。
なお、本発明は、このような画像符号化装置方法、画像復号化方法およびデータ管理方法として実現することができるだけでなく、このような画像符号化方法、画像復号化方法およびデータ管理方法が備える特徴的な手段をステップとする方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上のように、本発明の画像符号化装置および画像符号化方法によれば、飛躍的に符号化効率を向上（圧縮率を高く）することができる。
また、第２静止画像が第１静止画像に類似する度合いを高めることができ、圧縮率をより向上させることができる。
第２静止画像が消失する危険を回避することができる。
より類似度の高い第２静止画像を見つける可能性を高めることができる。
しきい値を高くすることにより圧縮率を飛躍的に高くすることができ、しきい値を低くすることにより検索時間を短縮することができる。
従来の動画像圧縮符号化を行うハードウェア資産およびソフトウェア資産の一部または全部を流用し、本装置の開発・製造コストを低減することができる。
参照画像として利用される第２静止画像を誤って削除されることを防止することができる。
削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合であっても、自然な補完画像を生成することができ、さらに、符号化の圧縮率を飛躍的に向上することができる。
第１静止画像を高解像度化し、さらに、高い圧縮率で符号化することができる。例えば、元の第１静止画像を高解像度化しているのに、符号化後のファイルサイズを小さくすることができる。
本発明の画像符号化装置または方法により高圧縮率で符号化された第１静止画像の符号列を復号することができる。
また、本発明の画像復号化装置および画像復号化方法によれば、画像復号化装置において完全に復号することを保証することができる。
本発明の画像処理装置によれば、デジタルカメラ等で撮影した画像から、画像の一部を削除し、削除部分を補完画素で補填して補完画像を生成する際に、削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合であっても、自然な補完画像を生成することができる。
本発明の他の画像処理装置によれば、手本とすべき高解像度画像が予め得られていない場合であっても、低解像度画像の高解像度化を実現することができる。
（実施の形態１）
図１、図２はそれぞれ、本発明の画像符号化方法の処理手順を示すフローチャートおよびブロック図である。図２に示すように本発明の画像符号化装置は、類似画像検索部２０１、符号化処理部２０２、参照画像処理部２０３、参照画像情報処理部２０４、蓄積媒体２０５を備える。
図２に示すように、画像符号化装置２００は、類似画像検索部２０１、符号化処理部２０２、参照画像処理部２０３、および参照画像情報処理部２０４、蓄積媒体２０５を備える。
類似画像検索部２０１は、圧縮符号化されるべき第１静止画像（以下、入力画像）に類似する少なくとも１つの第２静止画像（以下、類似画像）を画像集合から検索する。画像集合は、蓄積媒体２０５に蓄積された静止画像またはインターネット上のサーバ２０６に蓄積された静止画像である。
符号化処理部２０２は、少なくとも１つの類似画像を参照画像として入力画像に対する予測画像を生成し、入力画像と予測画像との差分を符号化することにより符号列を生成する。
参照画像処理部２０３は、少なくとも１つの類似画像に所定の変換処理を施す変換手段として機能する。所定の変換処理は、類似画像に含まれる被写体画像の大きさおよび撮影角度の少なくとも一方を、入力画像に含まれる被写体画像に合わせるように、類似画像を変換する処理である。この変換処理は必須ではないが、変換処理により類似画像の類似度合いを高めることができる。
参照画像情報処理部２０４は、参照画像の取得先に関する情報、すなわち参照画像として用いられた少なくとも類似画像の所在を示す情報を符号列に付加する。また、参照画像情報処理部２０４は、類似画像に変換処理が適用された場合には、適用した変換処理を示す変換情報を前記符号列に付加する。
図５Ａ〜図５Ｃは、本発明の画像符号化方法における処理の過程を説明するために用いる模式図である。
入力画像（図５Ａの左側）は類似画像検索部２０１に入力される（ステップＳ１０１）。
類似画像検索部２０１においては、機器内部（カメラ、パーソナルコンピュータ、ビデオレコーダ等）の蓄積媒体２０５に記録された画像や、データベースや、インターネット上のサーバ２０６に蓄積された画像の中から、入力画像に対する類似画像を検索し取得する（ステップＳ１０２）。機器内部に記録された画像のみを用いる場合には、検索は速いが符号化処理の符号化効率が若干低くなる可能性があり、データベースやインターネット上の画像を用いる場合には、符号化処理の符号化効率が良くなる可能性が高くなるが検索に時間がかかる場合がある。
類似画像の検索方法としては従来提案されている様々な方法を用いることができる。類似画像の検索においては、一般的には画像から特徴量を抽出し、その特徴量を元にした距離尺度（類似度）を定義する。そして、記録媒体やサーバ等に記録されている画像の中から入力画像との距離尺度が近くなる画像を類似画像として選択する。
ここで、入力画像がデジタルカメラで撮影した画像であり、画像にメタ情報としてキーワード、ＧＰＳ等を用いて取得した撮影位置情報、撮影日時情報、等が付与されているような場合には、キーワード、撮影位置情報、撮影日時情報、等を元にして検索を行い、その後に画像特徴量を用いて絞り込みを行うといった方法も用いることができる。
例えば、撮影した場所がわかっている場合には、キーワードとしてその場所の地名等を用いたり、撮影位置情報としてその場所の位置を用いたり、撮影日時情報として入力画像を撮影した季節や時間帯を用いたりすることで、入力画像により類似した画像を抽出することができる。
ここで、類似画像検索部２０１において取得する類似画像は１枚であるとは限らないが、以下では説明の簡単化のために１枚の類似画像（図５Ｂの左側）を取得するとして説明する。また以下では、類似画像検索部２０１で取得した類似画像を参照画像と呼ぶ。
また、参照画像の取得先に関する情報が参照画像情報処理部２０４に対して出力される。参照画像の取得先に関する情報としては、参照画像を機器内部から取得した場合にはファイル名等が該当し、参照画像をインターネット上が取得したような場合にはＵＲＬ、ＩＰアドレス＋ファイル名等が該当する。
図３は、類似画像検索部２０１における検索処理を示すフローチャートである。同図のように、類似画像検索部２０１は、入力画像の特徴点を抽出する（Ｓ３０１）。特徴点は、画像中のエッジの交点や角に対応する点である。特徴点の抽出方法はＨａｒｒｉｓオペレータやＳＩＦＴ（Scale Invariant Feature Transform）法などを用いることができる。
さらに、類似画像検索部２０１は、蓄積媒体２０５に記録された複数の静止画像を画像集合として、または、インターネット上の静止画像を画像集合として、上記のメタ情報を利用して候補画像群を収集する（Ｓ３０２）。
候補画像群の収集後、類似画像検索部２０１は、ループ１（Ｓ３０３〜３１１）において候補画像毎に類似度を算出する。ループ１において、類似画像検索部２０１は、候補画像の特徴を表す複数の特徴点を抽出し（Ｓ３０４）、入力画像と候補画像との間で対応関係にある特徴点のペアを判別し（Ｓ３０５）、当該ペアの数を求める（Ｓ３０６）。図５Ａの右側には、入力画像の特徴点の例（３０１ｃ、３０２ｃ、３０３ｃ）を図示してある。図５Ｂの右側には、候補画像（または類似画像)の対応する特徴点の例（３０１ｄ、３０２ｄ、３０３ｄ）を図示してある。このとき、ペアの数がしきい値Ｔ１よりも少ない候補画像は類似画像とはいえないので、当該候補画像は候補画像群から除外される（Ｓ３０７、Ｓ３１２）。
次に、類似画像検索部２０１は、判別された複数のペアに基づいて、候補画像の大きさおよび撮影角度が前記第１静止画像と同じになるように、候補画像を変換する変換行列を算出し（Ｓ３０８）、変換行列による候補画像の変形の度合いを示す変形度を算出する（Ｓ３０９）。このとき、変形度がしきい値Ｔ２よりも大きい候補画像は類似画像とはいえないので、当該候補画像は候補画像群から除外される（Ｓ３１０、Ｓ３１２）。
さらに、類似画像検索部２０１は、上記ペアの数が多いほど高くなり、かつ変形度が小さいほど高くなる類似度を算出する（Ｓ３１１）。
ループ１の処理の後、類似画像検索部２０１は、算出された類似度の高い順にＮ毎の候補画像を類似画像として選択する（Ｓ３１４）。ここで、Ｎは少なくとも１でよい。
類似画像検索部２０１で取得された参照画像として参照画像処理部２０３に入力される。参照画像が入力画像と同じ場所で撮影された画像であったとしても、同じ角度で撮影されていることや、同じ大きさで撮影されていることは数少ない。そこで、参照画像処理部２０３においては、参照画像を入力画像と同じ角度、同じ大きさで撮影された画像となるように変換処理を施す（ステップＳ１０３）。
ここでは、変換処理について、カメラから撮影対象までの距離が撮影対象自身の奥行きよりも非常に大きい（例えば１０倍以上）と仮定し、射影変換（アフィン変換）等により参照画像を変形する場合について説明する。この場合には、入力画像と参照画像との間の（射影）変換行列を求める必要がある。この際には、まず入力画像と参照画像との間の対応関係を求め、その対応関係から変換行列を求める。入力画像と参照画像との間の対応関係を求める際には、例えば、両画像に対してＨａｒｒｉｓオペレータやＳＩＦＴ法により特徴点を抽出し、その特徴点の対応関係を求める方法を用いることができる。また対応関係から変換行列を求める際には、対応関係から孤立点（Ｏｕｔｌｉｅｒ）を検出して除去し、通常点（Ｉｎｌｉｅｒ）のみの対応関係を用いて最小二乗法等を用いて変換行列を求めればよい。孤立点を検出する方法としては、ＲＡＮＳＡＣ（RANdom SAmple Consensus）等の方法を用いればよい。参照画像処理部２０３では、求めた（射影）変換行列を用いて参照画像を変換参照画像（図５Ｃ）に変換し、符号化処理部２０２に対して出力する。また、変換行列の情報を参照画像情報処理部２０４に対して出力する。
符号化処理部２０２には、入力画像（図５Ａ）と変換参照画像（図５Ｃ）とが入力される。符号化処理部２０２の構成を図４に示す。図４に示すように、符号化処理部２０２は、フレームメモリ３０１、差分演算部３０２、予測誤差符号化部３０３、符号列生成部３０４、予測誤差復号部３０５、加算演算部３０６、フレームメモリ３０７、動きベクトル検出部３０８、モード選択部３０９、符号化制御部３１０、画面内予測部３１１、スイッチ３１２から構成される。符号化処理部２０２は、ＭＰＥＧ−２方式やＨ．２６４方式等の従来の動画像符号化方式における画面間予測符号化処理と同等の機能を実施する機能を有している。ただし、入力画像が動画像ではないことが従来の動画像符号化方式での処理とは異なる。
入力画像はフレームメモリ３０１に保持される。また、変換参照画像はフレームメモリ３０７に保持される。フレームメモリ３０１で一旦保持された入力画像は、マクロブロック等の単位で読み出される。ここでは、マクロブロックは水平１６×垂直１６画素の大きさであるとする。
入力画像の各マクロブロックは、いわゆるピクチャ間予測符号化により処理される。ピクチャ間予測符号化における符号化参照画像は、フレームメモリ３０７に保持された変換参照画像である。ここでは、符号化参照画像が１枚である場合について説明する。マクロブロックはイントラ符号化モード、インター符号化モードのいずれかで符号化されるものとする。イントラ符号化モードにおいては画面内予測が実施され、インター符号化モードにおいては画面間予測（動き補償予測）が実施される。符号化処理部２０２においては、マクロブロックを符号化する際に、画面内予測や動き補償予測を伴った仮符号化を実施し、どの符号化モードで符号化するのが最も符号化効率が良いかを判定する。そして最も符号化効率が良くなると判定した符号化モードを用いて符号化処理を実施する。符号化モードはモード選択部３０９で決定する。符号化モードの決定を含む符号化処理の手順を以下で説明する。図６Ａにおいて５０１が入力画像であり、５０２の領域に対しては既に符号化処理が完了しており、現在の符号化対象マクロブロックが５０３であるとして説明する。
符号化制御部３１０は、まずスイッチ３１２をｄに接続する。フレームメモリ３０１から読み出された処理対象マクロブロックの画素は、画面内予測部３１１に入力される。
画面内予測部３１１では、画面内予測方法により、画面内予測ブロックを生成する。画面内予測部３１１では、図６Ｃに示すようなマクロブロック５０３に含まれる４×４画素の小ブロック毎に画面内予測画像を生成するものとする。その方法を図７Ａ〜図７Ｄを用いて説明する。図７Ａは、処理対象ブロック６０１の画素（破線の白丸）と処理対象ブロック６０１に対する画面内予測画像を生成する際に用いる画素（実線の白丸）の位置関係を示した模式図である。そして実線白丸の画素を用いて、図７Ｂに示す方向で画面内予測画像を生成する。ここで図７Ｂの番号は、画面内予測方法を示す番号を示しており、予測方法２では周辺画素ａ〜ｉの平均画素値を処理対象ブロック６０１の画面内予測画像とするため、図中には示していない。よって画面内予測方法は合計９種類となる。例えば、画面内予測方法０においては、図７Ｃに示すように、画素ｆの画素値を処理対象ブロック６０１内の左端の列の４画素に対する画面内予測値とする。同様にして、画素ｇ〜ｉを各列の８画素に対する画面内予測値とする。また、画面内予測画像を生成する際に用いる画素（図７Ａでの実線の白丸）は、既に符号化処理が終了しており、フレームメモリ３０７に蓄積されている。
小ブロック毎に９種類の中から画面内予測方法を選択するが、これには様々な方法で決定することができる。例えば、予め定めた評価基準により求めた評価値が、最大または最小となる画面内予測方法を選択する方法がある。評価基準としては、例えば小ブロックと画面内予測画像との、対応する画素の画素値の差分値のブロック内での絶対値和または２乗値和を用いることができる。この場合、評価値が最小となる画面内予測方法を選択する。画面内予測部３１１は、小ブロック毎に、画面内予測ブロックと画面内予測方法を示す番号Ｎをモード選択部３０９に対して出力する。
続いて符号化制御部はスイッチ３１２に接続する。フレームメモリ３０１から読み出された処理対象マクロブロックの画素は、動きベクトル検出部３０８に入力される。
動きベクトル検出部３０８では、フレームメモリ３０７に蓄積された変換参照画像を参照ピクチャとして用い、マクロブロック内の各ブロックに対して、動きベクトルの検出を行う。動きベクトルの検出の際には、マクロブロックを様々な形状のブロックに分割することができる。図８Ａ〜図８Ｄはその例を示しており、図８Ａはマクロブロックを分割しない場合、図８Ｂはマクロブロックを水平８画素、垂直１６画素の２つのブロックに分割する場合、図８Ｃはマクロブロックを水平１６画素、垂直８画素の２つのブロックに分割する場合、図８Ｄはマクロブロックを水平８画素、垂直８画素の４つのブロックに分割する場合、を示している。マクロブロックを複数のブロックに分割する際には、ブロック毎に異なる動きベクトルを検出することができる。また、各ブロック（マクロブロック）の動きベクトルを検出する場合には、様々な方法で決定することができる。例えば、予め定めた評価基準により求めた評価値が、最大または最小となる動きベクトルを選択する方法がある。評価基準としては、例えば処理対象ブロックと参照ピクチャとの、対応する画素の画素値の差分値のブロック内での絶対値和または２乗値和を用いることができる。この場合、評価値が最小となる動きベクトルを選択する。動きベクトル検出部３０８は、マクロブロックの分割方法毎に、動きベクトルをモード選択部３０９に対して出力する。
モード選択部３０９では、画面内予測部３１１で得られた画面内予測方法や動きベクトル検出部３０８で検出した動きベクトルを用いて、マクロブロックの符号化モードを決定する。符号化モードの決定においては様々な方法を用いることができるが、一般的には、少ないビット量でより符号化誤差が小さくなる方法を選択する。符号化モードの決定のためにモード選択部３０９でイントラ符号化モード、インター符号化モードで仮符号化を行い、その際の符号量と入力画像と局所復号画像との誤差とを用いて符号化モードを決定しても良いし、入力画像と画面内予測画像や動き補償画像との誤差を用いて符号化モードを決定してもよい。またインター符号化モードの場合には、どのマクロブロック分割方法を用いた場合が最も符号化効率が良くなるかも推定し、マクロブロックの分割方法を決定する。
モード選択部３０９で決定された符号化モードおよび符号化モードに付随する情報（イントラ符号化モードの場合には画面内予測方法、インター予測モードの場合にはマクロブロックの分割方法と動きベクトル）は符号列生成部３０４に対して出力される。また、決定された符号化モードに応じた画像（イントラ符号化モードの場合には画面内予測画像、インター符号化モードの場合には変換参照画像から得られる動き補償画像）が差分演算部３０２と加算演算部３０６とに出力される。
差分演算部３０２では、処理対象マクロブロックの画像データとモード選択部３０９から出力された画像との差分を演算し、予測誤差画像を生成し出力する。
予測誤差画像は予測誤差符号化部３０３に入力される。予測誤差符号化部３０３では、予測誤差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平４×垂直４画素の単位で行うことができる。予測誤差符号化部３０３から出力された符号化データは、符号列生成部３０４と予測誤差復号部３０５に入力される。
符号列生成部３０４では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部３０９から入力された符号化モードの情報、画面内予測方法の情報、動きベクトルの情報、その他のヘッダ情報、等を付加することにより符号列を生成する。
予測誤差復号部３０５では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部３０６において、予測画像と加算されることにより局所復号画像となり、フレームメモリ３０７に蓄積される。この局所復号画像は、以降のマクロブロックを符号化する際の画面内予測のために用いられる。
同様の処理を継続することにより、入力画像の残りのすべてのマクロブロックに対して、符号化処理が行われる。符号化処理部２０２で生成された画像符号列は、参照画像情報処理部２０４に対して出力される。
参照画像情報処理部２０４には、類似画像検索部２０１から出力された参照画像の取得先に関する情報と、符号化処理部２０２から出力された画像符号列と、参照画像処理部２０３から出力された変換行列の情報とが入力される。参照画像情報処理部２０４では、参照画像の取得先に関する情報と変換行列の情報とを画像符号列の付加情報として処理する。参照画像の取得先に関する情報と変換行列の情報とを付加情報として処理する場合には、これらの情報を画像符号列中のヘッダ領域やユーザデータ領域に記述する方法（図９Ａ、図９Ｂ）や、画像符号列とは異なるデータとして蓄積、送受信する方法（図９Ｃ）がある。画像符号列とは異なるデータとして扱う場合には、例えば記録媒体に記録する場合、画像符号列をコンテンツ記録領域に記録し、付加情報をコンテンツの管理情報や属性情報の記録領域に記録することができる。また例えばネットワークを介して送受信を行う場合、画像符号列と付加情報とで異なるプロトコルやＩＤを用いて送受信することができる。
以上のように、本発明の画像符号化方法では、静止画像を符号化する際や、動画像中で従来方式では画面内符号化を用いて符号化されていた画像を符号化する際に、機器内部、データベース、インターネット上のサーバ等に蓄積された画像の中から、符号化対象画像に対する類似画像を検索し取得する。そして類似画像を参照画像として用いて画面間予測符号化を行い画像符号列を生成する。また、符号化に用いた類似画像の情報（ファイル名やＵＲＬ）を付加情報として画像符号列に付加する。
したがって本発明の画像符号化方法を用いることにより、静止画像を符号化する際や、動画像中で従来方式では画面内符号化を用いて符号化されていた画像を符号化する際に、従来方式と比較して飛躍的に符号化効率を向上（圧縮率を高く）することができる。
なお、本実施の形態においては、参照画像処理部２０３（ステップＳ１０３）において参照画像の変換行列を求める場合について説明したが、これは類似画像検索部２０１（ステップＳ１０２）において求めてもよい。この場合、類似画像検索部２０１（ステップＳ１０２）において蓄積画像の中から類似画像を選択する際に、入力画像と蓄積画像間との変換行列を求め、その変換行列を類似画像の選択の一基準とする。そして選択した類似画像に対応する変換行列を参照画像処理部２０３に対して出力する。この場合、参照画像処理部２０３（ステップＳ１０３）においては、変換行列を計算する手順は不要となる。また、類似画像検索部２０１（ステップＳ１０２）においてＨａｒｒｉｓオペレータやＳＩＦＴ法により特徴点を抽出し、その特徴点の対応関係を元に類似画像を取得し、参照画像処理部２０３（ステップＳ１０３）においては、類似画像検索部２０１（ステップＳ１０２）で求めた特徴点の対応関係から変換行列を求めてもよい。
また、本実施の形態においては、類似画像検索部２０１（ステップＳ１０２）において入力画像に対する類似画像を蓄積画像中から類似度やキーワード等を元に検索する場合について説明したが、これは蓄積画像中からユーザが明示的に類似画像を指定することにより選択してもよい。この場合、類似度やキーワード等による検索とユーザによる明示的な指定との両方を組み合わせることもできる。例えば、類似度やキーワード等による検索によって類似画像を複数に絞り込み、それを画面上（図２には図示せず）に表示し、ユーザが入力画像の符号化に使いたいと思う画像を指定する。このような方法により、ユーザの負担は若干向上するが、符号化効率がさらに向上する可能性が大きくなる。
また、本実施の形態においては、類似画像検索部２０１（ステップＳ１０２）において参照画像を１枚だけ選ぶ場合について説明したが、これは複数枚であってもよい。複数枚の参照画像を選択した場合には、符号化処理部２０２において複数の参照画像をフレームメモリ３０７に保持し、Ｈ．２６４で採用されているマルチピクチャ予測方法を用いて符号化を行えばよい。また、参照画像情報処理部２０４においては、参照画像として用いた複数の画像に対して、参照画像の取得先に関する情報と変換行列の情報とを付加情報として処理する。付加情報を画像符号列中のヘッダ情報として記述する際の例を図９Ｄに示す。また、参照画像としてフレームメモリ３０７に保持したとしても、符号化処理で一度も参照ピクチャとして用いられなかった参照画像がある場合には、その参照画像の取得先に関する情報と変換行列の情報は、付加情報として記録や伝送する必要はない。
また、本実施の形態においては、参照画像処理部２０３（ステップＳ１０３）において、参照画像を、変換行列を用いて変換参照画像に変換する場合について説明したが、この変換処理をなくしてもよい。これは例えば参照画像が入力画像に既に近い画像になっているような場合に適用することができる。これにより、参照画像情報処理部２０４（ステップＳ１０５）において、参照画像に対する変換行列に関する情報を生成することが不要となり、符号量を若干削減することができる。
また、本実施の形態においては、図１を用いて処理手順を説明したが、これは図１３Ａのフローチャートで示される処理手順を用いてもよい。図１３Ａは、図１の処理手順にステップＳ１２０１が追加されたものである。ステップＳ１２０１においては、ステップＳ１０２で入力画像に対する類似画像を検索して参照画像を取得した後、その参照画像が本発明の画像符号化方法等によって他の画像を参照して符号化されている画像であるか否かを判定する。参照画像が他の画像を参照して符号化されている画像である場合（ステップＳ１２０１でＹｅｓ）、ステップＳ１０２に戻り再度他の類似画像を検索する。参照画像が他の画像を参照していない場合（ステップＳ１２０１でＮｏ）、ステップＳ１０３以降の処理を実施して入力画像を符号化する。このような処理を行うことにより、画像が連鎖的に参照されることを防ぐことができる。また、参照画像が他の画像を参照して符号化されている場合、参照画像が参照している画像まで取得しないと符号化処理が実施できなくなり処理が複雑化するが、図１３Ａの処理手順を用いることによりそれを防ぐことができる。また、参照画像が他の画像を参照して符号化されている画像である場合（ステップＳ１２０１でＹｅｓ）であっても、ユーザがその参照画像を入力画像の符号化に使用することを同意した場合には、その参照画像を使用してもよい。その場合の処理手順を図１３Ｂに示す。図１３Ｂは、図１３Ａの処理手順にステップＳ１２０２（ユーザが参照画像を入力画像の符号化に使用することに同意するか否かを判定）が追加されたものである。
なお、符号化処理部２０２は、Ｈ．２６４やＭＰＥＧ−２などの動画像圧縮符号化方式を処理可能な構成として説明したが、類似画像を参照画像として入力画像に対する予測画像を生成し、類似画像と予測画像との差分を符号化できれば、どのような構成でもよい。
例えば、類似画像と入力画像との差分に対して、ＪＰＥＧや、ＪＰＥＧ２０００による圧縮を行う構成であってもよい。また、Ｈ．２６４やＭＰＥＧ−２などの動画像圧縮符号化方式における画面内予測符号化をする画面内予測部３１１を有しない構成であってもよい。また、直交変換および量子化を行う予測誤差符号化部３０３を有しない構成であってもよい。
また、本実施の形態における類似度は大まかな類似度でよい。本発明の画像符号化装置は類似度が小さくても、従来技術よりも高い圧縮率を得ることができるからである。例えば、入力画像が一人の人物のみ撮像されている場合に、類似画像は異なる人物の画像でもよいし、背景色のみが似通った画像でもよいし、画像全体の明るさ、色合い、色調が似ている画像でもよい。この意味で、図３中のステップＳ３０７、Ｓ３０９、Ｓ３１２の処理はなくてもよい、または、しきい値Ｔ１は小さい数およびしきい値Ｔ２は大きい値でもよい。
図３のＳ３０２〜Ｓ３１４を２実行するようにしてもよい。その場合、１回目のＳ３０２では蓄積媒体２０５のみを検索し、２回目のＳ３０２ではインターネットを検索するようにしてもよい。１回目と２回目とでしきい値Ｔ１、Ｔ２を変更してもよい。１回目の実行で類似度の高い候補が見つかった場合２回目を省略してもよい。
参照画像情報処理部２０４は、参照画像がインターネットで見つかった類似画像である場合に、当該参照画像ファイルを蓄積媒体２０５にコピーし、参照画像に関する情報をコピーしたファイル名としてもよい。
（実施の形態２）
図１０、図１１はそれぞれ、本発明の画像復号化方法の処理手順を示すフローチャートおよびブロック図である。図１１に示すように本発明の画像符号化方法は、参照画像取得部１００１、復号処理部１００２、参照画像処理部１００３、符号列処理部１００４から構成される。
入力となる符号列は本発明の画像符号化方法により生成された符号列であり、図９に示すような形態である。符号列は符号列処理部１００４に入力される（ステップＳ９０１）。符号列処理部１００４では、符号列から画像符号列と付加情報符号列とを分離する。画像符号列は復号処理部１００２に対して出力され、付加情報符号列中の参照画像の取得先に関する情報は参照画像取得部１００１に対して出力される。また、付加情報符号列中の変換行列の情報は参照画像処理部１００３に対して出力される。
参照画像取得部１００１においては、符号列処理部１００４から得られた参照画像の取得先に関する情報（ファイル名やＵＲＬ等）に基づいて参照画像（図５Ｂ）を取得する（ステップＳ９０２）。参照画像は、参照画像の取得先に関する情報に応じて、機器内部（カメラ、パーソナルコンピュータ、ビデオレコーダ等）の蓄積媒体２０５に記録された画像や、データベースや、インターネット上のサーバ２０６に蓄積された画像の中から取得する。取得した参照画像は参照画像処理部１００３に対して出力される。
参照画像処理部１００３では、符号列処理部１００４から得られた変換行列を用いて参照画像を変換参照画像（図５Ｃ）に変換し、復号処理部１００２に対して出力する。
復号処理部１００２には、画像符号列と変換参照画像とが入力される。復号処理部１００２の構成を図１２に示す。図１２に示すように、復号処理部１００２は、予測誤差復号部１１０５、加算演算部１１０６、フレームメモリ１１０７、動き補償部１１０８、復号制御部１１１０、画面内予測部１１１１、スイッチ１１１２、１１１３から構成される。復号処理部１００２は、ＭＰＥＧ−２方式やＨ．２６４方式等の従来の動画像復号方式における画面間予測復号処理と同等の機能を実施する機能を有している。ただし、入力画像が動画像に対する画像符号列ではないことが従来の動画像復号方式での処理とは異なる。
画像符号列は符号列解析部１１０４に入力される。符号列解析部１１０４では、画像符号列の中から予測誤差データを予測誤差復号部１１０５に対して、符号化モード情報を復号制御部１１１０に対して、画面内予測情報を画面内予測部１１１１に対して、動きベクトル情報を動き補償部１１０８に対してそれぞれ出力する。
変換参照画像はフレームメモリ３０７に保持される。
復号制御部１１１０は、復号対象マクロブロックの符号化モードがイントラ符号化モードである場合には、スイッチ１１１２をｄにスイッチ１１１３をａに接続する。画面内予測部１１１１では、符号列解析部１１０４から得られた画面内予測情報に基づいて、復号対象ブロックの周辺の画素値（既に復号済みでフレームメモリ１１０７に格納されている）をフレームメモリ１１０７から取得し、画面内予測画像を生成する。画面内予測画像はスイッチ１１１３を経由して、加算演算部１１０６に対して出力される。
復号制御部１１１０は、復号対象マクロブロックの符号化モードがインター符号化モードである場合には、スイッチ１１１２をｃにスイッチ１１１３をｂに接続する。動き補償部１１０８では、符号列解析部１１０４から得られた動きベクトル情報に基づいて、フレームメモリ１１０７に保持された変換参照画像の画素値を取得して、動き補償画像を生成する。動き補償画像はスイッチ１１１３を経由して、加算演算部１１０６に対して出力される。
予測誤差復号部１１０５では、入力された予測誤差データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部１１０６において、予測画像（画面内予測画像または動き補償画像）と加算されることにより復号画像となり、フレームメモリ１１０７に蓄積される。この復号画像は、以降のマクロブロックを符号化する際の画面内予測のために用いられる。
同様の処理を継続することにより、画像符号列の残りのすべてのマクロブロックに対して、復号処理が行われる。復号処理部１００２で生成された復号画像は、画像復号化方法１０００の復号画像として出力される。
以上のように、本発明の画像復号化方法では、静止画像を復号する際や、動画像中で従来方式では画面内符号化を用いて符号化されていた画像を復号する際に、機器内部、データベース、インターネット上のサーバ等に蓄積された画像の中から、復号対象画像に対する類似画像を取得する。そして類似画像を参照画像として用いて画面間予測復号を行い復号画像を生成する。
したがって本発明の画像復号化方法を用いることにより、本発明の画像符号化方法により高圧縮率で符号化された画像を正しく復号し復号画像を得ることができる。
なお、本実施の形態においては、参照画像処理部１００３（ステップＳ９０３）において、参照画像を、変換行列を用いて変換参照画像に変換する場合について説明したが、符号列中に変換行列に関する情報が含まれていない場合にはこの変換処理をなくしてもよい。
また、本実施の形態においては、図１０のフローチャートで示す処理手順の代わりに、図１４のフローチャートで示す処理手順を用いてもよい。図１０と図１４の処理手順で異なる点は、ステップＳ１３０１、ステップＳ１３０２が追加されている点である。すなわち図１４で示す処理手順においては、符号列中に記述されている参照画像が存在するか否かを判定し（ステップＳ１３０１）、参照画像が存在していれば（ステップＳ１３０１でＹｅｓ）、ステップＳ９０２、Ｓ９０３、Ｓ９０４の処理を実施する。また参照画像が存在していなければ（ステップＳ１３０１でＮｏ）、ユーザにその旨を通知し（ステップＳ１３０２）、復号処理を中止して終了する。このような処理を行うことにより、参照画像が存在しないために復号処理ができない場合に、その理由をユーザに通知することができる。
（実施の形態３）
図１５は本発明のデータ管理方法における処理手順を示すフローチャートである。本発
明のデータ管理方法は、本発明の画像符号化方法により生成された画像データ（ファイル）が蓄積された機器やコンピュータ（以下では単に機器と呼ぶ）上での画像データの扱いに関する方法である。
ユーザが画像データを保持している機器である画像データを削除する命令を入力した場合（ステップＳ１４０１）、機器は「削除対象の画像データを参照画像として符号化している他の画像データ」を検索対象として検索を実施する（ステップＳ１４０２）。ここで検索の方法としては、機器内の全画像データの符号化方法を一つずつ確認することにより検索する方法や、予め機器内の画像データの符号化方法を示すテーブルを作成しておきそのテーブルを用いて検索する方法等がある。検索対象が見つかった場合（ステップＳ１４０３でＹｅｓ）、機器はその旨をユーザに通知し、削除対象画像を削除するか否かを確認する（ステップＳ１４０４）。ユーザが削除に同意した場合（ステップＳ１４０５でＹｅｓ）、削除対象画像を削除する（ステップＳ１４０６）。また検索対象が見つからなかった場合（ステップＳ１４０３でＮｏ）、削除対象画像を削除する（ステップＳ１４０６）。またユーザが削除対象画像の削除に同意しなかった場合（ステップＳ１４０５でＮｏ）、削除対象画像を削除せずに終了する。
以上のように、本発明のデータ管理方法では、画像データを機器内から削除する際に、本発明の画像符号化方法を用いて削除対象画像データを参照することにより符号化されている画像の存在有無を検索して確認する。検索対象画像が存在する場合には、その旨をユーザに通知し、削除に同意するか否かを確認する。
したがって本発明のデータ管理方法を用いることにより、本発明の画像符号化方法により符号化された画像が参照している画像をユーザが削除しようとした場合、事前にそれを通知することができ、本発明の画像符号化方法により符号化された画像が復号できなくなることがないようにすることができる。
（実施の形態４）
図１６、図１７はそれぞれ、本発明の画像処理方法の処理手順を示すフローチャートおよびブロック図である。図１７に示すように本発明の画像処理方法は、削除領域指定部１２０１、類似画像検索部１２０２、画像補完部１２０３、参照画像処理部１２０４から構成される。また図１８Ａ〜図１８Ｆは、本発明の画像処理方法における画像処理の過程を説明するために用いる模式図である。
入力画像（図１８Ａ）は削除領域指定部１２０１に入力される。これはカメラ内部で、ＣＣＤ素子やＣＭＯＳ素子で構成されたイメージセンサから読み出された後にＡ／Ｄ変換や画像処理（デモザイキング処理やホワイトバランス処理等）等を施された画像であってもよいし、デジタルカメラ等で撮影した画像やスキャナ等で画像であって、ハードディスク、光ディスク、半導体メモリ等の記録媒体に記録されたものを記録媒体から読み出した画像であっても良い（ステップＳ１１０１）。削除領域指定部１２０１においては、ユーザからの指定や画像認識結果等に基づいて、入力画像中の削除部分を指定する（ステップＳ１１０２）。画像認識技術を用いる場合には、例えば特定の物体が写っている場合には削除する、特定の人物以外の人物が写っている場合には削除する、などの指定をすることができる。ここでは削除領域指定部１２０１において、図１８Ｂの削除指定領域３１の内部が削除箇所として指定されたとする。
続いて入力画像は類似画像検索部１２０２に入力される。類似画像検索部１２０２は、図３と同様に入力画像と類似する類似画像を検索する。類似画像検索部１２０２においては、機器内部（カメラ、パーソナルコンピュータ、ビデオレコーダ等）の蓄積媒体２０５に記録された画像や、データベースや、インターネット上のサーバ２０６に蓄積された画像の中から、入力画像に対する類似画像を検索し取得する（ステップＳ１１０３）。機器内部に記録された画像のみを用いる場合には、検索は速いが最終的に得られる補完画像の主観的画質が若干低くなる場合があり、データベースやインターネット上の画像を用いる場合には、補完画像の主観画質は良くなるが検索に時間がかかる場合がある。類似画像の検索方法としては従来提案されている様々な方法を用いることができる。類似画像の検索においては、一般的には画像から特徴量を抽出する。また、その特徴量を元にした距離尺度を定義する。そして、記録媒体やサーバ等に記録されている画像の中から入力画像との距離尺度が近くなる画像を類似画像として選択する。ここで、画像にメタ情報としてキーワード、ＧＰＳ等を用いて取得した撮影位置情報、撮影日時情報、等が付与されているような場合には、キーワード、撮影位置情報、撮影日時情報、等を元にして検索を行い、その後に画像特徴量を用いて絞り込みを行うといった方法も用いることができる。例えば、入力画像が観光地で撮影した画像である場合には、キーワードとしてその観光地の地名等を用いたり、撮影位置情報としてその観光地の位置を用いたり、撮影日時情報として入力画像を撮影した季節や時間帯を用いたりすることで、入力画像により類似した画像を抽出することができる。ここで、類似画像検索部１２０２において取得する類似画像は１枚であるとは限らないが、以下では説明の簡単化のために１枚の類似画像（図１８Ｃ）を取得するとして説明する。また以下では、類似画像検索部１２０２で取得した類似画像を参照画像と呼ぶ。また類似画像を選択する際には、削除指定領域３１を考慮して選択してもよい。例えば、特徴量を抽出する際に、削除指定領域３１を除外する、削除指定領域３１の周辺に大きな重みを付けて特徴量を抽出する、などの方法がある。
類似画像検索部１２０２で取得された参照画像は、参照画像処理部１２０４に入力される。参照画像が入力画像と同じ場所で撮影された画像であったとしても、同じ角度で撮影されていることや、同じ大きさで撮影されていることは数少ない。そこで、参照画像処理部１２０４においては、参照画像を入力画像と同じ角度、同じ大きさで撮影された画像となるように変換処理を施す（ステップＳ１１０４）。ここでは、カメラから撮影対象までの距離が撮影対象自身の奥行きよりも非常に大きい（例えば１０倍以上）と仮定し、射影変換（やアフィン変換）等により参照画像を変形する場合について説明する。この場合には、入力画像と参照画像との間の射影変換行列を求める必要がある。この際には、まず入力画像と参照画像との間の対応関係を求め、その対応関係から射影変換行列を求める。入力画像と参照画像との間の対応関係を求める際には、例えば、両画像に対してＨａｒｒｉｓオペレータやＳＩＦＴ法により特徴点を抽出し、その特徴点の対応関係を求める方法を用いることができる。また対応関係から射影変換行列を求める際には、対応関係から孤立点（Ｏｕｔｌｉｅｒ）を検出して除去し、通常点（Ｉｎｌｉｅｒ）のみの対応関係を用いて最小二乗法等を用いて射影変換行列を求めればよい。孤立点を検出する方法としては、ＲＡＮＳＡＣ等の方法を用いればよい。
また、参照画像が入力画像と同じ場所で撮影された画像であったとしても、撮影に用いたカメラや、撮影時の天候や時間帯によって、画像全体の明るさが一般的には異なっている。そこで、参照画像処理部１２０４においては、参照画像を入力画像と同じような明るさになるように変換する。このためには例えば従来から用いられているヒストグラムマッチング等の方法を用いることができる。
参照画像処理部２０３では、求めた（射影）変換行列を用いて参照画像を変換したり、ヒストグラムマッチング等の方法で参照画像の明るさを変換したりすることにより、変換参照画像（図１８Ｄ）に変換し、画像補完部１２０３に対して出力する。
画像補完部１２０３には、入力画像と、削除領域指定部１２０１で得られた削除領域情報と、参照画像処理部１２０４で得られた変換参照画像とが入力される。画像補完部１２０３では、入力画像から削除領域の画素を削除し、さらに削除領域と同一位置の変換参照画像の画素を抽出し（図１８Ｅ）、入力画像の削除領域に補填することにより、補完画像（図１８Ｆ）を生成する（ステップＳ１１０５）。
変換参照画像の画素を補填する際には、削除部にそのまま補填するのではなく、入力画像と変換参照画像とで重複部分を持たせて、重複部分内で適切な境界を見つけ、その境界に沿って変換参照画像から画素を取得し入力画像に補填してもよい。例えば、図１９Ａは入力画像の選択領域を示し、削除指定領域３１よりも内側の境界４１の外部部分を入力画像から残す領域とする。図１９Ｂは参照画像の選択領域を示し、削除指定領域３１よりも外側の境界４２の内部部分を参照画像から残す領域とする。図１９Ｃは入力画像と参照画像とで残した領域の重複領域を示す。図１９Ｄは重複部分内で適切な境界４３を見つけた結果を示す。この場合、境界４３の内部を参照画像から取得し、それを入力画像に補填することのより補完画像（出力画像）を得る。
以上のように、本発明の画像処理方法では、デジタルカメラ等で撮影した画像の一部を削除・補填する際に、機器内部やデータベースやインターネット上のサーバに蓄積された画像の中から、入力画像に対する類似画像を検索し参照画像として取得する。そして入力画像と参照画像との対応関係を用いて、参照画像を入力画像とほぼ同じ大きさ、撮影角度の画像となるように変換して変換参照画像を生成する。最後に、入力画像の削除部を変換参照画像の画素を用いて補填し、補完画像を得る。
したがって本発明の画像処理方法を用いることにより、デジタルカメラ等で撮影した画像の一部を削除・補填する際に、削除部が複雑な形状の画像で補完されるべき場合や、非削除部に存在しない画像で補完されるべき場合であっても、自然な補完画像を生成することができる。
なお、本実施の形態においては、参照画像処理部１２０４（ステップＳ１１０４）において参照画像の変換行列を求める場合について説明したが、これは類似画像検索部１２０２（ステップＳ１１０３）において求めてもよい。この場合、類似画像検索部１２０２（ステップＳ１１０４）において蓄積画像の中から類似画像を選択する際に、入力画像と蓄積画像間との変換行列を求め、その変換行列を類似画像の選択の一基準とする。そして選択した類似画像に対応する変換行列を参照画像処理部１２０４に対して出力する。この場合、参照画像処理部１２０４（ステップＳ１１０４）においては、変換行列を計算する手順は不要となる。また、類似画像検索部１２０２（ステップＳ１１０３）においてＨａｒｒｉｓオペレータやＳＩＦＴ法により特徴点を抽出し、その特徴点の対応関係を元に類似画像を取得し、参照画像処理部１２０４（ステップＳ１１０４）においては、類似画像検索部１２０２（ステップＳ１１０３）で求めた特徴点の対応関係から変換行列を求めてもよい。
また、本実施の形態においては、類似画像検索部１２０２において入力画像に対する類似画像を蓄積画像中から類似度やキーワード等を元に検索する場合について説明したが、これは蓄積画像中からユーザが明示的に類似画像を指定することにより選択してもよい。この場合、類似度やキーワード等による検索とユーザによる明示的な指定との両方を組み合わせることもできる。例えば、類似度やキーワード等による検索によって類似画像を複数に絞り込み、それを画面上（図１７には図示せず）に表示し、ユーザが入力画像の補完に使いたいと思う画像を指定する。このような方法により、ユーザの負担は若干向上するが、補完画像の主観的な画質がさらに向上する可能性が大きくなる。
また、本実施の形態においては、参照画像処理部１２０４（ステップＳ１１０４）において、参照画像を、変換行列を用いて変換参照画像に変換する場合について説明したが、この変換処理をなくしてもよい。これは例えば参照画像が入力画像に既に近い画像になっているような場合に適用することができる。これにより、参照画像の変換に対する処理量を削減することができると同時に、参照画像を変換する際に若干生じる画像のボケをなくすことができる。
また、本実施の形態においては、画像補完部１２０３（ステップＳ１１０５）において、入力画像から削除領域の画素を削除し、さらに削除領域と同一位置の変換参照画像の画素を抽出し、入力画像の削除領域に補填することにより、補完画像を生成する場合について説明したが、これは変換参照画像の画素をそのまま入力画像の削除領域に補填する方法でなくてもよい。例えば、入力画像の削除領域において、参照画像の画素値以外の特徴量（例えば、画素値の一次微分や二次微分等）と一致するように入力画像の削除領域に補填してもよい。このような処理により、処理量は若干増加するがさらに高画質な補完画像を生成することができる。
なお、本実施の形態において補完された画像に対して、実施の形態１の画像符号化装置により圧縮するようにしてもよい。この場合の画像処理装置は、図１７のブロック図に、図１の符号化処理部２０２および参照画像情報処理部２０４を追加した構成とすればよい。符号化処理部２０２は、参照画像処理部１２０４から与えられる参照画像を用いて、画像補完部１２０３から出力される補完された静止画像の圧縮符号化を行なうことになる。
（実施の形態５）
図２０Ａ、図２１はそれぞれ、本発明の画像処理方法の処理手順を示すフローチャートおよびブロック図である。図２１に示すように本発明の画像処理方法は、超解像処理部３２０１、類似画像検索部３２０２から構成される。また図２２Ａ〜図２２Ｄは、本発明の画像処理方法における画像処理の過程を説明するために用いる模式図である。
入力画像である低解像度画像（図２２Ａ）は類似画像検索部３２０２に入力される（ステップＳ３１０１）。類似画像検索部３２０２は、図３と同様に入力画像と類似する類似画像を検索する。類似画像検索部３２０２においては、機器内部（カメラ、パーソナルコンピュータ、ビデオレコーダ等）の蓄積媒体２０５に記録された画像や、データベースや、インターネット上のサーバ２０６に蓄積された画像の中から、入力画像に対する類似画像を検索し取得する（ステップＳ３１０２）。機器内部に記録された画像のみを用いる場合には、検索は速いが最終的に得られる高解像度画像の主観的画質が若干低くなる場合があり、データベースやインターネット上の画像を用いる場合には、高解像度画像の主観画質は良くなるが検索に時間がかかる場合がある。類似画像の検索方法としては従来提案されている様々な方法を用いることができる。
類似画像の検索においては、一般的には画像から特徴量を抽出する。また、その特徴量を元にした距離尺度を定義する。そして、記録媒体やサーバ等に記録されている画像の中から入力画像との距離尺度が近くなる画像を類似画像として選択する。
また、類似画像の選択においては、低解像度画像よりも解像度の高い画像を選択する。解像度の高い画像を選択するには、低解像度画像と類似画像との特徴点の対応関係を用いればよい。入力画像と参照画像との間の対応関係を求める際には、例えば、両画像に対してＨａｒｒｉｓオペレータやＳＩＦＴ法により特徴点を抽出し、その特徴点の対応関係を求める方法を用いることができる。図２２Ａは低解像度画像、図２２Ｂは類似画像であるとする。図２２Ｃは図２２Ａと図２２Ｂとを左右に並べて示したものであり、さらに図中に特徴点の一部を黒丸で示している。これらの特徴点のうち、３０１ａと３０１ｂ、３０２ａと３０２ｂ、３０３ａと３０３ｂ、が特徴点の対応関係である。この場合、低解像度画像中の対応点間距離（例えば３０１ａと３０２ａとの距離）よりも、類似画像中の対応点間距離（例えば３０１ｂと３０２ｂとの距離）の方が長ければ、類似画像の方が高解像度画像であると言える。ここでの距離は、画素数で表すものとする。また、カメラから撮影対象までの距離が撮影対象自身の奥行きよりも非常に大きい（例えば１０倍以上）と仮定し、低解像度画像と参照画像との間の射影変換（やアフィン変換）パラメータを求め、変換パラメータから得られる変形度合いが小さい画像を選択してもよい。この場合には、まず入力低解像度画像と参照画像との間の対応関係を求め、その対応関係から射影変換行列を求める。入力画像と参照画像との間の対応関係を求める際には、例えば、両画像に対してＨａｒｒｉｓオペレータやＳＩＦＴ法により特徴点を抽出し、その特徴点の対応関係を求める方法を用いることができる。また対応関係から射影変換行列を求める際には、対応関係から孤立点（Ｏｕｔｌｉｅｒ）を検出して除去し、通常点（Ｉｎｌｉｅｒ）のみの対応関係を用いて最小二乗法等を用いて射影変換行列を求めればよい。孤立点を検出する方法としては、ＲＡＮＳＡＣ等の方法を用いればよい。
ここで、画像にメタ情報としてキーワード、ＧＰＳ等を用いて取得した撮影位置情報、撮影日時情報、等が付与されているような場合には、キーワード、撮影位置情報、撮影日時情報、等を元にして検索を行い、その後に画像特徴量を用いて絞り込みを行うといった方法も用いることができる。例えば、入力画像が観光地で撮影した画像である場合には、キーワードとしてその観光地の地名等を用いたり、撮影位置情報としてその観光地の位置を用いたり、撮影日時情報として入力画像を撮影した季節や時間帯を用いたりすることで、入力画像により類似した画像を抽出することができる。ここで、類似画像検索部３２０２において取得する類似画像は１枚であるとは限らないが、以下では説明の簡単化のために１枚の類似画像（図２２Ｂ）を取得するとして説明する。また以下では、類似画像検索部３２０２で取得した類似画像を参照画像と呼ぶ。
類似画像検索部３２０２で取得された参照画像は、超解像処理部３２０１に入力される。また、超解像処理部３２０１には低解像度画像も入力される。超解像処理部３２０１では、参照画像を手本画像として低解像度画像の高解像度化を行い、高解像度画像を生成する（ステップＳ３１０３、図２２Ｄ）。この際には、非特許文献３や非特許文献４の方法を用いることができる。生成された高解像度画像が超解像処理部３２０１から出力される。
以上のように、本発明の画像処理方法では、低解像度画像を高解像度化する際に、機器内部やデータベースやインターネット上のサーバに蓄積された画像の中から、入力低解像度画像に対する類似画像を検索し参照画像として取得する。そして参照画像を手本画像とし、低解像度画像に対して超解像画像処理を行い、高解像度画像を生成する。
したがって本発明の画像処理方法を用いることにより、手本とすべき高解像度画像が予め得られていない場合であっても、低解像度画像の高解像度化を実現することができる。
（実施の形態５の変形例）
実施の形態５は以下のような変形が可能である。
図２０Ｂ、図２３はそれぞれ、変形例の画像処理方法の処理手順を示すフローチャートおよびブロック図である。図２３に示すように変形例の画像処理方法は、超解像処理部３４０１、類似画像検索部３２０２、変換テーブル生成部３４０２から構成される。
入力画像である低解像度画像（図２２Ａ）は類似画像検索部３２０２に入力される（ステップＳ３１０１）。類似画像検索部３２０２の処理（ステップＳ３１０２）は実施の形態５と同様であるので説明は割愛する。類似画像検索部３２０２で取得された参照画像（図２２Ｂ）は、変換テーブル生成部３４０２に入力される。
変換テーブル生成部３４０２では、入力された参照画像を用いて変換テーブルを生成する（ステップＳ３１１０）。変換テーブルは、参考画像の低解像度成分と高解像度成分の関係を示すテーブルであり、例えば非特許文献５の方法を用いることができる。それ以外にも、ウェーブレット変換、フーリエ変換等を用いて、参照画像の低周波数成分と高周波数成分との関係を示すテーブルとして生成しても良いし、ガウス関数やラプラシアン関数を適用することにより、参照画像の低解像度成分と高解像度成分との関係を示すテーブルとして生成してもよい。生成された変換テーブルは超解像処理部３４０１に対して出力される。
超解像処理部３４０１には、低解像度画像と変換テーブルとが入力される。超解像処理部３４０１では、変換テーブルを用いて低解像度画像の高解像度化を行い、高解像度画像を生成する（ステップＳ３１１１、図２２Ｄ）。この際には、変換テーブル生成部３４０２で生成した変換テーブルに適した方法で高解像度化することができる。例えば、非特許文献５の方法を用いて変換テーブルを生成した場合には、非特許文献５の方法で高解像度化することができる。
以上のように、本変形例では、低解像度画像を高解像度化する際に、機器内部やデータベースやインターネット上のサーバに蓄積された画像の中から、入力低解像度画像に対する類似画像を検索し参照画像として取得する。そして参照画像を用いて、低解像度画像から高解像度画像を生成するための変換テーブルを生成し、低解像度画像に対してその変換テーブルを用いて超解像画像処理を行い、高解像度画像を生成する。
したがって本発明の画像処理方法を用いることにより、手本とすべき高解像度画像が予め得られていない場合や入力低解像度画像に適した変換テーブルがない場合であっても、低解像度画像の高解像度化を実現することができる。
なお、本実施の形態においては、類似画像検索部３２０２において入力画像に対する類似画像を蓄積画像中から類似度やキーワード等を元に検索する場合について説明したが、これは蓄積画像中からユーザが明示的に類似画像を指定することにより選択してもよい。この場合、類似度やキーワード等による検索とユーザによる明示的な指定との両方を組み合わせることもできる。例えば、類似度やキーワード等による検索によって類似画像を複数に絞り込み、それを画面上（図２１、図２３には図示せず）に表示し、ユーザが入力画像の補完に使いたいと思う画像を指定する。このような方法により、ユーザの負担は若干向上するが、高解像度画像の主観的な画質がさらに向上する可能性が大きくなる。
また、本実施の形態においては、１枚の類似画像を取得して参照画像として用いる場合について説明したが、これは類似画像検索部３２０２において複数枚の類似画像を取得して超解像処理部３２０１や変換テーブル生成部３４０２で参照画像として用いてもよい。
なお、本実施の形態において高解像度化された画像に対して、実施の形態１の画像符号化装置により圧縮するようにしてもよい。この場合の画像処理装置は、図２１のブロック図に、図１の符号化処理部２０２および参照画像情報処理部２０４を追加した構成とすればよい。符号化処理部２０２は、類似画像検索部３２０２から与えられる参照画像を用いて、超解像処理部３２０１から出力される高解像度化された静止画像の圧縮符号化を行なうことになる。
さらに、この場合の画像処理装置に、図２の参照画像処理部２０３を追加してもよい。この参照画像処理部２０３は、類似画像検索部２０１から出力される類似画像に所定の変換処理を施し、変換処理後の類似画像を参照画像として符号化処理部２０２に与える。ここで、所定の変換処理とは、既に説明した、類似画像に含まれる被写体画像の大きさおよび撮影角度の少なくとも一方を、入力画像に含まれる被写体画像に合わせるように、類似画像を変換する処理でよい。
これにより、低解像度の静止画像を高解像度化し、さらに、高い圧縮率で符号化することができる。例えば、元の第１静止画像を高解像度化しているのに、符号化後のファイルサイズを小さくすることができる。
（実施の形態６）
さらに、上記各実施の形態で示した画像符号化方法、画像復号化方法およびデータ管理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図２４Ａ〜図２４Ｃは、上記各実施の形態の画像符号化方法、画像復号化方法およびデータ管理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図２４Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２４Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
また、図２４Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法、画像復号化方法およびデータ管理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムを、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法、画像復号化方法およびデータ管理方法を実現する上記画像符号化方法、画像復号化方法およびデータ管理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態７）
さらにここで、上記実施の形態で示した画像符号化方法、画像復号化方法およびデータ管理方法の応用例とそれを用いたシステムを説明する。
図２５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図２５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図２６は、上記実施の形態で説明した画像符号化方法、画像復号化方法およびデータ管理方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ｅｘ１１５について図２７を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでもよい。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションｅｘ４１３の構成は例えば図２７に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した画像符号化方法、画像復号化方法およびデータ管理方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、図２、図１１、図１２、図１７、図２１に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩ等の半導体装置として実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されてもよい（例えばメモリ以外の機能ブロックが１チップ化されていてもよい。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、図２、図１１、図１２、図１７、図２１に示したブロック図の各機能ブロックおよび図１、図３、図１０、図１３Ａ、図１３Ｂ、図１６、図２０Ａ、図２０Ｂに示したフローチャートは、その中心的部分をプロセッサおよびプログラムによって実現される。
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明にかかる画像符号化方法、画像復号化方法およびデータ管理方法は、静止画像を符号化する際や、動画像中で従来方式では画面内符号化を用いて符号化されていた画像を符号化する際に、従来方式と比較して飛躍的に符号化効率を向上（圧縮率を高く）することができるという効果を有し、蓄積、伝送、通信等における画像符号化方法、画像復号化方法およびデータ管理方法として有用である。
実施の形態１における画像符号化方法を説明するためのフローチャート図である。 実施の形態１における画像符号化装置の構成を示すブロック図である。 類似画像検索部の処理を示すフローチャート図である。 画像符号化方法を説明するためのブロック図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法を説明するための模式図である。 画像符号化方法で生成される符号列を説明するための模式図である。 画像符号化方法で生成される符号列を説明するための模式図である。 画像符号化方法で生成される符号列を説明するための模式図である。 画像符号化方法で生成される符号列を説明するための模式図である。 実施の形態２における画像復号化方法を説明するためのフローチャート図である。 画像復号化方法を説明するためのブロック図である。 画像復号化方法を説明するためのブロック図である。 画像符号化方法を説明するためのフローチャート図である。 画像符号化方法を説明するためのフローチャート図である。 画像復号化方法を説明するためのフローチャート図である。 実施の形態３におけるデータ管理方法を説明するためのフローチャート図である。 実施の形態４における画像処理方法の処理手順を示すフローチャート図である。 画像処理方法の処理内容を示すブロック図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 実施の形態５における画像処理方法の処理手順を示すフローチャート図である。 画像処理方法の処理手順を示すフローチャート図である。 画像処理装置の構成を示すブロック図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するための模式図である。 画像処理方法を説明するためのブロック図である。 上記各実施の形態の画像符号化方法、画像復号化方法およびデータ管理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 上記各実施の形態の画像符号化方法、画像復号化方法およびデータ管理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 上記各実施の形態の画像符号化方法、画像復号方法およびデータ管理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 コンテンツ供給システムの全体構成を示すブロック図である。 画像符号化方法、画像復号化方法およびデータ管理方法を用いた携帯電話の例を示す図である。 携帯電話のブロック図である。 ディジタル放送用システムの例を示す図である。
符号の説明
２００ 画像符号化装置
２０１ 類似画像検索部
２０２ 符号化処理部
２０３ 参照画像処理部
２０４ 参照画像情報処理部
２０５ 蓄積媒体
２０６ サーバ
３０１ フレームメモリ
３０２ 差分演算部
３０３ 予測誤差符号化部
３０４ 符号列生成部
３０５ 予測誤差復号部
３０６ 加算演算部
３０７ フレームメモリ
３０８ 動きベクトル検出部
３０９ モード選択部
３１０ 符号化制御部
３１１ 画面内予測部
３１２ スイッチ
５０３ マクロブロック
６０１ 処理対象ブロック
１０００ 画像復号化方法
１００１ 参照画像取得部
１００２ 復号処理部
１００３ 参照画像処理部
１００４ 符号列処理部
１１０４ 符号列解析部
１１０５ 予測誤差復号部
１１０６ 加算演算部
１１０７ フレームメモリ
１１０８ 動き補償部
１１１０ 復号制御部
１１１１ 画面内予測部
１１１２ スイッチ
１１１３ スイッチ
１２０１ 削除領域指定部
１２０２ 類似画像検索部
１２０３ 画像補完部
１２０４ 参照画像処理部
３２０１ 超解像処理部
３２０２ 類似画像検索部
３４０１ 超解像処理部
３４０２ 変換テーブル生成部

Claims (23)

  1. 第１静止画像に類似する少なくとも１つの第２静止画像を画像集合から検索する検索手段と、
    前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像に対する予測画像を生成し、前記第１静止画像と予測画像との差分を符号化することにより符号列を生成する符号化手段と、
    前記少なくとも１つの第２静止画像の所在を示す情報を前記符号列に付加する付加手段と
    を備えることを特徴とする画像符号化装置。
  2. 前記各第２静止画像は、前記第１静止画像中の被写体画像に対応する被写体を示す部分画像を含む
    ことを特徴とする請求項１記載の画像符号化装置。
  3. 前記画像符号化装置は、さらに、前記第２静止画像に所定の変換処理を施す変換手段を備え、
    前記所定の変換処理は、前記部分画像の大きさおよび撮影角度の少なくとも一方を前記被写体画像に合わせるように、第２静止画像を変換する処理であり、
    前記符号化手段は、変換後の第２静止画像類似画像を参照画像として前記静止画像を予測符号化することにより符号列を生成し、
    前記付加手段は、さらに、前記第２静止画像に適用した変換処理を示す変換情報を前記符号列に付加する
    ことを特徴とする請求項１記載の画像符号化装置。
  4. 前記画像符号化装置は、さらに、複数の静止画像を記憶する記憶手段を備え、
    前記検索手段は、前記記憶手段に記憶された前記複数の静止画像を前記画像集合として前記第２静止画像を検索する
    ことを特徴とする請求項１記載の画像符号化装置。
  5. 前記検索手段は、前記第２静止画像をインターネット上の静止画像を前記画像集合として検索する
    ことを特徴とする請求項１記載の画像符号化装置。
  6. 前記検索手段は、
    前記画像集合に含まれる各候補画像と前記第１静止画像との類似度を算出する類似度算出手段と、
    類似度の最も高い候補画像から順に少なくとも１つの前記第２静止画像を決定する決定手段と
    を備えることを特徴とする請求項１記載の画像符号化装置。
  7. 前記類似度算出手段は、
    前記第１静止画像の特徴を表す複数の第１特徴点を抽出し、
    前記候補画像の特徴を表す複数の第２特徴点を抽出し、
    対応する第１特徴点と第２特徴点のペアを判別し、
    前記ペアの数が多いほど高くなるように前記類似度を算出する
    ことを特徴とする請求項６記載の画像符号化装置。
  8. 前記類似度算出手段は、
    前記第１静止画像の特徴を表す複数の第１特徴点を抽出し、
    前記候補画像の特徴を表す複数の第２特徴点を抽出し、
    対応する第１特徴点と第２特徴点のペアを判別し、
    複数の前記ペアに基づいて、前記候補画像の大きさおよび撮影角度の少なくとも一方が前記第１静止画像と同じになるように、各候補画像を変換する変換行列を求め、
    前記変換における変形の度合いが小さいほど高くなるように前記類似度を算出する
    ことを特徴とする請求項６記載の画像符号化装置。
  9. 前記類似度算出手段は、
    前記第１静止画像の特徴を表す複数の第１特徴点を抽出し、
    前記候補画像の特徴を表す複数の第２特徴点を抽出し、
    対応する第１特徴点と第２特徴点のペアを判別し、
    複数の前記ペアに基づいて、前記候補画像の大きさおよび撮影角度の少なくとも一方が前記第１静止画像と同じになるように、各候補画像を変換する変換行列を求め、
    前記ペアの数が多いほど高くなり、かつ変形の度合いが小さいほど高くなるように前記類似度を算出する
    ことを特徴とする請求項６記載の画像符号化装置。
  10. 前記検索手段は、前記画像集合に含まれる各候補画像にメタデータに基づいて検索し、
    前記メタデータは、キーワード、撮影位置情報、撮影日時情報の少なくとも１つを含む
    ことを特徴とする請求項１記載の画像符号化装置。
  11. 前記検索手段は、他の静止画像を参照画像として符号化されている静止画像を前記少なくとも１つの第２静止画像から除外する
    ことを特徴とする請求項１記載の画像符号化装置。
  12. 前記符号化手段は、第１静止画像をブロック毎に符号化し、
    少なくとも１つのブロックは、１つの第２静止画像を参照画像として、動画像圧縮符号化方式におけるＰピクチャの符号化が適用される
    ことを特徴とする請求項１記載の画像符号化装置。
  13. 前記符号化手段は、
    少なくとも１つ前記第２静止画像を格納する参照メモリと、
    参照メモリ中の前記第２静止画像を参照画像として、前記少なくとも１つのブロックの動きベクトルを検出する動きベクトル検出部と、
    前記少なくとも１つのブロックと、動きベクトルに従って参照画像から得られる予測画像との差分を予測残差として算出する減算部と、
    前記予測残差と動きベクトルとを可変長符号化する可変長符号化部と
    を備えることを特徴とする請求項１２記載の画像符号化装置。
  14. 前記符号化手段は、第１静止画像をブロック毎に符号化し、
    少なくとも１つのブロックは、２つの第２静止画像を参照画像として、動画像圧縮符号化方式におけるＢピクチャの符号化が適用される
    ことを特徴とする請求項１記載の画像符号化装置。
  15. 前記画像符号化装置は、さらに、
    前記記憶手段に記憶された静止画像の削除指示を受け付ける受付手段と、
    削除命令の対象である静止画像を参照画像として符号化されている他の静止画像が存在するか否かを判定する判定手段と、
    前記他の静止画像が存在すると判定されたとき、その旨を通知する通知手段と
    を備えることを特徴とする請求項４記載の画像符号化装置。
  16. 前記画像符号化装置は、さらに、
    前記受付手段により前記通知に対して再度削除指示が受け付けられたとき、当該静止画像を削除する削除手段を備えることを特徴とする請求項１５記載の画像符号化装置。
  17. 前記画像符号化装置は、さらに、
    前記第１静止画像内の第１の領域を指定する指定手段と、
    前記第２の静止画像において、前記第１の領域に対応する第２の領域を特定する特定手段と、
    前記第１領域の画素を削除し、削除された前記第１の領域に対して前記第２の領域の画素を補完する補完手段と
    を備え、
    前記符号化手段は、補完手段による補完後の第１静止画像を符号化する
    ことを特徴とする請求項１記載の画像符号化装置。
  18. 前記画像符号化装置は、さらに、
    前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像を高解像度化する超解像手段を備え、
    前記符号化手段は、高解像度化された第１静止画像を符号化する
    ことを特徴とする請求項１記載の画像符号化装置。
  19. 入力符号列から、第１静止画像を示す符号列と付加情報とを取得する取得手段と、
    前記付加情報に示される第２静止画像を取得する画像取得手段と、
    前記第２の画像を参照画像として第１静止画像に対する予測画像を生成し、前記画像を示す符号列から得られる予測残差と前記予測画像とを加算することにより前記第１の静止画像を出力する復号化手段と
    を備えることを特徴とする画像復号化装置。
  20. 第１静止画像に類似する少なくとも１つの第２静止画像を画像集合から検索する検索ステップと、
    前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像に対する予測画像を生成する生成ステップと、
    前記第１静止画像と予測画像との差分を符号化することにより符号列を生成する符号化ステップと、
    前記少なくとも１つの第２静止画像の所在を示す情報を前記符号列に付加する付加ステップと
    を有することを特徴とする画像符号化方法。
  21. 入力符号列から、第１静止画像を示す符号列と付加情報とを取得する取得ステップと、
    前記付加情報に示される第２静止画像を取得する取得ステップと、
    前記第２の静止画像を参照画像として第１静止画像に対する予測画像を生成する生成ステップと、
    前記静止画像を示す符号列から得られる予測残差と前記予測画像とを加算することにより前記第１の静止画像を出力する加算ステップと
    を備えることを特徴とする画像復号化方法。
  22. 第１静止画像に類似する少なくとも１つの第２静止画像を画像集合から検索する検索手段と、
    前記少なくとも１つの第２静止画像を参照画像として前記第１静止画像に対する予測画像を生成し、前記第１静止画像と予測画像との差分を符号化することにより符号列を生成する符号化手段と、
    前記少なくとも１つの第２静止画像の所在を示す情報を前記符号列に付加する付加手段と
    を備えることを特徴とする半導体装置。
  23. 入力符号列から、第１静止画像を示す符号列と付加情報とを取得する取得手段と、
    前記付加情報に示される第２静止画像を取得する画像取得手段と、
    前記第２の画像を参照画像として第１静止画像に対する予測画像を生成し、前記画像を示す符号列から得られる予測残差と前記予測画像とを加算することにより前記第１の静止画像を出力する復号化手段と
    を備えることを特徴とする半導体装置。
JP2008001713A 2007-01-18 2008-01-08 画像符号化装置、画像復号化装置および方法 Pending JP2008199587A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008001713A JP2008199587A (ja) 2007-01-18 2008-01-08 画像符号化装置、画像復号化装置および方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007008834 2007-01-18
JP2007008833 2007-01-18
JP2007008835 2007-01-18
JP2008001713A JP2008199587A (ja) 2007-01-18 2008-01-08 画像符号化装置、画像復号化装置および方法

Publications (1)

Publication Number Publication Date
JP2008199587A true JP2008199587A (ja) 2008-08-28

Family

ID=39641278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008001713A Pending JP2008199587A (ja) 2007-01-18 2008-01-08 画像符号化装置、画像復号化装置および方法

Country Status (2)

Country Link
US (1) US8019169B2 (ja)
JP (1) JP2008199587A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214158A (ja) * 2012-03-30 2013-10-17 Ntt Comware Corp 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム
JP2015191293A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020060871A (ja) * 2018-10-05 2020-04-16 株式会社パインベース サイネージシステム
KR20200140857A (ko) * 2018-10-23 2020-12-16 텐센트 아메리카 엘엘씨 미디어 코딩에서의 복수의 적합성 포인트를 위한 기술
WO2021192750A1 (ja) * 2020-03-26 2021-09-30 ソニーグループ株式会社 情報処理システム、情報処理装置及び情報処理方法
US11153507B2 (en) 2019-03-20 2021-10-19 Kyocera Document Solutions Inc. Image processing apparatus, image processing method, image providing system, and non-transitory computer-readable recording medium storing image processing program
JP7352364B2 (ja) 2019-03-22 2023-09-28 日本放送協会 動画像符号化装置、動画像復号装置及びプログラム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090287655A1 (en) * 2008-05-13 2009-11-19 Bennett James D Image search engine employing user suitability feedback
WO2010090749A1 (en) * 2009-02-06 2010-08-12 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
US8484225B1 (en) 2009-07-22 2013-07-09 Google Inc. Predicting object identity using an ensemble of predictors
EP2486517A4 (en) 2009-10-05 2014-06-11 Icvt Ltd APPARATUS AND METHODS FOR RECOMPRINTING DIGITAL IMAGES
JP2013507084A (ja) * 2009-10-05 2013-02-28 アイ．シー．ヴイ．ティー リミテッド 画像処理のための方法およびシステム
WO2011053300A1 (en) * 2009-10-29 2011-05-05 Hewlett-Packard Development Company, L.P. Joint image compression method and apparatus
EP2407803A1 (en) * 2010-07-15 2012-01-18 The European Atomic Energy Community (EURATOM), represented by the European Commission Method for safely identifying moving objects
KR101681303B1 (ko) * 2010-07-29 2016-12-01 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
DE102010045135B4 (de) * 2010-09-10 2021-03-18 Carl Zeiss Meditec Ag Verfahren zur Ermittlung eines Platzierungsfehlers eines Strukturelements auf einer Maske, Verfahren zur Simulation eines Luftbildes aus Struktur-Vorgaben einer Maske und Positionsmessvorrichtung
US20130222645A1 (en) * 2010-09-14 2013-08-29 Nokia Corporation Multi frame image processing apparatus
US20120092357A1 (en) * 2010-10-14 2012-04-19 Microsoft Corporation Region-Based Image Manipulation
PL3136727T3 (pl) 2011-04-12 2018-11-30 Sun Patent Trust Sposób kodowania ruchomych obrazów i urządzenie do kodowania ruchomych obrazów
WO2012160803A1 (ja) 2011-05-24 2012-11-29 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
CA2834123C (en) 2011-05-27 2020-02-11 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
EP4270953A3 (en) 2011-05-31 2023-11-22 Sun Patent Trust Video decoding method, video decoding device
KR101900986B1 (ko) 2011-06-30 2018-09-20 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 및, 화상 부호화 복호 장치
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
CN103858428B (zh) 2011-10-19 2018-07-03 太阳专利托管公司 图像编码方法、图像编码装置、图像解码方法及图像解码装置
BR112014010237A2 (pt) * 2011-11-03 2017-04-18 Koninklijke Philips Nv processamento de dados de imagem e método
US20130129192A1 (en) * 2011-11-17 2013-05-23 Sen Wang Range map determination for a video frame
US8611642B2 (en) 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
US20140119446A1 (en) * 2012-11-01 2014-05-01 Microsoft Corporation Preserving rounding errors in video coding
US9338461B2 (en) * 2013-02-04 2016-05-10 Mitsubishi Electric Research Laboratories, Inc Method and system for encoding collections of images and videos
CN103561264B (zh) * 2013-11-07 2017-08-04 北京大学 一种基于云计算的媒体解码方法及解码器
US20150271514A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Prediction image generation method, image coding method, image decoding method, and prediction image generation apparatus
JP6986721B2 (ja) * 2014-03-18 2021-12-22 パナソニックＩｐマネジメント株式会社 復号装置及び符号化装置
KR102272108B1 (ko) * 2015-02-27 2021-07-05 삼성전자주식회사 영상 처리 장치 및 방법
JP6536169B2 (ja) * 2015-05-21 2019-07-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105205782B (zh) * 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
CN114466109B (zh) * 2021-12-27 2024-03-08 天翼云科技有限公司 一种基于高拍仪的图像处理方法、终端设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163572A (ja) * 1994-12-07 1996-06-21 Nec Corp ワーピング動き補償を用いた動画像符号化装置
JP2005184062A (ja) * 2003-12-16 2005-07-07 Fuji Photo Film Co Ltd 画像データ変換装置および画像データ変換プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH046242Y2 (ja) 1985-11-30 1992-02-20
US5983251A (en) * 1993-09-08 1999-11-09 Idt, Inc. Method and apparatus for data analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163572A (ja) * 1994-12-07 1996-06-21 Nec Corp ワーピング動き補償を用いた動画像符号化装置
JP2005184062A (ja) * 2003-12-16 2005-07-07 Fuji Photo Film Co Ltd 画像データ変換装置および画像データ変換プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013214158A (ja) * 2012-03-30 2013-10-17 Ntt Comware Corp 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム
JP2015191293A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9773193B2 (en) 2014-03-27 2017-09-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP2020060871A (ja) * 2018-10-05 2020-04-16 株式会社パインベース サイネージシステム
KR20200140857A (ko) * 2018-10-23 2020-12-16 텐센트 아메리카 엘엘씨 미디어 코딩에서의 복수의 적합성 포인트를 위한 기술
KR102635339B1 (ko) 2018-10-23 2024-02-08 텐센트 아메리카 엘엘씨 미디어 코딩에서의 복수의 적합성 포인트를 위한 기술
US11153507B2 (en) 2019-03-20 2021-10-19 Kyocera Document Solutions Inc. Image processing apparatus, image processing method, image providing system, and non-transitory computer-readable recording medium storing image processing program
JP7352364B2 (ja) 2019-03-22 2023-09-28 日本放送協会 動画像符号化装置、動画像復号装置及びプログラム
WO2021192750A1 (ja) * 2020-03-26 2021-09-30 ソニーグループ株式会社 情報処理システム、情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US20080175491A1 (en) 2008-07-24
US8019169B2 (en) 2011-09-13

Similar Documents

Publication Publication Date Title
JP2008199587A (ja) 画像符号化装置、画像復号化装置および方法
JP6195179B2 (ja) 画像復号化方法および画像復号化装置
JP4949028B2 (ja) 復号化装置、符号化装置、復号化方法、符号化方法
JP4594201B2 (ja) 画像符号化方法、画像符号化装置、プログラムおよび集積回路
JP5208157B2 (ja) 復号化システム
JP4439890B2 (ja) 画像復号化方法、装置およびプログラム
CN100493205C (zh) 动态图像编码方法及动态图像解码方法
JP2004072712A (ja) 動きベクトル符号化方法および動きベクトル復号化方法
JP4313710B2 (ja) 画像符号化方法および画像復号化方法
JP2005080301A (ja) 動画像符号化方法および動画像復号化方法
JP5008421B2 (ja) 画像処理方法、画像処理装置、集積回路、カメラおよびプログラム
JP4641995B2 (ja) 画像符号化方法および画像符号化装置
JP4519676B2 (ja) 動き検出方法および動画像符号化方法
JPWO2006003873A1 (ja) 画像符号化方法および画像復号化方法
JP7236667B2 (ja) 画像復号装置、画像符号化装置及び記録媒体
JP2005130417A (ja) 変換符号化方法および変換復号化方法
JP6370671B2 (ja) 画像復号装置、画像送信装置、画像処理システム、画像復号方法、および、画像送信方法
JP2023053089A (ja) 画像復号装置及び画像符号化装置
JP2005079965A (ja) 代表点情報符号化方法および代表点情報復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113