JP2004118384A - Image processing apparatus, obscure image generation device, obscure image generation method, and recording medium with image processing program recorded thereon - Google Patents

Image processing apparatus, obscure image generation device, obscure image generation method, and recording medium with image processing program recorded thereon Download PDF

Info

Publication number
JP2004118384A
JP2004118384A JP2002278460A JP2002278460A JP2004118384A JP 2004118384 A JP2004118384 A JP 2004118384A JP 2002278460 A JP2002278460 A JP 2002278460A JP 2002278460 A JP2002278460 A JP 2002278460A JP 2004118384 A JP2004118384 A JP 2004118384A
Authority
JP
Japan
Prior art keywords
memory
image data
image
transfer
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002278460A
Other languages
Japanese (ja)
Inventor
Yukio Motosada
本貞 幸夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2002278460A priority Critical patent/JP2004118384A/en
Publication of JP2004118384A publication Critical patent/JP2004118384A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To generate an effective obscure image without using a special image processing circuit even in an environment with a low processor throughput. <P>SOLUTION: An image processing device 10 comprises a memory <1> and a memory <2> for holding image data, a spatial filter circuit 16 for filtering image data, a memory transfer circuit 17 having a bit block transfer function for data transfer between the memory <1> and the memory <2>, and a processor 18 for executing control of bit block transfer of image data in the memory <2> to image data in the memory <1>. Image data in the memory <2> are bit-block-transferred to filtered image data in the memory <1>, where the product is saved, the image data saved in the memory <1> are copied in the memory <2>, the image data saved in the memory <1> are filtered, and the image data in the memory <2> are bit-block-transferred to the filtered image data in the memory <1>, where the product is saved as image data. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、カメラ等の画像入力機器における画像信号処理に用いる画像処理装置、ぼかし画像生成装置及びぼかし画像生成方法に関し、特に、画像データに対して画素を拡散させてぼかし画像を生成する画像処理装置、ぼかし画像生成装置、ぼかし画像生成方法及び画像処理プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、携帯電話機などの携帯型装置にカメラを内蔵することが可能となり、内蔵カメラにより撮影した画像を、電子メールで即座に送信できることが可能となっている。これらの内蔵カメラは、小型であることが優先され、一般的なデジタルカメラよりも解像度が低い。
【0003】
カメラ等の画像入力機器において、画像データに対して、階調補正,テクスチャ処理,フィルタリング,幾何学的歪の補正,2次元変換,線や輪郭の抽出,領域分割等の画像処理技術は必要不可欠なものとなっている。また、これらの処理を組み合わせた画像の強調、画像の復元等も含まれる。
【0004】
画像処理で画像をぼかす処理も行われている。画面全体を一様にぼかすにはローパスフィルタ処理を施せば容易に実現できるが、不均一なぼかし方、例えば画面中央から周囲に向けてぼかし度合いが強まるぼかし方は特殊な画像処理回路が必要となる。
このようなぼかし処理を施すには次のような方法がある。
【0005】
(1)空間フィルタリング(spatial filtering)処理方法
n×nの要素からなる空間フィルタ回路を用意し、この空間フィルタ回路のフィルタ係数を画面の位置に応じて適宜変化させる。
例えば、このような従来例として、特許文献1に開示された装置がある。この公報記載の装置では、この目的のためだけに非対称フィルタ回路を用意して処理を行っている。
(2)上記手段と同等の手続きを空間フィルタ回路を用いずに、CPUによるソフトウェア処理で行う方法
【特許文献1】
特開平3−201172号公報(図1)
【0006】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理装置にあっては、以下のような問題点があった。
特許文献1記載の装置では、前記なぼかし処理を行うためだけにn×n(nは、0を除く任意の自然数)の要素からなる空間フィルタ回路を用いていたため、コスト上昇を招いていた。また、5×5の空間フィルタでの説明となっているが、最低限の空間フィルタ装置である3×3の回路を用いていた場合、効果は期待できない。
【0007】
また、空間フィルタ回路を用いずに、CPUによるソフトウェア処理で行う方法では、CPUの処理能力が問われることになる。例えば、昨今のデジタルスチルカメラで撮影する画像の解像度は400万画素〜500万画素というものがある。500MHz駆動のプロセッサでこれを処理したとしても、全画面の処理には1秒程度必要となる。当然、1ピクセルあたり1マシン命令で行うことはアルゴリズム上不可能である。CPU性能の高いPCアプリケーションを用いた場合でも、数秒はかかる。今回対象としている携帯電話機やデジタルスチルカメラの駆動周波数は大きくても数十MHzであるから、同等な処理を行った場合、数分〜数十分の時間が必要となり、商品として使い物にならない。
【0008】
本発明は、このような課題に鑑みてなされたものであって、携帯電話機やデジタルスチルカメラなど、プロセッサの処理能力が低い環境下においても特別な画像処理回路を用いることなく効果的なぼかし画像を得ることができる画像処理装置、ぼかし画像生成装置、ぼかし画像生成方法及び画像処理プログラムを記録した記録媒体を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明の画像処理装置は、画像データを処理する画像処理装置において、画像データを保持する第1メモリ及び第2メモリと、前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第1メモリ又は前記第2メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備えることを特徴としている。
【0010】
また、より好ましくは、前記制御手段は、フィルタ処理が施された前記第1メモリの画像データに対し、前記第2メモリの画像データを矩形転送して第1画像データとして保存し、前記第1メモリに保存されている第1画像データを前記第2メモリにコピーするとともに、前記第1メモリに保存されている第1画像データにフィルタ処理を施し、フィルタ処理が施された前記第1メモリの第1画像データに対し、前記第2メモリの画像データを矩形転送して前記第1メモリに第2画像データとして保存する制御を、n回繰り返してn次画像データを得ることを特徴とする。
【0011】
また、前記制御手段は、n−1次の矩形転送画像より小さいn次の矩形転送画像を転送するものであってもよく、前記制御手段は、処理の最終段階にいくに従って矩形転送画像の縮小幅を変えて転送するものであってもよい。
【0012】
また、より好ましい具体的な態様としては、前記メモリ転送手段は、DMA転送装置である。
また、前記フィルタ手段は、空間フィルタであってもよく、前記フィルタ手段は、平滑化フィルタであってもよい。
また、前記フィルタ手段のフィルタ係数を設定するフィルタ係数設定手段を備えることがより好ましい。
【0013】
この場合、前記フィルタ係数設定手段は、処理の最終段階にいくに従って前記フィルタ係数を小さくするものであってもよく、前記フィルタ係数設定手段は、フィルタ処理が施されていない画像データと隣合う画像データの前記フィルタ係数を小さくするものであってもよい。
前記フィルタ手段による処理効果は、画像のぼかしであってもよい。
【0014】
さらに、符号化されたデータを復号して前記第1メモリ又は前記第2メモリに出力する復号手段を備えるものであってもよく、前記第1メモリ又は前記第2メモリに保持された画像データを符号化する符号化手段を備えるものであってもよい。
【0015】
また、本発明のぼかし画像生成装置は、画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成装置において、画像データを保持する第1メモリ及び第2メモリと、前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第1メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された前記第1メモリの画像データに対し、前記第2メモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備え、前記制御手段は、フィルタ処理が施された前記第1メモリの画像データに対し、前記第2メモリの画像データを矩形転送して第1画像データとして保存し、前記第1メモリに保存されている第1画像データを前記第2メモリにコピーするとともに、前記第1メモリに保存されている第1画像データにフィルタ処理を施し、フィルタ処理が施された前記第1メモリの第1画像データに対し、前記第2メモリの画像データを矩形転送して前記第1メモリに第2画像データとして保存する制御を、n回繰り返してぼかし画像を生成することを特徴としている。
【0016】
さらに、本発明のぼかし画像生成方法は、画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成方法において、第1メモリ及び第2メモリに画像データを保持するステップと、前記第1メモリに保持された画像データに第1フィルタ処理を施す第1フィルタ処理ステップと、第1フィルタ処理が施された第1メモリの画像データに対し、前記第2メモリの画像データを矩形転送して第1画像データとして保存するステップと、前記第1メモリに保存されている第1画像データを前記第2メモリにコピーするステップと、前記第1メモリに保存されている第1画像データに第2フィルタ処理を施す第2フィルタ処理ステップと、第2フィルタ処理が施された前記第1メモリの第1画像データに対し、前記第2メモリの画像データを矩形転送して第2画像データとして保存するステップとを順次n回繰り返して実行することを特徴としている。
【0017】
また、本発明は、画像データを処理する画像処理装置において、画像データを保持する第1メモリ及び第2メモリと、前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第1メモリ又は前記第2メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【0018】
また、本発明は、画像データを処理する画像処理装置において、画像データを保持する第1メモリ及び第2メモリと、前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第1メモリ又は前記第2メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラムである。
【0019】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な画像処理装置及びぼかし画像生成方法の実施の形態について詳細に説明する。
図1は、本発明の実施の形態のぼかし画像作成を行う画像処理装置を示すブロック図である。本実施の形態の画像処理装置は、カメラ付き携帯電話機/PHS(Personal Handy−Phone System)の携帯通信端末に適用した例である。
【0020】
図1において、画像処理装置10(ぼかし画像生成装置)は、画像データを記憶する記憶装置11、符号化されたデータを復号する復号器12(復号手段)、画像データを符号化する符号化器13(符号化手段)、画像データを保持する画像保持用メモリ14(メモリ<1>)(第1メモリ)、画像データを保持する画像保持用メモリ15(メモリ<2>)(第2メモリ)、画像保持用メモリ14,15に保持された画像データにフィルタ処理を施す空間フィルタ回路16(フィルタ手段)、画像保持用メモリ14(メモリ<1>)と画像保持用メモリ15(メモリ<2>)との間でデータ転送を行う矩形転送機能を持つメモリ転送回路17(メモリ転送手段)、及び本装置全体を制御するプロセッサ18(制御手段,フィルタ係数設定手段)を備えて構成される。
【0021】
記憶装置11は、ハードディスクドライブ(HDD)等のディスク装置のほか、例えば電源バックアップにより書き込まれた情報を保持するSRAM(StaticRAM)カードや電源バックアップが不要なフラッシュメモリ等からなるコンパクトフラッシュ(CF)、スマートメディア、メモリスティック等である。
【0022】
画像保持用メモリ14,15は、画像処理用の専用メモリであり、汎用のメモリであるDRAM(Dynamic RAM)部とSAM(serial access)部とそれらの制御からなる。画像保持用メモリ14,15は、与えられた解像度分だけのメモリサイズが必要である。例えば、展開後の画像のRGBの符号レベルが各8ビットで、縦横の解像度がそれぞれXY(X,Yは、0を除く任意の自然数)であれば、X×Y×3(RGB)×8ビット分のメモリが必要となる。
【0023】
空間フィルタ回路16は、画像拡大処理後の「ぼけ」を防ぐための鮮鋭化(sharpening)の目的で用いる高域強調フィルタ、あるいは、画像縮小処理後の「ぎらぎら」を防ぐための平滑化(smoothing)の目的で用いる中央値(メディアン)フィルタ等の空間フィルタである。
【0024】
カメラ付き携帯電話機等の組込み型機器であっても、画像の鮮鋭化又は平滑化の目的で3×3程度の最低限の空間フィルタを有している場合が多い。本実施の形態においても既設の空間フィルタを活用することにより新たな部材を追加することなく低コストで実現している。
【0025】
図2は、3×3の空間フィルタの構成を示す図である。
3×3構成の空間フィルタの場合、中央画素、その上下左右の画素、斜め4方向の画素それぞれにフィルタ係数を設定し、これを加減算後、シフトして結果を得る。例えば、図2に示す係数設定をした場合、中央着目画素を4倍し、この要素の2倍を上下左右に加算、斜め方向には着目画素本来の成分を加算することを意味する。このままでは元画像に対して信号のエネルギーが過多になるので、この後、結果を除算処理にて丸める。この場合、得られた結果を1/16にすることで信号の総和の矛盾はなくなる。空間フィルタ回路16には、このようにフィルタ段数毎の係数設定機能と、結果についての除算レベル(ビットシフト値)の設定機能を備えている。
【0026】
メモリ転送回路17は、プロセッサ(CPU)の介入なしに独立して、画像保持用メモリ14(メモリ<1>)と画像保持用メモリ15(メモリ<2>)との間でデータ転送を行う矩形転送機能を持つDMA(direct memory access)転送回路である。
【0027】
プロセッサ18は、例えばマイクロコンピュータからなり、画像再生処理などのアプリケーションの処理の実行を含む装置全体の制御を行うとともに、各制御部を総括して制御する。プロセッサ18は、ROM、RAM及び電気的に書換可能な不揮発性メモリであるEEPROM(electrically erasable programmableROM)やFlash ROMなどを備え、プログラム、通信制御データ、さらに画像処理装置10の識別コード等の種々のデータを記憶する。EEPROMに書き込むプログラムを変えることによって、画像処理装置10における各種の仕様を変更することができる。
【0028】
特に、プロセッサ18は、フィルタ回路16によりフィルタ処理が施された画像保持用メモリ14(メモリ<1>)の画像データに対し、画像保持用メモリ15(メモリ<2>)の画像データを矩形転送して被せる制御を行う。具体的には、メモリ転送回路17に対してデータ転送及び矩形トリミング転送を指示し、空間フィルタ回路16に対してフィルタ処理の指示を行うとともに、フィルタ係数を設定する。
【0029】
図3は、上記メモリ転送回路17の矩形転送機能を説明する図である。
汎用目的のメモリ間転送装置(多くの場合DMA)は、次の3つを与えることでメモリ間転送を行う。
▲1▼メモリ転送元開始位置
▲2▼メモリ転送先開始位置
▲3▼転送する長さ
本実施の形態の矩形転送機能を持つメモリ転送回路17は、上記に加えて、次のような設定が可能なものとする。
▲4▼メモリ転送開始位置
▲5▼メモリ転送先位置
すなわち、図3において、メモリ間転送が、▲1▼メモリ転送元開始位置、▲2▼メモリ転送先開始位置、▲3▼転送する長さに加えて、図中A,B,Cで示される▲4▼メモリ転送開始位置、▲5▼メモリ転送先位置を指定した矩形転送機能を持つ。
A:1回の処理単位で転送する長さ(画像の幅に相当する)
B:1回の処理単位の転送終了後、次の転送開始位置までのオフセット
C:処理単位の総数(画像の高さに相当する)
このような機能を持つことで、単純なメモリー間転送ではなく、画像間転送、あるいは画像の矩形トリミング転送が可能になる。
以下、上述のように構成された画像処理装置10のぼかし画像生成動作を説明する。まず、画像処理装置10の全体動作について述べる。
【0030】
ぼかし画像生成処理は、記憶装置11から適当な手段で符号化されたファイルを読み出し、読み出したファイルを復号器12により復号し、画像保持用メモリ14(メモリ<1>)に保持する。
【0031】
そして、画像保持用メモリ14(メモリ<1>)と画像保持用メモリ15(メモリ<2>)の2つの画像保持用メモリ14,15を交互に活用する。2つの画像保持用メモリ14,15の活用とは、具体的には、画像保持用メモリ14(メモリ<1>)についてはオリジナル画像,フィルタリング処理画像,転送先へのコピー画像,矩形転送された画像の一時的な保持であり、画像保持用メモリ15(メモリ<2>)については矩形転送の元画像,転送元からのコピー画像の一時的な保持である。
【0032】
メモリ転送回路17は、画像保持用メモリ14(メモリ<1>)から画像保持用メモリ15(メモリ<2>)へのデータ転送(コピー)、及び画像保持用メモリ15(メモリ<2>)から画像保持用メモリ14(メモリ<1>)へのメモリ転送開始位置及びメモリ転送先位置を指定した矩形転送を行う。また、空間フィルタ回路16は、画像保持用メモリ14(メモリ<1>)に空間フィルタを施す処理を行う。プロセッサ18は、空間フィルタ回路16及びメモリ転送回路17を制御し、拡散ぼかし画像を生成する。
【0033】
結果は、処理の繰り返し回数により画像保持用メモリ14(メモリ<1>)あるいは画像保持用メモリ15(メモリ<2>)の画像保持用メモリに得られるが、これを符号化器13で符号化した上で、記憶装置11に保存することで一連の流れを終える。
次に、2つの画像保持用メモリ14,15を用いた矩形転送によるぼかし画像生成処理について説明する。
【0034】
図4及び図5は、ぼかし画像生成処理の実際を示す図であり、図4(a)〜図5(i)のStep1〜Step9順に処理が進むものとする。各図中左側はメモリ<1>の画像を示し、右側はメモリ<2>の画像を示す。また、枠で示される矩形部分は、処理の対象となる画像を示し、ハッチング部分は画像に空間フィルタが施されていることを示す。
以下に述べる処理は、RGBのうち1つ、例えば“R”についての処理であり、同様の処理が“G”“B”について行われる。
【0035】
Step1
メモリ<1>、メモリ<2>にオリジナルの画像31,32を用意する。具体的には、記憶装置11から読み出したファイルを復号器12により復号し、メモリ<1>、メモリ<2>に保持する。
【0036】
Step2
メモリ<1>に空間フィルタ回路16によりぼかしレベル1のフィルタリングを施す。これにより、メモリ<1>の画像は、ぼかしレベル1のぼかし画像33となる(図4(b)ハッチング参照)。メモリ<2>の画像は、そのままである。
【0037】
Step3
メモリ<2>の画像32の一部34を、メモリ転送回路17のDMA矩形転送機能を使ってメモリ<1>に対して矩形転送し、メモリ<1>の画像33に被せてコピーする。すると、メモリ<1>の画像は、一度空間フィルタをかけたぼかし画像33aに、空間フィルタがかかっていない画像34aが重ねられた画像35となる。
【0038】
Step4
メモリ<1>の画像35をメモリ<2>にそのままコピーする。このStep4のDMA転送は矩形転送ではなく、メモリ<1>の画像35全体をメモリ<2>にコピーする。これにより、メモリ<2>は、メモリ<1>の画像35と同じ画像35を保持する。
【0039】
Step5
一度空間フィルタをかけたぼかし画像33aに、空間フィルタがかかっていない画像34aを重ねた画像35を保持しているメモリ<1>に対して、空間フィルタ回路16によりぼかしレベル1のフィルタリングを施す。これにより、メモリ<1>の画像は、一度空間フィルタをかけたぼかし画像33aと空間フィルタがかかっていない画像34aに、さらに、空間フィルタがかけられることになる。したがって、ここでのメモリ<1>の画像は、2度空間フィルタをかけたぼかし画像33bと、一度空間フィルタをかけたぼかし画像34bとが重ねられたぼかし画像36となり、ぼかしベレル1のぼかし画像33bとぼかしレベル2のぼかし画像34bとが混在することになる。また、メモリ<2>の画像35は、そのままである。
【0040】
Step6
メモリ<2>の画像35の一部37を、メモリ転送回路17のDMA矩形転送機能を使ってメモリ<1>に対して矩形転送し、メモリ<1>の画像36に被せてコピーする。すると、メモリ<1>の画像は、2度空間フィルタをかけたぼかし画像33bに、一度空間フィルタをかけたぼかし画像34bが重なり、さらにその上に空間フィルタがかかっていない画像37aが重ねられた画像38となる。これにより、メモリ<1>には、ぼかしレベル2、ぼかしレベル1、ぼかしレベル0(ぼかしなし)の画像が混在することになる。
ここで、メモリ<2>からメモリ<1>に対して矩形転送する画像の大きさは段階的に小さくなるように指定する。この指定は、プロセッサ18がメモリ転送回路17に対して行うもので、本実施の形態では、矩形転送画像を画像中心方向に対して段階的に小さくする。また、矩形転送画像を段階的に小さくする場合、均等に小さく(したがって、ぼかし度合いも均等に)することに限定されず、例えば最初は矩形転送画像を大きく縮小し、次第に縮小率を小さくしてもよい。また、画像中心方向に矩形転送画像を縮小する場合に限定されず、任意の方向(例えば、画面上部)に指定してもよい。これらの例については後述する。
【0041】
Step7
メモリ<1>の画像38をメモリ<2>にそのままコピーする。このStep7のDMA転送は矩形転送ではなく、上記Step4の処理と同様、メモリ<1>の画像38全体をメモリ<2>にコピーする。これにより、メモリ<2>は、メモリ<1>の画像38と同じ画像38を保持する。
【0042】
Step8
上記Step5の処理と同様に、メモリ<1>に対して、空間フィルタ回路16によりぼかしレベル1のフィルタリングを施す。これにより、メモリ<1>の画像は、3度空間フィルタをかけたぼかし画像33cと、2度空間フィルタをかけたぼかし画像34cと、一度空間フィルタをかけたぼかし画像37bとが重ねられたぼかし画像39となり、ぼかしベレル1のぼかし画像37bとぼかしレベル2のぼかし画像34cとぼかしレベル3のぼかし画像33cとが混在することになる。また、メモリ<2>の画像38は、そのままである。
【0043】
Step9
上記Step6の処理と同様に、メモリ<2>の画像38の一部39を、メモリ転送回路17のDMA矩形転送機能を使ってメモリ<1>に対して矩形転送し、メモリ<1>の画像39に被せてコピーする。すると、メモリ<1>の画像は、3度空間フィルタをかけたぼかし画像33cに、2度空間フィルタをかけたぼかし画像34cが重なり、このぼかし画像34cの上に一度空間フィルタをかけたぼかし画像37bが重なり、さらにその上に空間フィルタがかかっていない画像39aが重ねられた画像40となる。これにより、メモリ<1>には、ぼかしレベル3、ぼかしレベル2、ぼかしレベル1、ぼかしレベル0の画像が混在することになる。
【0044】
以後、目的に応じてStep2からStep9の手続きを繰り返すことで、所望の拡散ぼかし画像が得られる。なお、上述したように、以上は、RGB又はYUVのうち1つについての処理であり、各色毎に同様の処理が実行される。
本実施の形態では、Step2からStep9の処理ステップを例えば16回(RGB3色では合計48ステップ)行っている。
【0045】
図6は、上記処理により得られる拡散ぼかし画像を示す図であり、ぼかしレベル0(ぼかしなし)からぼかしレベルn(nは0を除く任意の自然数)のぼかし画像を示す。
図6(a)は画面中央から周囲に向かってぼかしの程度が変わらない画像を示す。
【0046】
また、図6(b)は周囲に向かうほどぼかし程度が強い画像を示す。図6(c)は画面中央上部から周囲に向かってぼかしが入る画像を示している。上記図6(a)〜(c)は、一例であり、矩形転送画像のメモリ転送開始位置、メモリ転送先位置を任意に指定することにより様々な拡散ぼかし画像を得ることができる。また、この場合、プログラムの設計変更や部材の追加等は必要なく、設定係数の変更のみで容易に実現できる。
【0047】
ところで、本実施の形態の方法で拡散ぼかし画像を得た場合、段階的な矩形画像によるぼかし画像となるため、矩形の境目が気になるのでは、という問題に関しては、そもそも処理自体が平滑化フィルタ処理であるため、境目自体にも平滑化処理が施されるため、問題にならない。
但し、「全くフィルタがかかっていない中央部」と「その1つ手前の周囲」に関しては、若干境目が認められる場合もある。
【0048】
このような場合、最初の空間フィルタ係数設定を平滑化方向最大に設定しておき、処理の最終段階に向かうにつれ、平滑化係数を抑え目に設定することで、違和感がなくなる。すなわち、空間フィルタ回路16の係数を最初は強くフィルタがかけられるように設定し、次第にフィルタのかけ方が弱くなるように平滑化(ぼかし)の度合いを変えることによってより境界線が目立たなくすることができる。あるいは、空間フィルタ回路16によるぼかしレベルを予め弱く設定しておき、その分、上述したぼかし処理ステップの回数を増やしてぼかしの段階を増やし滑らかなぼかし効果を得るようにしてもよい。さらに、図6(b)に示すように、周囲に向かうほどぼかし程度を強くするようにした場合も「全くフィルタがかかっていない中央部」と「その1つ手前の周囲」との見かけ上の差異は小さくなる。
【0049】
以上のように、本実施の形態の画像処理装置10は、画像データを保持する画像保持用メモリ14(メモリ<1>)及び画像保持用メモリ15(メモリ<2>)と、メモリ<1>に保持された画像データにフィルタ処理を施す空間フィルタ回路16と、メモリ<1>とメモリ<2>との間でデータ転送を行う矩形転送機能を持つメモリ転送回路17と、フィルタ回路16によりフィルタ処理が施されたメモリ<1>の画像データに対し、メモリ<2>の画像データを矩形転送する制御を行うプロセッサ18とを備え、フィルタ処理が施されたメモリ<1>の画像データに対し、メモリ<2>の画像データを矩形転送して保存し、メモリ<1>に保存されている画像データをメモリ<2>にコピーするとともに、メモリ<1>に保存されている画像データにフィルタ処理を施し、フィルタ処理が施されたメモリ<1>の画像データに対し、メモリ<2>の画像データを矩形転送してメモリ<1>に画像データとして保存する制御を、n回(例えば、16回)繰り返しているので、携帯電話機やデジタルスチルカメラなど、プロセッサ18の処理能力が低い環境下において、特別な画像処理回路(高価な高次のフィルタ回路や複数のフィルタ回路など)を用いることなく、画面中央から周囲に向けてぼかし度合いが強まる拡散ぼかし画像を得ることができる。
【0050】
また、カメラ付き携帯電話機等の組込み型機器であっても、画像の鮮鋭化又は平滑化の目的で3×3程度の最低限の空間フィルタを有している場合が多い。また、汎用のDMA転送回路も有する場合が多い。したがって、これら既設の空間フィルタやDMA転送回路を活用することにより新たな部材を追加することなく低コストで実施が可能である。
【0051】
また、拡散ぼかし画像を得る方法について説明したが、ぼかし画像以外に同様な処理によって、周囲に向かうほど特定の色(例えば、緑色,セピア色)を濃く又は薄くする、YUVの場合は例えば輝度を上げる又は下げるなどが可能である。また、この場合にも処理ステップ自体の変更は殆どない。
【0052】
なお、上記実施の形態の画像処理装置は、カメラ付き携帯電話機/PHSの携帯通信端末に適用した例であるが、PDA(Personal Digital Assistants)等の携帯情報端末やパソコンなどすべての情報処理装置で実現することができる。
【0053】
また、上記実施の形態では、JPEG(Joint Photographic Experts Group)において画像を入出力する画像処理方法及び画像処理装置に適用することができるが、JPEGに限るものでなく、インターレスGIF(Graphics InterchangeFormat)など他の画像処理装置に適用できる。例えば、パソコン等の情報処理装置のほか、HDD,DVD等の記録媒体にデータを記録する記録再生装置に適用できる。また、ディスク等の記録媒体から読み出すコンテンツは、どのような形式のものでもよい。
【0054】
また、本実施の形態では、画像処理装置、ぼかし画像生成装置及び方法という名称を用いたが、これは説明の便宜上であり、縮小画像表示装置や画像表示方法等でもよいことは勿論である。
さらに、上記画面上の矩形画像の枚数や配置、色、表示形式等はどのようなものでもよい。
【0055】
また、記憶装置の種類や記録方法等は限定されず、全ての装置に適用可能である。例えば、記録装置として、HDDのほかDVDやCD−R/RW、MD(Mini Disc)に記録するものでもよい。特に、データ転送速度やランダム・アクセス性能が高く、高速アクセスが可能なHDDを記録媒体に用いれば、大量に記録した画像の中から所望の画像を瞬時に検索し、直ぐに利用することが可能になる。また、光磁気ディスク等HDD以外の記録装置を用いてもよく、同様の効果を得ることができる。
【0056】
さらに、上記画像再生方法及び画像再生装置を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【0057】
また、以上説明した画像処理装置、ぼかし画像生成装置及び方法は、これら画像処理装置等を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、図1に示されているプロセッサ18のメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてCD−ROMドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なCD−ROM等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のCPUがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【0058】
ここで、上記プログラムメディアは、通信端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやCD−ROM、CD−R/RW、MO、MD、DVD−ROM、DVD−RAM、DVD−RW等の光ディスクのディスク系、PCカード、コンパクトフラッシュカード、スマートメディア、ICカード、SDカード、メモリースティック等のカード系、あるいはマスクROM、EPROM、EEPROM、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【0059】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【0060】
【発明の効果】
以上、詳述したように、本発明によれば、携帯電話機やデジタルスチルカメラなど、プロセッサの処理能力が低い環境下において、画像処理用の特別な画像処理回路を用いることなく、画像のぼかし等の特殊効果処理画像を得ることができる。
【0061】
また、プロセッサの処理能力が低いものでよいこと、画像処理用の特別なものを使用しないこと、さらには既設のフィルタ回路等を活用できることから低コストで実施することができ、携帯電話機やデジタルスチルカメラ等の組みこみ環境下において汎用的に適用することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態のぼかし画像作成を行う画像処理装置を示すブロック図である。
【図2】本実施の形態の画像処理装置の3×3の空間フィルタの構成を示す図である。
【図3】本実施の形態の画像処理装置のメモリ転送回路の矩形転送機能を説明する図である。
【図4】本実施の形態の画像処理装置のぼかし画像生成処理の実際を示す図である。
【図5】本実施の形態の画像処理装置のぼかし画像生成処理の実際を示す図である。
【図6】本発明の実施の形態のぼかし画像生成処理により得られる拡散ぼかし画像を示す図である。
【符号の説明】
10 画像処理装置(ぼかし画像生成装置)
11 記憶装置
12 復号器(復号手段)
13 符号化器(符号化手段)
14 画像保持用メモリ(メモリ<1>)(第1メモリ)
15 画像保持用メモリ(メモリ<2>)(第2メモリ)
16 空間フィルタ回路(フィルタ手段)
17 メモリ転送回路(メモリ転送手段)
18 プロセッサ(制御手段,フィルタ係数設定手段)
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus, a blurred image generating apparatus, and a blurred image generating method used for image signal processing in an image input device such as a camera, and more particularly to image processing for generating a blurred image by diffusing pixels in image data. The present invention relates to a device, a blurred image generating device, a blurred image generating method, and a recording medium on which an image processing program is recorded.
[0002]
[Prior art]
In recent years, with the development of small, low-power image sensors, cameras can be built into portable devices such as mobile phones, and images taken by the built-in camera can be sent immediately by e-mail. It is possible to do it. These built-in cameras prioritize small size and have lower resolution than general digital cameras.
[0003]
For image input devices such as cameras, image processing technologies such as gradation correction, texture processing, filtering, correction of geometric distortion, two-dimensional conversion, extraction of lines and contours, and region division are indispensable for image data. It has become something. In addition, image enhancement, image restoration, and the like obtained by combining these processes are also included.
[0004]
A process of blurring an image by image processing is also performed. Applying a low-pass filter to easily blur the entire screen can be easily achieved.However, a non-uniform blur, for example, a blur that increases in degree from the center of the screen toward the periphery, requires a special image processing circuit. Become.
There are the following methods for performing such a blurring process.
[0005]
(1) Spatial filtering processing method
A spatial filter circuit composed of nxn elements is prepared, and the filter coefficients of the spatial filter circuit are appropriately changed according to the position on the screen.
For example, as such a conventional example, there is an apparatus disclosed in Patent Document 1. In the device described in this publication, an asymmetric filter circuit is prepared and processed for this purpose only.
(2) A method in which a procedure equivalent to the above means is performed by software processing by a CPU without using a spatial filter circuit.
[Patent Document 1]
JP-A-3-201172 (FIG. 1)
[0006]
[Problems to be solved by the invention]
However, such a conventional image processing apparatus has the following problems.
In the device described in Patent Document 1, a spatial filter circuit composed of n × n elements (n is an arbitrary natural number except 0) is used only for performing the blurring process, thereby causing an increase in cost. Further, although the description has been given of a 5 × 5 spatial filter, no effect can be expected when a 3 × 3 circuit as a minimum spatial filter device is used.
[0007]
Further, in the method of performing the software processing by the CPU without using the spatial filter circuit, the processing capability of the CPU is questioned. For example, there is a resolution of an image photographed by a digital still camera of 4 to 5 million pixels. Even if this is processed by a processor driven at 500 MHz, it takes about one second to process the entire screen. Of course, it is algorithmically impossible to perform this operation with one machine instruction per pixel. Even if a PC application with high CPU performance is used, it takes several seconds. Since the driving frequency of the mobile phone or the digital still camera targeted at this time is at most several tens of MHz, it takes several minutes to several tens of minutes when equivalent processing is performed, and the product is unusable.
[0008]
The present invention has been made in view of such a problem, and is effective for blurred images without using a special image processing circuit even in an environment where the processing capability of a processor is low, such as a mobile phone or a digital still camera. It is an object of the present invention to provide an image processing apparatus, a blurred image generating apparatus, a blurred image generating method, and a recording medium on which an image processing program is recorded.
[0009]
[Means for Solving the Problems]
An image processing apparatus according to the present invention is an image processing apparatus that processes image data, wherein a first memory and a second memory that hold image data, and a rectangle that performs data transfer between the first memory and the second memory. A memory transfer unit having a transfer function, a filter unit for performing a filtering process on the image data held in the first memory or the second memory, and a filtering process on the image data of one of the memories. And control means for rectangularly transferring the image data in the memory by the memory transfer means.
[0010]
More preferably, the control means performs rectangular transfer of the image data of the second memory with respect to the image data of the first memory which has been subjected to the filter processing, and stores the image data as first image data. The first image data stored in the memory is copied to the second memory, and the first image data stored in the first memory is subjected to a filtering process. The control of rectangularly transferring the image data of the second memory to the first image data and storing the image data in the first memory as the second image data is repeated n times to obtain the n-th image data.
[0011]
Further, the control means may transfer an n-th rectangular transfer image smaller than the (n-1) -th rectangular transfer image, and the control means may reduce the rectangular transfer image as the processing proceeds to the final stage. The transfer may be performed by changing the width.
[0012]
Further, as a more preferable specific mode, the memory transfer means is a DMA transfer device.
Further, the filter means may be a spatial filter, and the filter means may be a smoothing filter.
Further, it is more preferable that the apparatus further comprises a filter coefficient setting means for setting a filter coefficient of the filter means.
[0013]
In this case, the filter coefficient setting means may reduce the filter coefficient as the processing proceeds to the final stage, and the filter coefficient setting means may determine that the image data adjacent to the unfiltered image data The filter coefficient of data may be reduced.
The processing effect of the filter means may be image blurring.
[0014]
Further, the image processing apparatus may further include a decoding unit that decodes the encoded data and outputs the decoded data to the first memory or the second memory. The image data stored in the first memory or the second memory may be provided. It may include an encoding means for encoding.
[0015]
Also, a blurred image generating device according to the present invention is a blurred image generating device for generating a blurred image by diffusing pixels with respect to image data, wherein the first memory and the second memory holding image data; A memory transfer unit having a rectangular transfer function of transferring data between the first memory and the second memory; a filter unit for performing a filter process on the image data held in the first memory; Control means for rectangularly transferring the image data of the second memory to the image data of one memory by the memory transfer means, wherein the control means controls the image data of the first memory which has been subjected to the filter processing. Transferring the image data of the second memory in a rectangular form and storing the image data as first image data; and transferring the first image data stored in the first memory to the second memory. At the same time, the first image data stored in the first memory is subjected to a filtering process, and the filtered first image data in the first memory is transformed into a rectangular image data in the second memory. The control for transferring and storing the second image data in the first memory as the second image data is repeated n times to generate a blurred image.
[0016]
Further, in the blurred image generating method of the present invention, in the blurred image generating method for generating a blurred image by diffusing pixels with respect to image data, a step of holding the image data in a first memory and a second memory; A first filtering step of performing a first filtering process on the image data held in the one memory; and a rectangular transfer of the image data of the second memory to the image data of the first memory subjected to the first filtering process. Storing the first image data stored in the first memory into the second memory; storing the first image data stored in the first memory into the second memory; A second filter processing step of performing two filter processing, and an image of the second memory with respect to the first image data of the first memory that has been subjected to the second filter processing. The chromatography data and a step of storing the second image data and rectangular transfer sequentially n times repeatedly is characterized by performing.
[0017]
According to the present invention, in an image processing apparatus for processing image data, a first memory and a second memory for storing image data, and a rectangular transfer function for performing data transfer between the first memory and the second memory A memory transfer unit having: a filter unit for performing a filtering process on the image data held in the first memory or the second memory; A computer-readable recording medium on which is recorded a program for functioning as an image processing apparatus including a control unit for transferring image data in a rectangular shape by the memory transfer unit.
[0018]
According to the present invention, in an image processing apparatus for processing image data, a first memory and a second memory for storing image data, and a rectangular transfer function for performing data transfer between the first memory and the second memory A memory transfer unit having: a filter unit for performing a filtering process on the image data held in the first memory or the second memory; This is a program for functioning as an image processing apparatus including: a control unit that transfers image data in a rectangular shape by the memory transfer unit.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of an image processing apparatus and a blurred image generating method according to the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating an image processing apparatus that creates a blurred image according to an embodiment of the present invention. The image processing apparatus according to the present embodiment is an example applied to a mobile communication terminal of a camera-equipped mobile phone / PHS (Personal Handy-Phone System).
[0020]
In FIG. 1, an image processing device 10 (blur image generation device) includes a storage device 11 for storing image data, a decoder 12 (decoding means) for decoding encoded data, and an encoder for encoding image data. 13 (encoding unit), image holding memory 14 (memory <1>) (first memory) for holding image data, image holding memory 15 (memory <2>) (second memory) for holding image data A spatial filter circuit 16 (filter means) for performing a filtering process on the image data held in the image holding memories 14 and 15, an image holding memory 14 (memory <1>), and an image holding memory 15 (memory <2>). ), A memory transfer circuit 17 (memory transfer means) having a rectangular transfer function for transferring data to and from the processor 18 (control means, filter coefficient setting means) for controlling the entire apparatus. Configured to include a.
[0021]
The storage device 11 includes, in addition to a disk device such as a hard disk drive (HDD), a compact flash (CF) including, for example, an SRAM (StaticRAM) card that holds information written by power backup, a flash memory that does not require power backup, and the like. Smart media, memory sticks and the like.
[0022]
The image holding memories 14 and 15 are dedicated memories for image processing, and include a DRAM (Dynamic RAM) unit and a SAM (serial access) unit, which are general-purpose memories, and their control. The image holding memories 14 and 15 need to have a memory size corresponding to the given resolution. For example, if the RGB code level of the expanded image is 8 bits each and the vertical and horizontal resolutions are XY (X and Y are any natural numbers except 0), then X × Y × 3 (RGB) × 8 A bit of memory is required.
[0023]
The spatial filter circuit 16 is a high-frequency emphasis filter used for the purpose of sharpening to prevent “blur” after the image enlargement processing, or smoothing (smoothing) to prevent “glitter” after the image reduction processing. ) Is a spatial filter such as a median filter used for the purpose.
[0024]
Even an embedded device such as a camera-equipped mobile phone often has a minimum spatial filter of about 3 × 3 for the purpose of sharpening or smoothing an image. Also in the present embodiment, by utilizing an existing spatial filter, it is realized at low cost without adding new members.
[0025]
FIG. 2 is a diagram illustrating a configuration of a 3 × 3 spatial filter.
In the case of a spatial filter having a 3 × 3 configuration, filter coefficients are set for each of a central pixel, upper and lower left and right pixels, and pixels in four oblique directions. For example, when the coefficient setting shown in FIG. 2 is performed, it means that the center pixel of interest is quadrupled, twice the element is added up, down, left, and right, and the original component of the pixel of interest is added diagonally. In this state, the energy of the signal becomes excessive with respect to the original image. Thereafter, the result is rounded by division processing. In this case, by making the obtained result 1/16, there is no contradiction in the sum of the signals. The spatial filter circuit 16 has the function of setting the coefficient for each filter stage and the function of setting the division level (bit shift value) for the result.
[0026]
The memory transfer circuit 17 performs a data transfer between the image holding memory 14 (memory <1>) and the image holding memory 15 (memory <2>) independently without intervention of a processor (CPU). It is a DMA (direct memory access) transfer circuit having a transfer function.
[0027]
The processor 18 is formed of, for example, a microcomputer, controls the entire apparatus including execution of application processing such as image reproduction processing, and generally controls each control unit. The processor 18 includes a ROM, a RAM, an electrically erasable programmable ROM (EEPROM) or a flash ROM which is an electrically rewritable nonvolatile memory, and various programs such as a program, communication control data, and an identification code of the image processing apparatus 10. Store the data. Various specifications in the image processing apparatus 10 can be changed by changing a program to be written in the EEPROM.
[0028]
In particular, the processor 18 rectangularly transfers the image data of the image holding memory 15 (memory <2>) to the image data of the image holding memory 14 (memory <1>) on which the filtering process has been performed by the filter circuit 16. Control to put on. Specifically, it instructs the memory transfer circuit 17 to perform data transfer and rectangular trimming transfer, instructs the spatial filter circuit 16 to perform a filtering process, and sets a filter coefficient.
[0029]
FIG. 3 is a diagram for explaining the rectangular transfer function of the memory transfer circuit 17.
A general-purpose memory-to-memory transfer device (in most cases, a DMA) performs a memory-to-memory transfer by giving the following three items.
(1) Memory transfer source start position
(2) Memory transfer destination start position
(3) Transfer length
The memory transfer circuit 17 having the rectangular transfer function according to the present embodiment can perform the following settings in addition to the above.
(4) Memory transfer start position
(5) Memory transfer destination position
That is, in FIG. 3, transfer between memories is indicated by A, B, and C in the figure in addition to (1) a memory transfer source start position, (2) a memory transfer destination start position, and (3) a transfer length. It has a rectangular transfer function that specifies (4) a memory transfer start position and (5) a memory transfer destination position.
A: Length of transfer in one processing unit (corresponding to image width)
B: Offset to the next transfer start position after transfer of one processing unit
C: Total number of processing units (corresponding to image height)
By having such a function, transfer between images or transfer of rectangular trimming of an image can be performed instead of simple transfer between memories.
Hereinafter, the blurred image generation operation of the image processing apparatus 10 configured as described above will be described. First, the overall operation of the image processing apparatus 10 will be described.
[0030]
In the blurred image generation processing, a file encoded by appropriate means is read from the storage device 11, the read file is decoded by the decoder 12, and is stored in the image storage memory 14 (memory <1>).
[0031]
Then, the two image holding memories 14, 15 of the image holding memory 14 (memory <1>) and the image holding memory 15 (memory <2>) are used alternately. The utilization of the two image holding memories 14 and 15 means that the image holding memory 14 (memory <1>) is an original image, a filtered image, a copy image to a transfer destination, and a rectangular transfer. The image is temporarily stored, and the image storage memory 15 (memory <2>) is a temporary storage of the original image of the rectangular transfer and the copy image from the transfer source.
[0032]
The memory transfer circuit 17 transfers (copies) data from the image holding memory 14 (memory <1>) to the image holding memory 15 (memory <2>), and transfers data from the image holding memory 15 (memory <2>). The rectangular transfer is performed to specify the memory transfer start position and the memory transfer destination position to the image holding memory 14 (memory <1>). The spatial filter circuit 16 performs a process of applying a spatial filter to the image holding memory 14 (memory <1>). The processor 18 controls the spatial filter circuit 16 and the memory transfer circuit 17 to generate a diffuse blurred image.
[0033]
The result is obtained in the image holding memory 14 (memory <1>) or the image holding memory 15 (memory <2>) depending on the number of repetitions of the processing. Then, the sequence is ended by storing the data in the storage device 11.
Next, a blurred image generation process by rectangular transfer using the two image holding memories 14 and 15 will be described.
[0034]
FIGS. 4 and 5 are views showing the actual blurred image generation processing, and it is assumed that the processing proceeds in the order of Step 1 to Step 9 in FIGS. 4 (a) to 5 (i). In each figure, the left side shows the image of the memory <1>, and the right side shows the image of the memory <2>. A rectangular portion shown by a frame indicates an image to be processed, and a hatched portion indicates that a spatial filter has been applied to the image.
The processing described below is processing for one of RGB, for example, “R”, and similar processing is performed for “G” and “B”.
[0035]
Step1
Original images 31 and 32 are prepared in the memory <1> and the memory <2>. Specifically, the file read from the storage device 11 is decrypted by the decoder 12 and stored in the memory <1> and the memory <2>.
[0036]
Step2
The memory <1> is subjected to the blurring level 1 filtering by the spatial filter circuit 16. Thus, the image in the memory <1> becomes the blurred image 33 of the blur level 1 (see hatching in FIG. 4B). The image in the memory <2> remains as it is.
[0037]
Step3
A part 34 of the image 32 of the memory <2> is rectangularly transferred to the memory <1> using the DMA rectangular transfer function of the memory transfer circuit 17, and is copied over the image 33 of the memory <1>. Then, the image in the memory <1> becomes an image 35 in which the image 34a without the spatial filter is superimposed on the blurred image 33a once subjected to the spatial filter.
[0038]
Step4
The image 35 in the memory <1> is directly copied to the memory <2>. The DMA transfer in Step 4 is not a rectangular transfer but copies the entire image 35 in the memory <1> to the memory <2>. Thus, the memory <2> holds the same image 35 as the image 35 of the memory <1>.
[0039]
Step5
The spatial filter circuit 16 performs filtering at the blur level 1 on the memory <1> holding the image 35 in which the image 34a not subjected to the spatial filter is superimposed on the blurred image 33a once subjected to the spatial filter. As a result, the image in the memory <1> is further subjected to the spatial filter on the blurred image 33a once subjected to the spatial filter and the image 34a not subjected to the spatial filter. Therefore, the image in the memory <1> is a blurred image 36 in which the blurred image 33b that has been spatially filtered twice and the blurred image 34b that has been spatially filtered once are superimposed, and the blurred image of the blurred barrel 1 is obtained. 33b and the blur level 34b at the blur level 2 are mixed. The image 35 in the memory <2> remains as it is.
[0040]
Step6
A portion 37 of the image 35 of the memory <2> is rectangularly transferred to the memory <1> using the DMA rectangular transfer function of the memory transfer circuit 17, and is copied over the image 36 of the memory <1>. Then, in the image in the memory <1>, the blurred image 34b that has been spatially filtered once overlaps the blurred image 33b that has been spatially filtered twice, and the image 37a that has not been spatially filtered is further superimposed thereon. An image 38 is obtained. As a result, in the memory <1>, images of the blur level 2, the blur level 1, and the blur level 0 (no blur) are mixed.
Here, the size of the image to be rectangularly transferred from the memory <2> to the memory <1> is designated so as to gradually decrease. This designation is performed by the processor 18 with respect to the memory transfer circuit 17. In the present embodiment, the rectangular transfer image is reduced stepwise in the image center direction. Further, when the rectangular transfer image is reduced stepwise, the rectangular transfer image is not limited to being uniformly reduced (therefore, the degree of blurring is also uniform). For example, the rectangular transfer image is first greatly reduced, and the reduction rate is gradually reduced. Is also good. Also, the present invention is not limited to the case where the rectangular transfer image is reduced in the image center direction, and may be specified in an arbitrary direction (for example, the upper part of the screen). These examples will be described later.
[0041]
Step7
The image 38 in the memory <1> is directly copied to the memory <2>. The DMA transfer in Step 7 is not a rectangular transfer, but the entire image 38 in the memory <1> is copied to the memory <2> as in the process in Step 4 described above. As a result, the memory <2> holds the same image 38 as the image 38 of the memory <1>.
[0042]
Step8
Similarly to the processing in Step 5, the memory <1> is subjected to the blurring level 1 filtering by the spatial filter circuit 16. Thus, the image in the memory <1> is a blur in which the blur image 33c subjected to the spatial filter three times, the blur image 34c subjected to the spatial filter twice, and the blur image 37b once subjected to the spatial filter are superimposed. The image 39 is obtained, and the blur image 37b of the blur barrel 1, the blur image 34c of the blur level 2 and the blur image 33c of the blur level 3 are mixed. The image 38 in the memory <2> remains as it is.
[0043]
Step9
Similarly to the processing in Step 6, the part 39 of the image 38 in the memory <2> is rectangularly transferred to the memory <1> using the DMA rectangular transfer function of the memory transfer circuit 17, and the image in the memory <1> is transferred. Copy over 39. Then, the image in the memory <1> overlaps the blurred image 33c that has been spatially filtered three times with the blurred image 34c that has been spatially filtered twice, and the blurred image that has been spatially filtered once on the blurred image 34c. An image 40 is obtained by superimposing an image 39a on which the spatial filter 37b is superimposed and on which an image 39a without a spatial filter is applied. As a result, in the memory <1>, images of the blur level 3, the blur level 2, the blur level 1, and the blur level 0 are mixed.
[0044]
Thereafter, by repeating the procedure from Step 2 to Step 9 according to the purpose, a desired diffuse blurred image can be obtained. As described above, the above is the processing for one of RGB or YUV, and the same processing is executed for each color.
In the present embodiment, the processing steps from Step 2 to Step 9 are performed, for example, 16 times (48 steps in total for three colors of RGB).
[0045]
FIG. 6 is a diagram showing a diffuse blurred image obtained by the above processing, and shows blurred images at a blur level 0 (no blur) to a blur level n (n is any natural number except 0).
FIG. 6A shows an image in which the degree of blur does not change from the center of the screen toward the periphery.
[0046]
FIG. 6B shows an image in which the degree of blur increases as it goes to the periphery. FIG. 6C shows an image in which the image is blurred from the upper center of the screen toward the periphery. FIGS. 6A to 6C are examples, and various diffuse blurred images can be obtained by arbitrarily specifying a memory transfer start position and a memory transfer destination position of a rectangular transfer image. Further, in this case, it is not necessary to change the design of the program or add members, and the change can be easily realized only by changing the setting coefficient.
[0047]
By the way, when a diffuse blurred image is obtained by the method of the present embodiment, the blurred image is formed by a stepwise rectangular image. Since the filtering process is performed, the boundary itself is also subjected to the smoothing process, so that there is no problem.
However, a slight boundary may be recognized between “the central part where no filter is applied” and “the area immediately before the center part”.
[0048]
In such a case, the first spatial filter coefficient setting is set to the maximum in the smoothing direction, and the smoothing coefficient is set to a small value toward the final stage of the processing, whereby the sense of incongruity is eliminated. That is, by setting the coefficients of the spatial filter circuit 16 so that the filter is applied strongly at first, and by gradually changing the degree of smoothing (blurring) so that the way the filter is applied gradually becomes weaker, the boundary lines become less noticeable. Can be. Alternatively, the blur level of the spatial filter circuit 16 may be set to a low value in advance, and the number of the blur processing steps may be increased to increase the number of blur steps to obtain a smooth blur effect. Further, as shown in FIG. 6B, when the degree of blur is increased toward the periphery, the apparent “central part where no filter is applied” and the “periphery immediately before the center” are apparent. The difference is smaller.
[0049]
As described above, the image processing apparatus 10 according to the present embodiment includes the image holding memory 14 (memory <1>) and the image holding memory 15 (memory <2>) that hold image data, and the memory <1>. , A memory transfer circuit 17 having a rectangular transfer function for transferring data between the memory <1> and the memory <2>, and a filter by the filter circuit 16. A processor 18 for performing rectangular transfer of the image data of the memory <2> to the processed image data of the memory <1>; The image data stored in the memory <2> is rectangularly transferred and stored, and the image data stored in the memory <1> is copied to the memory <2> and stored in the memory <1>. The image data of the memory <1> subjected to the filtering process on the image data, and the image data of the memory <2> are rectangularly transferred to the filtered image data of the memory <1> and stored in the memory <1> as image data. (For example, 16 times), a special image processing circuit (such as an expensive high-order filter circuit or a plurality of filter circuits, etc.) may be used in an environment where the processing capability of the processor 18 is low, such as a mobile phone or a digital still camera. ), It is possible to obtain a diffuse blurred image in which the degree of blurring increases from the center of the screen toward the periphery.
[0050]
In addition, even an embedded device such as a camera-equipped mobile phone often has a minimum spatial filter of about 3 × 3 for the purpose of sharpening or smoothing an image. In many cases, a general-purpose DMA transfer circuit is also provided. Therefore, by utilizing these existing spatial filters and DMA transfer circuits, implementation can be performed at low cost without adding new members.
[0051]
Also, a method for obtaining a diffuse blurred image has been described. However, by performing similar processing other than the blurred image, a specific color (for example, green or sepia) is made darker or lighter toward the periphery. It can be raised or lowered. Also in this case, there is almost no change in the processing steps themselves.
[0052]
Note that the image processing apparatus of the above embodiment is an example applied to a mobile communication terminal of a camera-equipped mobile phone / PHS. However, all image processing apparatuses such as a personal digital assistant such as a PDA (Personal Digital Assistants) and a personal computer. Can be realized.
[0053]
Also, in the above embodiment, the present invention can be applied to an image processing method and an image processing apparatus for inputting / outputting an image in JPEG (Joint Photographic Experts Group). However, the present invention is not limited to JPEG, but is an interlace GIF (Graphics Interchange Format). Etc., and can be applied to other image processing apparatuses. For example, the present invention can be applied not only to an information processing apparatus such as a personal computer but also to a recording / reproducing apparatus that records data on a recording medium such as an HDD or a DVD. The content read from a recording medium such as a disk may be in any format.
[0054]
Further, in the present embodiment, the names of the image processing apparatus, the blurred image generating apparatus and the method are used, but this is for convenience of description, and it goes without saying that a reduced image display apparatus or an image display method may be used.
Further, the number, arrangement, color, display format, and the like of the rectangular images on the screen may be any.
[0055]
Further, the type of the storage device, the recording method, and the like are not limited, and can be applied to all devices. For example, the recording device may be a device that records on a DVD, a CD-R / RW, or an MD (Mini Disc) in addition to the HDD. In particular, if an HDD that has high data transfer speed and random access performance and allows high-speed access is used as a recording medium, it is possible to instantly search for a desired image from a large amount of recorded images and use it immediately. Become. Further, a recording device other than the HDD, such as a magneto-optical disk, may be used, and the same effect can be obtained.
[0056]
Further, it goes without saying that the number and types of circuits and members constituting the image reproducing method and the image reproducing apparatus are not limited to the above-described embodiment, and may be realized not only by software but also by hardware. .
[0057]
Further, the image processing apparatus, the blurred image generation apparatus, and the method described above are also realized by a program for causing these image processing apparatuses and the like to function. This program is stored in a computer-readable recording medium. In the present invention, as the recording medium, the main memory itself of the processor 18 shown in FIG. 1 may be a program medium, or a program reading device such as a CD-ROM drive is provided as an external storage device. A program medium such as a CD-ROM that can be read by inserting a recording medium therein may be used. In any case, the stored program may be configured to be accessed and executed by the CPU of the system control unit, or the program may be read in any case, and the read program is not shown. The program may be downloaded to the program storage area and the program may be executed. This download program is stored in advance in each device.
[0058]
Here, the program medium is a recording medium configured to be separable from the communication terminal device or the information processing device, and is a magnetic disk such as a magnetic tape or a cassette tape, a CD-ROM, a CD-R / RW, an MO, an MD. , DVD-ROM, DVD-RAM, DVD-RW and other optical disc systems, PC cards, compact flash cards, smart media, IC cards, SD cards, memory sticks, etc., or mask ROMs, EPROMs, EEPROMs, flashes It may be a medium that carries a fixed program including a semiconductor memory such as a ROM.
[0059]
Further, the medium may carry a program in a fluid manner such that the program is downloaded from a communication network through a communication connection unit capable of connecting to an external communication network such as an Internet connection provider or a mobile mail service. . When the program is downloaded from the communication network as described above, the download program may be stored in advance, or may be installed from another storage medium. The content stored in the recording medium is not limited to a program, but may be data.
[0060]
【The invention's effect】
As described above in detail, according to the present invention, in an environment where the processing capability of a processor is low, such as a mobile phone or a digital still camera, an image can be blurred without using a special image processing circuit for image processing. Can be obtained.
[0061]
In addition, the processing capability of the processor may be low, the special processing for image processing may not be used, and the existing filter circuit or the like may be used. It can be universally applied in an environment where a camera or the like is incorporated.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an image processing apparatus that creates a blurred image according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a 3 × 3 spatial filter of the image processing apparatus according to the present embodiment.
FIG. 3 is a diagram illustrating a rectangular transfer function of a memory transfer circuit of the image processing apparatus according to the present embodiment.
FIG. 4 is a diagram illustrating actual blurred image generation processing of the image processing apparatus according to the present embodiment;
FIG. 5 is a diagram illustrating actual blurred image generation processing of the image processing apparatus according to the present embodiment;
FIG. 6 is a diagram illustrating a diffuse blurred image obtained by a blurred image generation process according to the embodiment of the present invention.
[Explanation of symbols]
10. Image processing device (blurred image generation device)
11 Storage device
12 Decoder (Decoding means)
13 Encoder (encoding means)
14 Image holding memory (memory <1>) (first memory)
15 Image holding memory (memory <2>) (second memory)
16. Spatial filter circuit (filter means)
17 Memory transfer circuit (memory transfer means)
18 Processor (control means, filter coefficient setting means)

Claims (17)

画像データを処理する画像処理装置において、
画像データを保持する第1メモリ及び第2メモリと、
前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、
前記第1メモリ又は前記第2メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、
フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段と
を備えることを特徴とする画像処理装置。
In an image processing device that processes image data,
A first memory and a second memory for holding image data;
Memory transfer means having a rectangular transfer function for performing data transfer between the first memory and the second memory;
Filtering means for performing a filtering process on the image data held in the first memory or the second memory;
An image processing apparatus, comprising: control means for performing rectangular transfer by the memory transfer means with respect to image data of one memory which has been subjected to filter processing.
前記制御手段は、フィルタ処理が施された前記第1メモリの画像データに対し、前記第2メモリの画像データを矩形転送して第1画像データとして保存し、
前記第1メモリに保存されている第1画像データを前記第2メモリにコピーするとともに、前記第1メモリに保存されている第1画像データにフィルタ処理を施し、
フィルタ処理が施された前記第1メモリの第1画像データに対し、前記第2メモリの画像データを矩形転送して前記第1メモリに第2画像データとして保存する制御を、n(nは0を除く任意の自然数)回繰り返してn次画像データを得ることを特徴とする請求項1記載の画像処理装置。
The control means performs rectangular transfer of the image data of the second memory with respect to the image data of the first memory that has been subjected to the filter processing, and stores the image data as first image data;
Copying the first image data stored in the first memory to the second memory, and performing a filtering process on the first image data stored in the first memory;
Control of rectangularly transferring the image data of the second memory to the first image data of the first memory which has been subjected to the filter processing and storing the image data in the first memory as the second image data is performed by n (n is 0 2. The image processing apparatus according to claim 1, wherein n-th order image data is obtained by repeating (an arbitrary natural number excluding) times.
前記制御手段は、n−1次の矩形転送画像より小さいn次の矩形転送画像を転送することを特徴とする請求項1又は2に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the control unit transfers an n-th-order rectangular transfer image smaller than the (n−1) -th rectangular transfer image. 前記制御手段は、処理の最終段階にいくに従って矩形転送画像の縮小幅を変えて転送することを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。4. The image processing apparatus according to claim 1, wherein the control unit changes the reduced width of the rectangular transfer image and transfers the rectangular transfer image toward a final stage of the processing. 5. 前記メモリ転送手段は、DMA転送装置であることを特徴とする請求項1記載の画像処理装置。2. The image processing apparatus according to claim 1, wherein said memory transfer unit is a DMA transfer device. 前記フィルタ手段は、空間フィルタであることを特徴とする請求項1記載の画像処理装置。2. The image processing apparatus according to claim 1, wherein said filter unit is a spatial filter. 前記フィルタ手段は、平滑化フィルタであることを特徴とする請求項1又は6に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the filter unit is a smoothing filter. 前記フィルタ手段のフィルタ係数を設定するフィルタ係数設定手段を備えることを特徴とする請求項1、6又は7のいずれか一項に記載の画像処理装置。The image processing apparatus according to claim 1, further comprising a filter coefficient setting unit configured to set a filter coefficient of the filter unit. 前記フィルタ係数設定手段は、処理の最終段階にいくに従って前記フィルタ係数を小さくすることを特徴とする請求項8記載の画像処理装置。9. The image processing apparatus according to claim 8, wherein the filter coefficient setting unit decreases the filter coefficient as the processing proceeds to the final stage. 前記フィルタ係数設定手段は、フィルタ処理が施されていない画像データと隣合う画像データの前記フィルタ係数を小さくすることを特徴とする請求項8又は9に記載の画像処理装置。The image processing apparatus according to claim 8, wherein the filter coefficient setting unit reduces the filter coefficient of image data adjacent to image data that has not been subjected to the filter processing. 前記フィルタ手段による処理効果は、画像のぼかしであることを特徴とする請求項1、6又は7のいずれか一項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the processing effect of the filter unit is blurring of an image. さらに、符号化されたデータを復号して前記第1メモリ又は前記第2メモリに出力する復号手段を備えることを特徴とする請求項1記載の画像処理装置。The image processing apparatus according to claim 1, further comprising a decoding unit that decodes the encoded data and outputs the decoded data to the first memory or the second memory. さらに、前記第1メモリ又は前記第2メモリに保持された画像データを符号化する符号化手段を備えることを特徴とする請求項1記載の画像処理装置。2. The image processing apparatus according to claim 1, further comprising an encoding unit that encodes the image data held in the first memory or the second memory. 画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成装置において、
画像データを保持する第1メモリ及び第2メモリと、
前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、
前記第1メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、
フィルタ処理が施された前記第1メモリの画像データに対し、前記第2メモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備え、
前記制御手段は、
フィルタ処理が施された前記第1メモリの画像データに対し、前記第2メモリの画像データを矩形転送して第1画像データとして保存し、
前記第1メモリに保存されている第1画像データを前記第2メモリにコピーするとともに、前記第1メモリに保存されている第1画像データにフィルタ処理を施し、
フィルタ処理が施された前記第1メモリの第1画像データに対し、前記第2メモリの画像データを矩形転送して前記第1メモリに第2画像データとして保存する制御を、n回繰り返してぼかし画像を生成することを特徴とするぼかし画像生成装置。
In a blurred image generating apparatus that generates a blurred image by diffusing pixels with respect to image data,
A first memory and a second memory for holding image data;
Memory transfer means having a rectangular transfer function for performing data transfer between the first memory and the second memory;
Filtering means for performing a filtering process on the image data held in the first memory;
Control means for performing rectangular transfer of the image data of the second memory by the memory transfer means with respect to the image data of the first memory which has been subjected to the filter processing;
The control means includes:
For the image data in the first memory that has been subjected to the filter processing, the image data in the second memory is rectangularly transferred and stored as first image data,
Copying the first image data stored in the first memory to the second memory, and performing a filtering process on the first image data stored in the first memory;
The control of rectangularly transferring the image data of the second memory and storing it as the second image data in the first memory with respect to the filtered first image data of the first memory is repeated n times to blur. A blurred image generating apparatus for generating an image.
画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成方法において、
第1メモリ及び第2メモリに画像データを保持するステップと、
前記第1メモリに保持された画像データに第1フィルタ処理を施す第1フィルタ処理ステップと、
第1フィルタ処理が施された第1メモリの画像データに対し、前記第2メモリの画像データを矩形転送して第1画像データとして保存するステップと、
前記第1メモリに保存されている第1画像データを前記第2メモリにコピーするステップと、
前記第1メモリに保存されている第1画像データに第2フィルタ処理を施す第2フィルタ処理ステップと、
第2フィルタ処理が施された前記第1メモリの第1画像データに対し、前記第2メモリの画像データを矩形転送して第2画像データとして保存するステップとを順次n回繰り返して実行することを特徴とするぼかし画像生成方法。
In a blurred image generating method for generating a blurred image by diffusing pixels with respect to image data,
Holding image data in a first memory and a second memory;
A first filter processing step of performing a first filter processing on the image data held in the first memory;
A step of rectangularly transferring the image data of the second memory to the image data of the first memory that has been subjected to the first filter processing and storing the image data as first image data;
Copying the first image data stored in the first memory to the second memory;
A second filter processing step of performing a second filter processing on the first image data stored in the first memory;
Performing a rectangular transfer of the image data of the second memory and storing it as second image data for the first image data of the first memory that has been subjected to the second filter processing, sequentially and repeatedly performing n times A blurred image generating method.
画像データを処理する画像処理装置において、画像データを保持する第1メモリ及び第2メモリと、前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第1メモリ又は前記第2メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。An image processing apparatus for processing image data, comprising: a first memory and a second memory for storing image data; and a memory transfer unit having a rectangular transfer function for transferring data between the first memory and the second memory. Filtering means for performing a filtering process on the image data held in the first memory or the second memory; and transferring the image data in the other memory to the image data in the other memory after the filtering process. A computer-readable recording medium having recorded thereon a program for functioning as an image processing apparatus having a control unit for performing rectangular transfer by a unit. 画像データを処理する画像処理装置において、画像データを保持する第1メモリ及び第2メモリと、前記第1メモリと前記第2メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第1メモリ又は前記第2メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラム。An image processing apparatus for processing image data, comprising: a first memory and a second memory for storing image data; and a memory transfer unit having a rectangular transfer function for transferring data between the first memory and the second memory. Filtering means for performing a filtering process on the image data held in the first memory or the second memory; and transferring the image data in the other memory to the image data in the other memory after the filtering process. And a control unit for performing rectangular transfer by the unit.
JP2002278460A 2002-09-25 2002-09-25 Image processing apparatus, obscure image generation device, obscure image generation method, and recording medium with image processing program recorded thereon Pending JP2004118384A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002278460A JP2004118384A (en) 2002-09-25 2002-09-25 Image processing apparatus, obscure image generation device, obscure image generation method, and recording medium with image processing program recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002278460A JP2004118384A (en) 2002-09-25 2002-09-25 Image processing apparatus, obscure image generation device, obscure image generation method, and recording medium with image processing program recorded thereon

Publications (1)

Publication Number Publication Date
JP2004118384A true JP2004118384A (en) 2004-04-15

Family

ID=32273733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002278460A Pending JP2004118384A (en) 2002-09-25 2002-09-25 Image processing apparatus, obscure image generation device, obscure image generation method, and recording medium with image processing program recorded thereon

Country Status (1)

Country Link
JP (1) JP2004118384A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004364A (en) * 2004-06-21 2006-01-05 Namco Ltd Program, information storage medium and image generation system
JP2012194984A (en) * 2006-01-26 2012-10-11 Evryx Technologies Inc System and method for acquiring and identifying data
JP2013026939A (en) * 2011-07-23 2013-02-04 Canon Inc Image processing device, image processing method, and program
WO2013136403A1 (en) * 2012-03-15 2013-09-19 パナソニック株式会社 Image processing device, integrated circuit, program, imaging device, and display device
US8548527B2 (en) 2004-04-16 2013-10-01 Vodafone Group Plc Mobile communication terminal
US8712193B2 (en) 2000-11-06 2014-04-29 Nant Holdings Ip, Llc Image capture and identification system and process
US8792750B2 (en) 2000-11-06 2014-07-29 Nant Holdings Ip, Llc Object information derived from object images
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US10617568B2 (en) 2000-11-06 2020-04-14 Nant Holdings Ip, Llc Image capture and identification system and process

Cited By (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110925B2 (en) 2000-11-06 2015-08-18 Nant Holdings Ip, Llc Image capture and identification system and process
US9342748B2 (en) 2000-11-06 2016-05-17 Nant Holdings Ip. Llc Image capture and identification system and process
US8774463B2 (en) 2000-11-06 2014-07-08 Nant Holdings Ip, Llc Image capture and identification system and process
US8792750B2 (en) 2000-11-06 2014-07-29 Nant Holdings Ip, Llc Object information derived from object images
US10772765B2 (en) 2000-11-06 2020-09-15 Nant Holdings Ip, Llc Image capture and identification system and process
US8798368B2 (en) 2000-11-06 2014-08-05 Nant Holdings Ip, Llc Image capture and identification system and process
US8798322B2 (en) 2000-11-06 2014-08-05 Nant Holdings Ip, Llc Object information derived from object images
US8824738B2 (en) 2000-11-06 2014-09-02 Nant Holdings Ip, Llc Data capture and identification system and process
US8837868B2 (en) 2000-11-06 2014-09-16 Nant Holdings Ip, Llc Image capture and identification system and process
US8842941B2 (en) 2000-11-06 2014-09-23 Nant Holdings Ip, Llc Image capture and identification system and process
US8849069B2 (en) 2000-11-06 2014-09-30 Nant Holdings Ip, Llc Object information derived from object images
US8855423B2 (en) 2000-11-06 2014-10-07 Nant Holdings Ip, Llc Image capture and identification system and process
US8861859B2 (en) 2000-11-06 2014-10-14 Nant Holdings Ip, Llc Image capture and identification system and process
US8867839B2 (en) 2000-11-06 2014-10-21 Nant Holdings Ip, Llc Image capture and identification system and process
US8873891B2 (en) 2000-11-06 2014-10-28 Nant Holdings Ip, Llc Image capture and identification system and process
US8885982B2 (en) 2000-11-06 2014-11-11 Nant Holdings Ip, Llc Object information derived from object images
US8885983B2 (en) 2000-11-06 2014-11-11 Nant Holdings Ip, Llc Image capture and identification system and process
US8923563B2 (en) 2000-11-06 2014-12-30 Nant Holdings Ip, Llc Image capture and identification system and process
US8938096B2 (en) 2000-11-06 2015-01-20 Nant Holdings Ip, Llc Image capture and identification system and process
US9116920B2 (en) 2000-11-06 2015-08-25 Nant Holdings Ip, Llc Image capture and identification system and process
US8948544B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Object information derived from object images
US8948459B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Image capture and identification system and process
US10639199B2 (en) 2000-11-06 2020-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US10635714B2 (en) 2000-11-06 2020-04-28 Nant Holdings Ip, Llc Object information derived from object images
US10617568B2 (en) 2000-11-06 2020-04-14 Nant Holdings Ip, Llc Image capture and identification system and process
US8712193B2 (en) 2000-11-06 2014-04-29 Nant Holdings Ip, Llc Image capture and identification system and process
US10509820B2 (en) 2000-11-06 2019-12-17 Nant Holdings Ip, Llc Object information derived from object images
US9135355B2 (en) 2000-11-06 2015-09-15 Nant Holdings Ip, Llc Image capture and identification system and process
US9014513B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014514B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014516B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Object information derived from object images
US9014515B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Image capture and identification system and process
US9014512B2 (en) 2000-11-06 2015-04-21 Nant Holdings Ip, Llc Object information derived from object images
US9020305B2 (en) 2000-11-06 2015-04-28 Nant Holdings Ip, Llc Image capture and identification system and process
US9025813B2 (en) 2000-11-06 2015-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US9025814B2 (en) 2000-11-06 2015-05-05 Nant Holdings Ip, Llc Image capture and identification system and process
US9031278B2 (en) 2000-11-06 2015-05-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9031290B2 (en) 2000-11-06 2015-05-12 Nant Holdings Ip, Llc Object information derived from object images
US9036949B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Object information derived from object images
US9036947B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9036862B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Object information derived from object images
US9036948B2 (en) 2000-11-06 2015-05-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9046930B2 (en) 2000-11-06 2015-06-02 Nant Holdings Ip, Llc Object information derived from object images
US9087240B2 (en) 2000-11-06 2015-07-21 Nant Holdings Ip, Llc Object information derived from object images
US10500097B2 (en) 2000-11-06 2019-12-10 Nant Holdings Ip, Llc Image capture and identification system and process
US9104916B2 (en) 2000-11-06 2015-08-11 Nant Holdings Ip, Llc Object information derived from object images
US10509821B2 (en) 2000-11-06 2019-12-17 Nant Holdings Ip, Llc Data capture and identification system and process
US8948460B2 (en) 2000-11-06 2015-02-03 Nant Holdings Ip, Llc Image capture and identification system and process
US10095712B2 (en) 2000-11-06 2018-10-09 Nant Holdings Ip, Llc Data capture and identification system and process
US9141714B2 (en) 2000-11-06 2015-09-22 Nant Holdings Ip, Llc Image capture and identification system and process
US9148562B2 (en) 2000-11-06 2015-09-29 Nant Holdings Ip, Llc Image capture and identification system and process
US9154695B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Image capture and identification system and process
US9154694B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Image capture and identification system and process
US9152864B2 (en) 2000-11-06 2015-10-06 Nant Holdings Ip, Llc Object information derived from object images
US9170654B2 (en) 2000-11-06 2015-10-27 Nant Holdings Ip, Llc Object information derived from object images
US9182828B2 (en) 2000-11-06 2015-11-10 Nant Holdings Ip, Llc Object information derived from object images
US9235600B2 (en) 2000-11-06 2016-01-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9244943B2 (en) 2000-11-06 2016-01-26 Nant Holdings Ip, Llc Image capture and identification system and process
US9262440B2 (en) 2000-11-06 2016-02-16 Nant Holdings Ip, Llc Image capture and identification system and process
US9288271B2 (en) 2000-11-06 2016-03-15 Nant Holdings Ip, Llc Data capture and identification system and process
US9311553B2 (en) 2000-11-06 2016-04-12 Nant Holdings IP, LLC. Image capture and identification system and process
US9311552B2 (en) 2000-11-06 2016-04-12 Nant Holdings IP, LLC. Image capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US9311554B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Image capture and identification system and process
US9317769B2 (en) 2000-11-06 2016-04-19 Nant Holdings Ip, Llc Image capture and identification system and process
US9324004B2 (en) 2000-11-06 2016-04-26 Nant Holdings Ip, Llc Image capture and identification system and process
US9330328B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9330327B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9330326B2 (en) 2000-11-06 2016-05-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9336453B2 (en) 2000-11-06 2016-05-10 Nant Holdings Ip, Llc Image capture and identification system and process
US8718410B2 (en) 2000-11-06 2014-05-06 Nant Holdings Ip, Llc Image capture and identification system and process
US9360945B2 (en) 2000-11-06 2016-06-07 Nant Holdings Ip Llc Object information derived from object images
US9536168B2 (en) 2000-11-06 2017-01-03 Nant Holdings Ip, Llc Image capture and identification system and process
US9578107B2 (en) 2000-11-06 2017-02-21 Nant Holdings Ip, Llc Data capture and identification system and process
US9613284B2 (en) 2000-11-06 2017-04-04 Nant Holdings Ip, Llc Image capture and identification system and process
US9785651B2 (en) 2000-11-06 2017-10-10 Nant Holdings Ip, Llc Object information derived from object images
US9785859B2 (en) 2000-11-06 2017-10-10 Nant Holdings Ip Llc Image capture and identification system and process
US9805063B2 (en) 2000-11-06 2017-10-31 Nant Holdings Ip Llc Object information derived from object images
US9808376B2 (en) 2000-11-06 2017-11-07 Nant Holdings Ip, Llc Image capture and identification system and process
US9824099B2 (en) 2000-11-06 2017-11-21 Nant Holdings Ip, Llc Data capture and identification system and process
US9844466B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US9844468B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US9844467B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US9844469B2 (en) 2000-11-06 2017-12-19 Nant Holdings Ip Llc Image capture and identification system and process
US10080686B2 (en) 2000-11-06 2018-09-25 Nant Holdings Ip, Llc Image capture and identification system and process
US10089329B2 (en) 2000-11-06 2018-10-02 Nant Holdings Ip, Llc Object information derived from object images
US8548527B2 (en) 2004-04-16 2013-10-01 Vodafone Group Plc Mobile communication terminal
JP4521811B2 (en) * 2004-06-21 2010-08-11 株式会社バンダイナムコゲームス Program, information storage medium, and image generation system
JP2006004364A (en) * 2004-06-21 2006-01-05 Namco Ltd Program, information storage medium and image generation system
JP2012194984A (en) * 2006-01-26 2012-10-11 Evryx Technologies Inc System and method for acquiring and identifying data
JP2013026939A (en) * 2011-07-23 2013-02-04 Canon Inc Image processing device, image processing method, and program
US9002128B2 (en) 2012-03-15 2015-04-07 Panasonic Intellectual Property Corporation Of America Image processing apparatus, integrated circuit, program, imaging apparatus, and display apparatus
JPWO2013136403A1 (en) * 2012-03-15 2015-07-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Image processing device, integrated circuit, program, imaging device, display device
WO2013136403A1 (en) * 2012-03-15 2013-09-19 パナソニック株式会社 Image processing device, integrated circuit, program, imaging device, and display device

Similar Documents

Publication Publication Date Title
US7982743B2 (en) Method and apparatus for reading film grain patterns in a raster order in film grain simulation
CN101378459B (en) Image processing device, development apparatus, and method thereof
EP1089562A1 (en) Imaging device and signal processing method
TWI251787B (en) Apparatus, method and system for filtering two-dimensional (2-D) data
JP2004118384A (en) Image processing apparatus, obscure image generation device, obscure image generation method, and recording medium with image processing program recorded thereon
Schewe The digital negative: raw image processing in lightroom, camera Raw, and photoshop
JP2009194720A (en) Image processing apparatus, imaging apparatus, and image processing method
JP2007159094A (en) Image data processing apparatus and method, program, and recording medium
US7986856B2 (en) Method and apparatus for increasing brightness of image captured in low light
RU2503060C2 (en) Image processing device and method of driving image processing device
CN1252995C (en) Image processing equipment and its method and recording medium
US8665283B1 (en) Method to transfer image data between arbitrarily overlapping areas of memory
CN100534125C (en) Image processing method and image rotatable digital photo frame of implementing the same
JP4757206B2 (en) Image processing apparatus, image processing apparatus control method, and computer program
JP7020782B2 (en) Reproduction device and its control method
JP2020087104A (en) Computer program, image processing method and image processing apparatus
JP2007279873A (en) Data recorder
JP2012252673A (en) Processing information device, processing information method, and program
EP1784783B1 (en) Method of address-controlling memory with single buffer structure
JP2006166052A (en) Display control device and its method, recording medium and program
JP2005283694A (en) Image variable magnification processing method, image processing apparatus, program and recording medium
CN1760971A (en) Image display device, camera and their display method
JP2004147165A (en) Image processing method and image processor
US20160180499A1 (en) Method, apparatus and computer program product for alignment of images
JP2005051279A (en) Method of setting display direction of static image