CN103733219B - 图像处理装置、图像处理方法、及储存程序的储存媒体 - Google Patents
图像处理装置、图像处理方法、及储存程序的储存媒体 Download PDFInfo
- Publication number
- CN103733219B CN103733219B CN201280022556.XA CN201280022556A CN103733219B CN 103733219 B CN103733219 B CN 103733219B CN 201280022556 A CN201280022556 A CN 201280022556A CN 103733219 B CN103733219 B CN 103733219B
- Authority
- CN
- China
- Prior art keywords
- image
- aforementioned
- look
- information
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 128
- 238000003860 storage Methods 0.000 title claims description 140
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000013507 mapping Methods 0.000 claims abstract description 110
- 238000004458 analytical method Methods 0.000 claims description 99
- 230000008859 change Effects 0.000 claims description 89
- 238000004364 calculation method Methods 0.000 claims description 47
- 238000005520 cutting process Methods 0.000 claims description 21
- 238000010191 image analysis Methods 0.000 claims description 9
- 208000027877 Disorders of Sex Development Diseases 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 332
- 238000000034 method Methods 0.000 description 139
- 230000008569 process Effects 0.000 description 118
- 239000013598 vector Substances 0.000 description 99
- 210000004556 brain Anatomy 0.000 description 66
- 230000004048 modification Effects 0.000 description 54
- 238000012986 modification Methods 0.000 description 54
- 230000009471 action Effects 0.000 description 41
- 241000196324 Embryophyta Species 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 240000002853 Nelumbo nucifera Species 0.000 description 2
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 2
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 241000110058 Candidatus Phytoplasma pini Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明的课题在于解决现有技术无法输出高质量图像的问题。本发明的解决手段在藉由一种图像处理装置可输出高质量图像,该图像处理装置具备:储存部,可储存具有1个或2个以上对应信息的查找表,该对应信息为用以取得1个以上第一图像的全部或一部分和与该第一图像不同的第二图像的全部或一部分相对应所需的信息;约束条件储存部,可储存为输入图像、对应信息、或输出图像中的1种以上信息应满足的条件的约束条件;图像受理部,用于受理1个以上图像;映射部,使用1个或2个以上对应信息中的任一对应信息,以符合前述约束条件的方式,来取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分;及图像输出部,输出由映射部所取得的1个以上第二图像的全部或一部分所构成的输出图像。
Description
技术领域
本发明是关于一种用于处理图像的图像处理装置。
背景技术
现有技术中,已有以由下列装置所构成为特征的数字图像讯号的内插装置。该数字图像讯号的内插装置包括:接收输入图像数据,并将存在于预定画素的周边位置的预定数个画素数据抽出的装置;以及使用求得系数所需的画素数据,藉由最小二乘法以内插值和真正值的误差的自乘和达到最小的方式预先决定的预定数个系数、和所抽出的上述预定数个画素数据的线形1次结合,而内插产生预定画素的画素数据的装置(参考专利文献1)。
此外,亦有从第1数字视频讯号产生画素数较该第1数字视频讯号为多的第2数字视频讯号的数字视频讯号转换装置(参考专利文献2)。
先前技术文献
专利文献
专利文献1:日本特许第2825482号公报(第1页、图1等)
专利文献2:日本特许第3072306号公报(第1页、图1等)
发明内容
发明所欲解决的课题
然而,现有技术中,有难以输出充分高质量图像的情形。更具体而言,现有技术中,以图像转换装置转换所取得的图像,有不符预先决定的条件而对使用者造成不便的情形。此外,不符预先决定的条件的情形中,有例如图像转换装置转换所得的图像所具有的连续多个像素值超过255以上的情形。所谓充分高质量的图像,是指例如符合使用者的目的且容易认知的图像、分辨率高的图像等。
解决课题所用的手段
本申请案第一发明的图像处理装置具备:储存部,可储存具有1个或2个以上对应信息的查找表,该对应信息为用以取得1个或2个以上第一图像的全部或一部分和与第一图像不同的第二图像的全部或一部分相对应所需的信息;约束条件储存部,可储存为输入图像、对应信息、或输出图像中的1或2种以上信息应满足的条件的约束条件;图像受理部,用于受理1个或2个以上图像;映射部,使用1个或2个以上对应信息中的任一对应信息,以符合前述约束条件的方式,来取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个或2个以上第二图像的全部或一部分;以及图像输出部,输出由映射部所取得的1个以上第二图像的全部或一部分所构成的输出图像。
依此种构成,可以输出高质量图像。
再者,本申请案第二发明的图像处理装置中,相对于第一发明,约束条件为输出图像应满足的条件,映射部具备:输出图像候补取得装置,使用1个或2个以上对应信息中的任一对应信息,来取得第二图像的全部或一部分;判断装置,判断输出图像候补取得装置所取得的第二图像的全部或一部分是否满足约束条件;变更装置,经判断装置判断为未满足约束条件时,即以满足约束条件的方式将第二图像的全部或一部分进行变更,以取得变更图像;以及输出图像取得装置,使用经判断装置判断为满足约束条件的第二图像的全部或一部分、或变更装置所取得的变更图像、或经判断装置判断为满足约束条件的第二图像的全部或一部分及变更装置所取得的变更图像,来取得输出图像。
依此种构成,可以输出高质量图像。
此外,本申请案第三发明的图像处理装置中,相对于第二发明,查找表具有2个以上对应信息,且具备决定与图像受理部所受理的1个以上图像的全部或一部分相对应的第一图像的全部或一部分的图像分析部;输出图像候补取得装置则使用与图像分析部所决定的第一图像的全部或一部分相对应的对应信息,来取得和图像分析部所决定的第一图像的全部或一部分相对应的第二图像。
依此种构成,可以输出高质量图像。
又,本申请案第四发明的图像处理装置中,相对于第一发明,约束条件为输入图像应满足的条件;映射部具备:判断装置,判断图像受理部所受理图像的一部分的1个以上特征量是否满足约束条件;变更装置,在判断装置判断为未满足约束条件时,使用图像的一部分预先决定范围的周边像素的1个以上特征量,来取得图像的一部分的1个以上特征量;以及输出图像取得装置,使用变更装置所取得的1个以上特征量、或图像受理部所受理的图像的一部分的1个以上特征量,来取得1个以上第二图像的一部分。
依此种构成,可以输出高质量图像。
此外,本申请案第五发明的图像处理装置中,相对于第一发明,查找表具有2个以上对应信息,且具备决定与图像受理部所受理的1个以上图像的全部或一部分相对应的第一图像的全部或一部分的图像分析部,约束条件为不连续使用同一对应信息;而映射部则具备:判断装置,取得用以取得1个以上第二图像的全部或一部分所需的对应信息,并依据约束条件来判断对应信息和刚刚使用过的对应信息是否为同一个;变更装置,在判断装置判断为未满足约束条件时,则除了在图像分析部决定的第一图像的全部或一部分外,再次将决定第一图像的全部或一部分的指示传送到图像分析部,并取得与所决定的第一图像的全部或一部分相对应的对应信息;以及输出图像取得装置,使用变更装置所取得的对应信息,来取得1个以上第二图像的一部分,而映射部保持用以确定至少最近使用过的对应信息的信息。
依此种构成,可以输出高质量图像。
再者,本申请案第六发明的图像处理装置中,相对于第一至第五的任一发明,第一图像的全部或一部分是为要输入的图像中的一部分的第一时空区块,第二图像的全部或一部分为要输出到画面的图像的一部分的第二时空区块;图像受理部为受理1个以上图像的集合的图像,并具备:分割部,将图像受理部所受理的图像依空间性、或时间性、或空间性及时间性分割成2个以上,并取得2个以上第一时空区块;合成部,将映射部所取得的2个以上各输出图像的全部或一部分配置在与2个以上各输出图像的全部或一部分相对应的第一时空区块的时间性、或空间性、或空间性及时间性位置,以产生输出图像;图像输出部则将合成部所产生的输出图像予以输出。
依此种构成,可以输出高质量图像。
此外,本申请案第七发明的图像处理装置中,相对于第一至第六的任一发明,对应信息为具有:有关在一个环境所得的一个对象的第一图像的全部或一部分的1个以上特征量;以及用以产生与第一图像的全部或一部分相对应的第二图像的全部或一部分的演算式、或要代入演算式的参数的集合的信息。
依此种构成,可以输出高质量图像。
又,本申请案第八发明的图像处理装置中,相对于第一至第七的任一发明,储存部储存有2组对以上用以识别查找表的种类的种类识别符、及对应种类识别符的查找表的组对;映射部具备取得要利用的查找表种类的1个以上种类识别符加以识别的种类识别符取得装置;映射部使用对应于1个以上种类识别符的1个以上查找表所具有的任一对应信息,以符合约束条件的方式,来取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分。
依此种构成,可以输出高质量图像。
又,本申请案第九发明的图像处理装置中,相对于第一至第八的任一发明,又具备:受理使用者的指示的指示受理部;以及按照指示将查找表所具有的1个以上对应信息的任一者加以变更的查找表更新部。
依此种构成,可以输出高质量图像。
本申请案第十发明的图像处理装置,具备:储存部,可储存具有2个以上对应信息的1个查找表、或具有1个以上对应信息的2个以上查找表,而该对应信息为使1个以上第一图像的全部或一部分、及和第一图像不同的第二图像的全部或一部分取得对应所需的信息;图像受理部,用于受理1个以上图像;图像分析部,取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上特征量;映射部,根据图像分析部所取得的1个以上特征量,进行从一个查找表选择1个以上对应信息的动作、或选择查找表及查找表所具有的1个以上对应信息的动作中的一个动作,并使用所选择的1个以上对应信息,来取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分;图像输出部,将映射部所取得的1个以上第二图像的全部、或为映射部所取得的1个以上第二图像的一部分的集合的1个以上输出图像予以输出。
依此种构成,藉由选择适当的对应信息,可以输出高质量图像。
而且,本申请案第十一个发明的图像处理装置中,相对于第十发明,图像分析部取得为图像受理部所受理的1个以上图像的一部分的特征量的近傍特征量、及为图像受理部所受理的1个以上图像整体的特征量的整体特征量。
依此种构成,藉由使用近傍特征量与整体特征量双方可选择适当的对应信息,故可输出高质量图像。
再者,本申请案第十二发明的图像处理装置中,相对于第十或第十一发明,储存部储存有2组对以上由识别查找表的种类的种类识别符及对应于种类识别符的查找表所组成的组对,且具备受理使用者的指示的指示受理部,而映射部则具备:种类识别符取得装置,取得对应于指示的1个以上种类识别符;以及输出图像取得装置段,在对应于1个以上种类识别符的1个以上查找表所具有的对应信息中,使用与图像分析部所取得的1个以上特征量相对应的1个以上对应信息,来取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分,作为输出图像的全部或一部分。
依此种构成,透过对应使用者的指示的适当查找表,可以输出高质量图像。
而且,本申请案第十三发明的图像处理装置,相对于第十或第十一发明,又具备:指示受理部,用以受理使用者的指示;以及查找表更新部,按照指示,将查找表所具有的2个以上对应信息的任一者予以变更。
依此种构成,透过可将查找表客制化,可以输出更高质量的图像。
又,本申请案第十四发明的图像处理装置中,相对于第十至第十三的任一发明,映射部根据图像分析部所取得的1个以上特征量,进行选择可将与图像受理部所受理的1个以上图像相对应的1个以上第二图像的2个以上对应信息输出的动作、或选择可将与图像受理部所受理的1个以上图像相对应的1个以上第二图像输出的查找表及2个以上对应信息的动作中的一个动作,并使用所选择的2个以上对应信息,来取得1个以上第二图像的全部或一部分。
依此种构成,可以输出高质量图像。
此外,本申请案第十五发明的图像处理装置中,相对于第十至第十四的任一发明,第一图像的全部或一部分是为要输入的图像中的一部分的第一时空区块,第二图像的全部或一部分为要输出到画面的图像中的一部分的第二时空区块;图像受理部为受理1个以上图像的集合的图像,并具备分割部,用以将图像受理部所受理的图像依空间性、或时间性、或空间性及时间性分割成2个以上,并取得2个以上第一时空区块;图像分析部则按分割部取得的2个以上各第一时空区块的每个,来取得与各第一时空区块相对应的1个以上特征量;映射部按2个以上各第一时空区块的每个,使用与图像分析部所取得的1个以上特征量相对应的对应信息,来取得和第一时空区块对应的第二时空区块,且具备:合成部,将映射部所取得的2个以上各第二时空区块配置在与2个以上各第二时空区块对应的第一时空区块的时间性、或空间性、或空间性及时间性位置,以产生输出图像;图像输出部则将合成部所产生的输出图像予以输出。
依此种构成,可以输出高质量图像。
又,本申请案第十六发明的图像处理装置中,相对于第十至第十五的任一发明,对应信息为具有:有关在一个环境所得的一个对象的第一图像的全部或一部分的1个以上特征量;以及用以产生与第一图像的全部或一部分相对应的第二图像的全部或一部分的演算式、或代入演算式的参数的集合的信息。
依此种构成,可以输出高质量图像。
再者,本申请案第十七发明的图像处理装置中,相对于第十至第十六的任一发明,储存部储存有2组对以上由识别查找表的种类的种类识别符、及和种类识别符对应的查找表所组成的组对;映射部则具备:种类识别符取得装置,使用图像分析部所取得的1个以上特征量,来取得1个以上种类识别符;以及输出图像取得装置,从与1个以上种类识别符相对应的1个以上查找表所具有的对应信息中,使用与图像分析部所取得的1个以上特征量相对应的1个以上对应信息,来取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分,作为输出图像的全部或一部分。
依此种构成,透过利用符合输入图像的适当查找表,可输出高质量图像。
而且,本申请案第十八发明的图像处理装置中,相对于第十至第十七的任一发明,再具备可储存输入图像、对应信息、或输出图像中的1种以上信息应满足的约束条件的约束条件储存部;映射部则使用1个或2个以上对应信息中的任一对应信息,以符合约束条件的方式,来取得与图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分。
发明的功效
若依本发明所提供的图像处理装置,可以输出高质量图像。
附图说明
图1为实施例1的图像处理装置1的方块图;
图2为有关图像处理装置1的动作的说明流程图;
图3为有关图像分析处理的说明流程图;
图4为有关映射处理的说明流程图;
图5为有关种类识别符取得处理的说明流程图;
图6为有关查找表更新处理的说明流程图;
图7为有关另一图像处理装置1的方块图;
图8为实施例2的图像处理装置2的方块图;
图9为有关图像处理装置2的动作的说明流程图;
图10为另一图像处理装置2的方块图;
图11为实施例3的查找表取得装置3的方块图;
图12为查找表取得装置3的有关第二图像选择动作的说明流程图;
图13为查找表取得装置3的有关查找表构成动作的说明流程图;
图14为显示多个第二图像信息候补集合例的图;
图15为显示第二图像信息候补集合的输出例的图;
图16为显示实施例4的第一图像例的图;
图17为显示第二图像例的图;
图18为显示第一时空区块例的图;
图19为显示第二时空区块例的图;
图20为说明查找表构成部的动作的示意图;
图21为查找表构成部的处理的示意图;
图22为查找表构成部的处理的示意图;
图23为显示查找表例的图;
图24为实施例5的图像处理装置4的方块图;
图25为显示景深较浅的图像例的图;
图26为映射部的处理的示意图;
图27为实施例6的图像处理装置5的方块图;
图28为显示约束信息例的图;
图29为有关图像处理装置5的动作的说明流程图;
图30为有关映射处理的说明流程图;
图31为有关约束条件决定处理的说明流程图;
图32为实施例7的图像处理装置6的方块图;
图33为显示LUT变更信息管理表例的图;
图34为有关图像处理装置6的动作的说明流程图;
图35为有关映射处理的说明流程图;
图36为有关LUT决定处理的说明流程图;
图37为实施例8的图像学习装置7的方块图;
图38为上述实施例的计算器系统的概观图;以及
图39为计算器系统的方块图。
具体实施方式
以下,参考图面对图像处理装置等的实施例加以说明。此外,实施例中,由于标注相同符号的构成组件执行相同的动作,故有省略再次重复说明的情形。
(实施例1)
本实施例中,使用后述的查找表(look up table,LUT),相较于所受理的图像,来说明取得其脑负荷依目的进一步调整的图像的图像处理装置。此外,所谓经依目的而调整脑负荷的图像,是指例如视听时可使脑负荷进一步减低的图像、或视听时对脑部给予刺激以増加娱乐性的图像等。所谓视听时可使脑部负荷更进一步减低的图像,是指例如更容易认知对象的图像等。再者,所谓目的,通常为视听者进行图像视听时的目的,例如想要放松地进行视听的目的、想要长时间视听而尽量不会产生疲劳的目的、想要品尝娱乐性的目的等。
再者,本实施例中,取得经依目的而调整脑负荷的图像的处理,是按照例如每个时空区块进行处理。有关时空区块的说明,如后陈述。
又,本实施例中,查找表可客制化。
此外,本实施例中,图像处理装置1具有在输出候补的图像未满足预定条件时即进行转换以满足该预定条件的功能。
图1为本实施例的图像处理装置1的方块图。
图像处理装置1具备:储存部101、约束条件储存部102、指示受理部103、图像受理部104、分割部105、图像分析部106、映射部107、合成部108、图像输出部109、及查找表更新部110。
映射部107具备例如种类识别符取得装置1071、输出图像候补取得装置1072、判断装置1073、变更装置1074、及输出图像取得装置1075。
储存部101得以储存1个或2个以上的查找表。储存部101亦可储存2组对以上由用以识别查找表种类的种类识别符和对应于种类识别符的查找表所构成的组对。此外,查找表的数据构造不限于表(table)型构造。查找表的数据构造则非所问。再者,所谓查找表的种类,亦可为查找表本身,当无庸赘言。
在此处,查找表具有1个或2个以上对应信息。对应信息为用以取得1个或2个以上第一图像的全部或一部分与1个或2个以上第二图像的全部或一部分相对应的信息。查找表所具有的对应信息为一个时,这种对应信息为例如转换图像的演算式、或为要加入到转换图像演算式的1个以上参数群。对应信息亦可为例如计算时空区块画素值的中间值的演算式。
又,1个以上第一图像的全部或一部分及1个以上第二图像的全部或一部分亦可为待输出的一个画面的图像,也可为一个画面的一部分区块的图像,也可为一个画素,亦可为时间上连续的多个画面,亦可为时间上连续的多个画面的空间上的一部分(后述的时空区块),或者是时间上连续的多个画面的连续一画素的集合等。易言之,第一图像及第二图像的信息量的单位并非所问。此外,所谓时空区块,通常是指将影像作空间性、或时间性、或空间性及时间性分割所得的一部分。但是,时空区块只要是画素的集合即可。易言之,时空区块并不限于矩形的连续区域。时空区块亦可为非矩形且不连续的图像区域。而且,分割图像所取得的多个时空区块也可具有部分重复的画素。
在此处,第一图像和第二图像为针对同一个对象的不同图像。例如,第一图像为像素数较少的图像(例如,SD视频讯号式图像),第二图像为像素数较第一图像多的图像(例如,HD视频讯号式图像)。在此种情形中,查找表为例如由像素数较少的图像的图像数据回复到像素数较多的图像的图像数据的演算式及演算参数。
第二图像为例如在进行视听时,相较于第一图像,可使脑部的负荷更为减低的图像。此外,第二图像为对一个对象进行认知时,相较于第一图像,通常可使脑部的负荷更为减低的图像。所谓可使脑部的负荷更为减低的图像,是为脑部可以更感受到质感、远近感、存在感、临场感、重量感、温热感、凉爽感、速度感、跃动感、动作顺畅性、新鲜感、高级感中的1个以上属性的图像。而且,属性会依图像而不同。此外,所谓质感,是指材质感、光泽感、透明感、蓬松感、湿润感等包含于图像的对象的质感。又,所谓远近感,也可说是解像感、立体感、纵深感、空气感等。
此外,所谓可减低脑部负荷的图像,也可改说成可让脑部感受到舒适的图像。
再者,相较于1个以上第一图像,可减低脑部负荷的1个以上第二图像,是为例如在与1个以上第一图像不同的环境所取得的1个以上图像。亦即,在此情况中,例如1个以上第二图像取得图像的环境是与1个以上第一图像不同。
所谓第一图像,是例如在一个环境所得的有关一个对象的图像。再者,所谓第二图像,是例如在另一环境所得的有关前述一个对象的图像。此外,所谓第一图像,例如在一个环境对一个对象进行拍摄所得的图像。而且,所谓第二图像,例如在另一环境对前述一个对象进行拍摄所得的图像。再者,在此情况中,第二图像和第一图像通常为相同画素数,但亦可为不同画素数。此外,所谓拍摄一个对象所得的图像,亦可为等于对一个对象进行拍摄而制作出来的图像。
此外,所谓另一环境,是为与一个环境不同的环境,且为可以拍摄到比一个环境更符合目的的图像的环境。而且,所谓另一环境,是为例如可拍摄到比一个环境更能减低脑负荷的图像的环境。再者,所谓另一环境,可为例如像下列(1)至(9)的环境。(1)照明(光源)的光量比一个环境多的环境、(2)与一个环境相比较,其光源位置能够清楚表现出图像上的对象影子的环境、(3)与一个环境相比较,其光源位置能够清楚表现出图像上的对象立体感的环境、(4)与一个环境相比较,其摄影机位置能够清楚表现出图像上的对象立体感的环境、(5)照明颜色与一个环境不同的环境、(6)天候与一个环境不同的环境、(7)温度或者湿度与一个环境不同的环境、(8)景深与一个环境不同的环境、(9)快门速度与一个环境不同的环境等。
亦即,就一个环境和另一环境上,例如光量、光源位置、光源颜色、摄影机位置、摄影机设定等的拍摄环境并不相同。再者,所谓环境,通常是指拍摄环境,但只要是有关于取得图像的环境,则任何环境均可。
相对于第一图像,经调整脑负荷的第二图像,亦包含例如娱乐性比第一图像更为提升的图像。娱乐性提升的图像,对于喜好娱乐性的使用者而言,是为适于让脑部感受的图像。所谓适于让脑部感受的图像,亦可称之为脑部可享受刺激的图像。而且,娱乐性提升的多个图像(影像),是为例如局部插入有闪亮画面(flash picture如闪光灯拍摄)的影像。
此外,经调整脑负荷的第二图像,若为娱乐性比第一图像提升的图像时,此种第二图像虽能使人更享受脑部的刺激,但也会有脑部负荷更为増加的情形。
再者,相较于第一图像,经依目的而调整脑负荷的第二图像,是为例如相对于拍摄一个对象所得的第一图像,将该第一图像变形后的图像。将第一图像变形所得的第二图像,是为例如摄入第一图像的人物的肖像图像。肖像图像等变形后的图像,对于使用者而言,容易辨识对象,且可说是在认知对象之际,得以减低脑负荷的方式予以调整的图像。
而且,相较于第一图像,经依目的而调整脑负荷的第二图像,是为例如相对于拍摄一个对象所得的第一图像,对描写同一个对象的绘画进行拍摄所得的图像。透过描写对象,对象所具有的概念表现容易了解。亦即,相较于直接拍摄对象所得的图像,将描写对象的绘画进行拍摄的图像,可说是为较可减低脑负荷的调整脑负荷的图像。
同时,相较于第一图像,经依目的而调整脑负荷的第二图像,是为例如相对于拍摄一个对象所得的第一图像,为该第一图像的CG图像。依据对象,相较于拍摄图像,CG图像可说是为较可减低脑负荷的调整脑负荷的图像。
而且,对应信息是为例如第一图像相关信息和第二图像相关信息的组对。第一图像相关信息是为有关1个或2个以上第一图像的全部或一部分的信息。第二图像相关信息是为有关1个或2个以上第二图像的全部或一部分的信息。第一图像相关信息为例如从1个以上第一图像的全部或一部分抽出的1个以上特征量。另外,第二图像相关信息是为例如1个以上第二图像的全部或一部分。此外,第二图像相关信息为例如产生1个以上第二图像的全部或一部分的演算式。同时,第二图像相关信息是为例如放入到用以产生1个以上第二图像的全部或一部分的演算式的参数群组对。在此种情形中,演算式是由映射部107所保存。又,从图像抽出的1个以上特征量中具有例如为1个以上图像的一部分特征量的近傍特征量、及为1个以上图像整体的特征量的整体特征量。近傍特征量中具有例如画素值、活性值、时空间相关性、移动向量、频率分布等。再者,所谓活性值(activity)为例如多个画素的最大值及最小值、动态范围(dynamic range,DR)、多个画素间的差分值等。多个画素间的差分值,可为空间内的多个画素间的差分值,亦可为时间方向的多个画素间的差分值,也可为空间内及时间方向的多个画素间的差分值。此外,整体特征量为例如图像整体的画素值分布、图像整体的移动向量分布、1个或2个以上图像整体的时空间相关性、图像整体的噪声量、图像格式有关图像整体的编辑的信息(是否为PinP、是否为PoutP、有无字幕等)、有关为1个以上图像的内容的内容信息、图案检测结果(脸部等)。此处,所谓内容信息,是为例如电子节目表(EPG)所具有的节目的类型、标题、演员姓名等。此外,也将1个以上特征量权称作特征量向量。
储存部101虽以非挥发性储存媒体较合适,但亦可用挥发性储存媒体来实现。特别是,储存部101较佳为非挥发性RAM。此外,查找表储存在储存部101的过程并非所问。例如,可藉由储存媒体使查找表储存在储存部101,也可使经由通信线路等传送的查找表储存在储存部101,或者,也可使藉由输入装置输入的查找表储存在储存部101。
约束条件储存部102得以储存约束条件。所谓约束条件,是为有关图像处理装置1的任一处理的条件。所谓有关处理的条件,是为例如相对于作为处理对象的图像(输入图像)的全部或一部分的条件。再者,所谓有关处理的条件,是为例如有关利用于处理的查找表的条件。而且,所谓有关处理的条件,是为例如有关输出图像的条件。所谓约束条件,可说是输入图像、对应信息、或输出图像中的1种以上信息应满足的条件。而且,所谓相对于作为处理对象的图像(输入图像)的全部或一部分的条件,是为例如以处理对象的1个以上特征量(例如,亮度、画素值等)作为参数的条件。相对于输入图像的全部或一部分的条件是指例如画素值未逸离正常范围之意。此外,画素值的正常范围是预先予以储存。再者,所称有关查找表的条件,是为例如关于查找表所具有的对应信息的选择频度等的选择条件。有关查找表的条件是指例如不使用和刚刚用过的对应信息相同的对应信息之意。同时,有关查找表的条件是指例如在第一特定条件下连续地使用相同对应信息的情形、在第二特定条件下固定使用特定对应信息的情形、在第三特定条件下不连续使用相同对应信息的情形、在第四特定条件下不使用特定对应信息的情形等。而且,例如所谓有关输出图像的条件,是为以输出图像的1个以上特征量(例如,亮度、画素值等)作为参数的条件。所谓有关输出图像的条件,可说是映射部107所取得的1个以上第二图像的全部或一部分应满足的约束条件。有关输出图像的条件是为例如活性值在临介值以内的情形。再者,有关输出图像的条件是为例如画素的最大值“画素的值<=255”、画素的最小值“画素值>=10”、关于画素值的变化Δ的“画素亮度的时间性变化<=100”、动态范围“DR<=200”等。约束条件亦可嵌入于执行图像处理的程序中,应无庸置疑。
再者,约束条件亦可包含相对于输入图像的全部或一部分的条件、有关查找表的条件、有关输出图像的条件中的2种以上条件。此种约束条件为例如输入图像的画素值和输出图像的画素值的差大于临限值的情形。此外,临限值为预先予以储存。
约束条件储存部102较佳为非挥发性储存媒体。亦可用挥发性储存媒体来实现。约束条件储存于约束条件储存部102的过程并非所问。例如,可藉由储存媒体使约束条件储存于约束条件储存部102、使藉由通讯线路等传送的约束条件储存于约束条件储存部102、或者使藉由输入装置输入的约束条件储存于约束条件储存部102。
指示受理部103为受理指示。该指示可从使用者受理,可从外部的储存媒体读取,也可从外部装置接收。而且,该指示也可嵌入于从广播装置传送的广播讯号中。此外,指示是为变更查找表以符合使用者的喜好等的指示。指示包含例如图像立体感的程度。再者,指示是为例如从正在输出的1个以上各第二图像信息候补集合所具有的2个以上第二图像的候补中,选择1个以上第二图像的候补的指示。这种选择为选择符合使用者喜好的图像的指示。同时,指示亦可包含例如年龄或年龄层(30岁世代、60岁世代等)、性别、有无近视或老花-障碍调节等使用者属性。此外,指示为例如目的或课题或喜好。目的或课题或喜好则有“由于不容易看见图像,所以希望能看得更清楚”、“图像太暗,不容意看见”、“希望看到更棒的画”等例子。总之,指示可有各种内容或种类。
其次,所谓受理包含由遥控器或键盘或鼠标、触控面板等输入装置所输入的信息的受理、经由有线或无线通讯线路传送的信息的接收、从光盘或磁盘、半导体存储器等储存媒体读取的信息的受理等概念。指示的输入装置可利用遥控器或九宫格或键盘或鼠标或选单画面等,任一种均可。指示受理部103可用数字健盘或键盘等输入装置的装置驱动器或选单画面的控制软件等来实现。
图像受理部104为受理图像。同时,图像受理部104也可受理为1个以上图像的集合的影像。此处,所谓图像,可为一个静态画、也可为由2个以上静态画所构成的动画。图像受理部104可由例如电视调谐器(television tuner)、或者无线或有线接收装置等来实现。此外,所谓图像的受理也可从储存媒体读取图像等。亦即,不问其受理图像的装置为何。
分割部105是将图像受理部104所受理的图像(静态画、动画均可)依空间性、或时间性、或空间性及时间性分割成2个以上,以取得2个以上第一时空区块。此外,如上所述,分割图像所取得的多个时空区块也可包含重复的区域。而且,如上所述,分割图像所取得的多个时空区块不限于矩形的连续区域。时空区块亦可为非矩形且不连续图像的区域。而且,分割部105可例如将1画面(1图场或1图框,即frame影格)分割为4个,也可将n个画面(n为2个以上的整数)分割为8个。此外,分割的数目并非所问。再者,分割部105亦可从图像中一个一个地取得画素,再传递到图像分析部106。亦即,时空区块也可为1个画素。图像输出装置1为将SD视频讯号升频转换(upconversion)到HD视频讯号的装置时,分割部105会使转换到例如(2×2×8位=32位)区块的视频讯号产生。
分割部105通常可由MPU或存储器等来实现。分割部105的处理程序通常是以软件来实现,该软件储存于ROM等储存媒体。但也可用硬件(专用电路)来实现。
图像分析部106用以决定与图像受理部104所受理的1个以上图像的全部或一部分相对应的第一图像的全部或一部分。例如,图像分析部106也可按分割部105所取得的2个以上各第一时空区块的每个,来决定与各第一时空区块相对应的第一图像的全部或一部分。另外,图像分析部106也可决定2个以上第一图像的全部或一部分。
再者,例如,图像分析部106会对图像受理部104所受理的图像、或分割部105所取得的2个以上各第一时空区块进行分析,并取得1个以上特征量,且决定与1个以上特征量相对应的第一图像的全部或一部分。此处,所谓1个以上特征量,是为例如上述的近傍特征量、整体特征量中的1个以上特征量。此外,图像分析部106也可只是分析图像受理部104所受理的1个以上图像的全部或一部分,以取得1个以上特征量的处理。此外,图像分析部106取得的特征量较佳为包含整体特征量与近傍特征量两者。
而且,决定与1个以上特征量相对应的第一图像的全部或一部分的处理,是为例如计算所取得的特征量向量、和各对应信息所具有的第一图像的全部或一部分的特征量向量的距离,以取得与该距离为最小的第一图像的全部或一部分的特征量向量相对应的参数群、或演算式等的处理。
又,决定与1个以上特征量相对应的第一图像的全部或一部分的处理,是为例如从所取得的特征量向量来计算查找表地址的处理。此外,计算查找表地址的处理是为将特征量向量代入已预先储存的演算式中进行演算的处理。
再者,图像输出装置1为将SD视频讯号升频转换到HD视频讯号的装置时,图像分析部106包含:用以检测例如以区块的像素数据最大值MAX、其最小值MIN、(MAX-MIN=DR)来表示的动态范围(dynamic range)DR的电路;将动态范围DR作24等分,以产生量子化步骤(quantization step)的电路;藉由减去最小值MIN来使该区块的像素数据正规化的减法电路;及以量子化步骤来除减法电路的输出,亦即再量子化的量子化电路。然后,图像分析部106取得例如每个区块的动态范围DR、最小值MIN、及和各像素对应的4位编码讯号DT。
接着,图像分析部106会从查找表取得和编码讯号DT(1区块16位)相对应的对应信息。亦即,图像分析部106会决定和所输入的SD视频讯号的各区块相对应的第一图像。
图像分析部106通常可由MPU或存储器等来实现。图像分析部106的处理程序通常可以软件来实现,该软件储存于ROM等储存媒体。但,亦可用硬件(专用电路)来实现。
映射部107使用查找表中的1个或2个以上对应信息中的任一对应信息,来取得与图像受理部104所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分。同时,例如,映射部107会使用与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息(亦包含使用对应信息的一部分(例如,参数群)的情况),来取得与图像分析部106所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分,作为输出图像的全部或一部分。映射部107会例如取得要放入与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息所具有的演算式的参数群,进行演算,而产生与图像分析部106所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分。而且,映射部107会例如从对应信息取得与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息所具有的第二图像的全部或一部分。
映射部107也可执行第一动作、或第二动作中的一个动作。此处,所谓第一动作,是为使用图像分析部106所取得的1个以上特征量,来选择相较于图像受理部104所受理的1个以上图像,可输出经以更符合目的的方式调整脑负荷的图像的1个以上对应信息的动作。再者,所谓第二动作,是为选择相较于图像受理部104所受理的1个以上图像,可输出经以更符合目的的方式调整脑负荷的图像的查找表及1个以上对应信息的动作。
接着,映射部107也可使用该选择的1个以上对应信息,来取得与图像受理部104所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分。
再者,映射部107亦可执行第三动作、或第四动作中的一个动作。此处,所谓第三动作,是使用图像分析部106所取得的1个以上特征量,来选择相较于图像受理部104所受理的1个以上图像,可输出经以更符合目的的方式调整脑负荷的图像的2个以上对应信息的动作。又,所谓第四动作,是为选择相较于图像受理部104所受理的1个以上图像,可输出经以更符合目的的方式调整脑负荷的图像的查找表及2个以上对应信息的动作。
接着,映射部107亦可使用该选择的2个以上对应信息,来取得1个以上第二图像的全部或一部分。此外,使用2个以上对应信息取得1个以上第二图像的全部或一部分时,映射部107亦可使用2个以上各对应信息来处理图像受理部104所受理的1个以上图像的全部或一部分,并将经该处理的2个以上结果融合,以取得1个以上第二图像的全部或一部分。同时,使用2个以上对应信息来取得1个以上第二图像的全部或一部分时,映射部107亦可使用2个以上对应信息来产生新的对应信息,并使用该新的对应信息来取得1个以上第二图像的全部或一部分。此外,上述的所谓2个以上结果的融合,是为例如使用图像的2个以上属性的两者来产生图像的情形、或者产生带有2个以上属性的中间性质的图像的情形等。
映射部107亦可按2个以上各第一时空区块的每个,使用与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息(亦包含使用对应信息的一部分的情形)来取得第二时空区块。此外,该第二时空区块是为与图像分析部106所决定的第一图像的全部或一部分相对应的第二时空区块。
再者,映射部107取得例如要放入与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息所具有的演算式的参数群,进行演算,以取得与图像分析部106所决定的第一图像的全部或一部分相对应的第二时空区块。而且,映射部107从对应信息取得例如与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息所具有的第二图像的全部或一部分(第二时空区块)。
此外,映射部107也可在取得第二图像的全部或一部分后进行修正处理。修正处理是为由映射部107使用图像受理部104所受理的图像的全部或一部分的特征量、和对应信息所具有的第一图像的全部或一部分的特征量,来修正第二图像的全部或一部分的处理。再者,修正取得的图像亦可称为第二图像,也可称作输出图像。修正处理是为例如映射部107取得图像受理部104所受理的图像的全部或一部分的特征量、和对应信息所具有的第一图像的全部或一部分的特征量的差分,并使用该差分来修正第二图像的全部或一部分,使输出图像的全部或一部分更符合图像受理部104所受理的图像的全部或一部分的修正处理。
映射部107通常可由MPU或存储器等来实现。映射部107的处理程序通常是以软件来实现,该软件为储存于ROM等储存媒体。但亦可用硬件(专用电路)来实现。
以下,说明有关映射部107具备种类识别符取得装置1071、输出图像候补取得装置1072、判断装置1073、变更装置1074、及输出图像取得装置1075的情形。此外,映射部107也有不具备种类识别符取得装置1071、输出图像候补取得装置1072、判断装置1073、变更装置1074、以及输出图像取得装置1075的情形。
构成映射部107的种类识别符取得装置1071是取得用以识别要利用的查找表种类的1个或2个以上种类识别符。种类识别符取得装置1071在例如使种类识别符与图像的全部或一部分的1个以上特征量相对应,并储存于储存部101时,可取得图像受理部104所受理图像的全部或一部分的1个以上特征量,并决定与该1个以上特征量最近似的1个以上特征量,然后从储存部101取得与该1个以上特征量相对应的种类识别符。而且,种类识别符取得装置1071也可将包含于未图示的EPG储存部中所储存的EPG(电子节目表)的节目(输出中节目)的类型当作种类识别符。而且,种类识别符取得装置1071也可将由使用者受理的种类识别符储存于未图标的储存媒体,再取得这种种类识别符。此外,种类识别符取得装置1071取得例如和指示受理部103所受理的指示相对应的1个以上种类识别符。例如,指示受理部103受理与“由于图像不容易看见,所以希望能看得更清楚”相对应的目的时,种类识别符取得装置1071可取得识别减低噪声的查找表的种类的种类识别符;又例如,指示受理部103受理与“由于图像不容易看见,所以希望能看得更清楚”相对应的目的时,种类识别符取得装置1071也可取得用以识别使照明环境明亮化的查找表的种类的种类识别符。而且,例如指示受理部103在受理与“由于不容易看见图像,所以希望能看得更清楚”相对应的目的时,种类识别符取得装置1071可取得减低噪声的查找表的种类识别符、和使照明环境明亮化的查找表的种类识别符。
再者,例如指示受理部103在受理与“由于不容易看见图像,所以希望能看得更清楚”相对应的目的时,种类识别符取得装置1071会检测图像中的噪声,并检知是否存在有临限值以上的噪声。在判断到存在有临限值以上的噪声时,即取得减低噪声的查找表的种类识别符。此外,例如指示受理部103在受理与“由于不容易看见图像,所以希望能看得更清楚”相对应的目的时,种类识别符取得装置1071会取得图像亮度值的分布。也可在判断为图像的亮度分布暗到未满足预先决定的条件时,即取得使照明环境明亮化的查找表的种类识别符。
种类识别符取得装置1071通常可由MPU或存储器等来实现。种类识别符取得装置1071的处理程序通常是以软件来实现,该软件则储存于ROM等储存媒体。但,亦可用硬件(专用电路)来实现。
输出图像候补取得装置1072使用与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息(即:亦可为对应信息的一部分),取得与图像分析部106所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分。此处,所取得的第二图像的全部或一部分是为输出图像的全部或一部分的候补。再者,所谓“取得第二图像的全部或一部分”,是指使用例如要代入对应信息所具有的演算式、或对应信息所具有的演算式的参数的集合,并执行演算,以取得第二图像的全部或一部分的情形。在此情况中,对应信息具有产生与第一图像的全部或一部分相对应的第二图像的全部或一部分所需的演算式、或要代入演算式的参数的集合。同时,所谓“取得第二图像的全部或一部分”亦可为,例如,取得包含于和图像分析部106所决定的第一图像的全部或一部分相对应的对应信息的第二图像的全部或一部分的情形。
例如,图像输出装置1为将SD视频讯号升频转换到HD视频讯号的装置时,输出图像候补取得装置1072会读取包含在和图像分析部106所决定的第一图像相对应的对应信息的演算式及演算参数。
接着,输出图像候补取得装置1072会将演算参数代入所读取的演算式,并进行演算。藉此,即可获得HD视频讯号的回复数据。透过上述作法,输出图像候补取得装置1072就可取得第二图像。
输出图像候补取得装置1072通常可由MPU或存储器等来实现。输出图像候补取得装置1072的处理程序通常是用软件来实现,该软件则储存于ROM等储存媒体。但,也可以硬件(专用电路)来实现。
判断装置1073判断是否满足约束条件。约束条件为对于作为处理对象的图像的全部或一部分的条件时,判断装置1073会取得图像受理部104所受理的图像的全部或一部分的1个以上特征量,来判断该1个以上特征量是否满足约束条件。此外,约束条件为有关查找表的条件时,判断装置1073则取得有关查找表过去使用的信息(对应于条件的使用历史记录)来判断该使用历史记录是否满足约束条件。此外,所谓使用历史记录,是为例如界定输入图像中的最近n个图场(n为1以上的整数)的处理中所用的查找表的种类识别符、或输入图像中最近n个图场(n为1以上的整数)的处理所用的对应信息的信息。此外,约束条件包含使用历史记录时,该使用历史记录定义为假设积存、产生于映射部107所未图标的储存媒体。再者,约束条件为有关于输出图像的条件时,判断装置1073会对例如输出图像候补取得装置1072所取得的第二图像的全部或一部分是否满足约束条件储存部102的约束条件进行判断。例如,判断装置1073会取得约束条件所包含的第二图像的全部或一部分的属性值(例如,画素的最大值、画素亮度的时间性变化),以判断属性值是否满足约束条件(例如,“画素5最大值<=255”、“画素亮度的时间性变化<=100”)。亦即,例如,约束条件为“像素最大值<=255”时,判断装置1073即判断输出图像候补取得装置1072所取得的HD视频讯号的回复数据像素值是否超过255。
判断装置1073通常可由MPU或存储器等来实现。判断装置1073的处理程序通常是用软件来实现,该软件储存于ROM等储存媒体。但,也可用硬件(专用电路)来实现。
判断装置1073判断为未满足约束条件时,变更装置1074会将第二图像的全部或一部分进行变更。而且,判断装置1073判断为未满足约束条件时,变更装置1074也可将查找表进行变更。
再者,判断装置1073判断为未满足约束条件时,变更装置1074也可将判断后所受理的输入图像、或判断后所得的时空区块、或判断后所受理的输入图像的1个以上特征量、或判断后所得的时空区块的1个以上特征量进行变更,以满足约束条件。
而且,判断装置1073判断为未满足约束条件时,变更装置1074会例如将为判断装置1073的判断对象的第二图像的全部或一部分以满足约束条件的方式进行变更,并取得变更图像。此处,“以满足约束条件的方式进行变更的处理”为例如以构成第二图像的全部或一部分的多个画素的最大值符合约束条件(例如、“最大值<=255”)的方式,例如多个画素的最大值达255的方式,将该多个画素值作整体性压缩的处理。此外,所谓整体性压缩多个画素值的处理,是可用相同比例来缩小多个画素值,也可按照不同的比例或值的大小来缩小多个画素值。
变更装置1074通常可由MPU或存储器等来实现。变更装置1074的处理程序通常是用软件来实现,该软件储存于ROM等储存媒体,但也可用硬件(专用电路)来实现。
输出图像取得装置1075使用多个对应信息中与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息(主要意思是:亦可为对应信息的一部份),来取得和图像分析部106所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分,以作为输出图像的全部或一部分。此处,上述所谓多个对应信息是为储存部101的一个查找表的多个对应信息、或与1个或2个以上种类识别符相对应的1个或2个以上查找表所具有的多个对应信息。
再者,输出图像取得装置1075较佳为取得:判断装置1073判断为满足约束条件的第二图像的全部或一部分、或变更装置1074所取得的变更图像、或判断装置1073判断为满足约束条件的第二图像的全部或一部分及变更装置1074所取得的变更图像,当作输出图像的全部或一部分。
此外,输出图像取得装置1075亦可使用与1个或2个以上种类识别符相对应的1个或2个以上查找表所具有的对应信息中与图像分析部106所取得的1个以上特征量相对应的1个以上对应信息,来取得与图像受理部104所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分,当作输出图像的全部或一部分。此外,1个或2个以上的种类识别符是为种类识别符取得装置1071所取得的种类识别符。
此外,输出图像取得装置1075适于执行上述的修正处理。
输出图像取得装置1075通常可由MPU或存储器等来实现。合成部108的处理程序通常是用软件来实现,该软件储存于ROM等储存媒体,但也可用硬件(专用电路)来实现。
合成部108将映射部107所取得的2个以上各第二时空区块配置在和2个以上各第二时空区块相对应的第一时空区块的时间性位置、或空间性位置、或空间性及时间性位置,并产生输出图像。
合成部108通常可由MPU或存储器等来实现。合成部108的处理程序通常是用软件来实现,该软件则储存于ROM等储存媒体,但亦可用硬件(专用电路)来实现。
图像输出部109用于将输出图像输出。图像输出部109亦可输出合成部108所产生的输出图像。此处的所谓输出通常是指使用显示器的显示、使用投影机的投影,但亦包含向外部装置、或其它程序进行传送的概念。
图像输出部109可想成包含例如显示器或投影机等输出装置,亦可想成不包含例如显示器或投影机等输出装置。图像输出部109可用例如输出装置的驱动软件、或输出装置的驱动软件及输出装置等来实现。
查找表更新部110按照指示受理部103所受理的指示,将查找表所具有的2个以上对应信息的任一个加以变更。查找表更新部110可将查找表具有的全部对应信息进行更新,亦可将一部分对应信息进行更新。对应信息包含产生第二图像的全部或一部分所需的演算式、或产生第二图像的全部或一部分所需的参数群时,查找表更新部110会例如按照指示,将包含于演算式的参数群、或产生第二图像的全部或一部分所需的参数群进行变更。例如,指示为包含图像的立体感程度时,查找表更新部110使用以从使用者输入的图像立体感的程度,将对应信息具有的参数群进行变更。此种情形的变更方法(变更所需的式子等)并非所问。例如,查找表更新部110是与图像立体感的程度信息对应地将参数群保存在未图标的储存媒体,并从未图标的储存媒体读出和所指示的图像立体感的程度信息相对应的参数群。而且,例如,在查找表更新部110保存有产生以图像立体感的程度作为参数的参数群所需的演算式,将图像立体感的程度代入此种演算式,进行演算,而取得参数群。
再者,指示受理部103受理选择1个以上第二图像的候补的指示时,例如,查找表更新部110会从1个以上第二图像的各候补取得1个以上特征量,并取得该1个以上特征量当作参数群。此外,指示受理部103受理选择1个以上第二图像的候补的指示时,例如,查找表更新部110会从1个以上第二图像的各候补取得1个以上特征量,并将该1个以上特征量代入预先储存的演算式进行演算,而取得参数群。
查找表更新部110通常可由MPU或存储器等来实现。合成部108的处理程序通常是用软件来实现,该软件则储存于ROM等储存媒体,但也可用硬件(专用电路)来实现。
接着,使用图2的流程图来说明有关图像处理装置1的动作。
(步骤S201)图像受理部104判断是否已受理1个以上图像。若已受理1个以上图像,则进入步骤S202,若未受理1个以上图像,则到步骤S210。此外,此处的图像通常是由2个以上静态画所构成的影像。
(步骤S202)分割部105将步骤S201所受理的图像依空间性、或时间性、或空间性及时间性分割成2个以上,以取得2个以上第一时空区块。
(步骤S203)图像分析部106将1代入计数器i。
(步骤S204)图像分析部106判断步骤S202所取得的第一时空区块中是否存在第i个区块。若第i个区块存在,则到步骤S205,若第i个区块不存在,则到步骤S208。
(步骤S205)图像分析部106对第i个第一时空区块进行图像分析处理。然后,图像分析部106决定和第i个第一时空区块相对应的第一图像的全部或一部分。有关图像分析处理,使用图3的流程图来说明。
(步骤S206)映射部107使用与步骤S205所决定的第一图像的全部或一部分相对应的对应信息,来取得与步骤S205所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分,当作输出图像的全部或一部分。此种处理称为映射处理。有关映射处理,使用图4的流程图来说明。此外,本步骤所取得的输出图像的全部或一部分为第二时空区块。
(步骤S207)图像分析部106将计数器i递增1,并回到步骤S204。
(步骤S208)合成部108将步骤S206所取得的2个以上第二时空区块进行合成,并产生输出图像。更详细而言,是将步骤S206所取得的2个以上各第二时空区块配置在与2个以上各第二时空区块相对应的第一时空区块的时间性、或空间性、或空间性及时间性位置,并产生输出图像。
(步骤S209)图像输出部109将步骤S208所产生的输出图像予以输出。
(步骤S210)指示受理部103判断是否已受理使用者的指示。若有受理使用者的指示,则进入步骤S211,若未受理使用者的指示,则回到步骤S201。
(步骤S211)查找表更新部110按照步骤S210所受理的指示,将查找表进行更新。这种处理称为查找表更新处理。有关查找表更新处理,使用图6的流程图来说明。
此外,图2的流程图中,藉由电源的切断或处理结束的中断,处理即告结束。
再者,图2的流程图中,也可在受理多个图像或图像流(stream)中,受理步骤S210的指示,并更新查找表。
接着,有关步骤S205的图像分析处理,使用图3的流程图来说明。
(步骤S301)图像分析部106对上述第i个第一时空区块进行图像分析,并取得为1个以上特征量的特征量向量(称为第一特征量向量)。此外,1个以上特征量是为例如上述近傍特征量或/及整体特征量中的1个以上特征量。再者,例如1个以上特征量是指例如多个画素最大值(MAX)及最小值(MIN)、动态范围(DR=MAX-MIN)、亮度度数分布、时间方向的差分值等。而且,从图像取得这种1个以上特征量的技术为现有技术,故其详细说明省略。此外,特征量并不限于上述的特征量,应无庸赘言。
(步骤S302)图像分析部106将1代入计数器i。
(步骤S303)图像分析部106判断在储存部101的查找表中是否存在第i个对应信息。若第i个对应信息存在,则到步骤S304,若第i个对应信息不存在,则到步骤S307。此外,储存部101存在2个以上查找表时,则在本步骤中,可使用任一个查找表。此外,在进行后述的种类识别符取得处理后,可使用与该种类识别符取得处理所取得的种类识别符相对应的查找表。
(步骤S304)图像分析部106取得第i个对应信息所具有的特征量向量(称为第二特征量向量)。
(步骤S305)图像分析部106计算步骤S301所取得的第一特征量向量和步骤S304所取得的第二特征量向量的距离,将该距离与i(第i个对应信息)相对应地暂时积存在缓冲器。
(步骤S306)图像分析部106将计数器i递增1,并回到步骤S303。
(步骤S307)图像分析部106将积存于缓冲器的距离为最小的对应信息取得。返回上位处理。此外,取得对应信息的处理即为决定第一图像的全部或一部分的处理。
此外,于图3的流程图中,对应信息保存有ID(也可为地址),例如,也可代入预先储存有1个以上特征量的演算式中以取得ID(亦可为地址)。亦即,不问图像分析处理的方法为何。
其次,使用图4的流程图来说明有关步骤S206的映射处理例。
(步骤S401)构成映射部107的种类识别符取得装置1071取得用以识别所要利用的查找表种类的种类识别符。有关这种种类识别符取得处理的例子,使用图5的流程图来说明。
(步骤S402)输出图像候补取得装置1072取得与步骤S401所取得的种类识别符相对应的查找表中的对应信息的参数群,而该对应信息是为与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息。
(步骤S403)输出图像候补取得装置1072使用步骤S402所取得的参数群,来产生与图像分析部106所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分。更具体而言,例如,输出图像候补取得装置1072将步骤S402所取得的参数群代入预先储存中的演算式,并执行演算式。接着,输出图像候补取得装置1072取得第二图像的全部或一部分。
(步骤S404)判断装置1073从约束条件储存部102读取约束条件。
(步骤S405)判断装置1073判断步骤S402所取得的第二图像的全部或一部分是否满足步骤S403所读取的约束条件,并将判断结果代入缓冲器。
(步骤S406)步骤S404的判断结果为“满足(符合)约束条件”时,进入步骤S407,“不满足(不符合)约束条件”时,进入步骤S408。
(步骤S407)输出图像取得装置1075获得步骤S402所取得的第二图像的全部或一部分,当作为输出图像的全部或一部分。返回到上位处理。
(步骤S408)变更装置1074将步骤S402所取得的第二图像的全部或一部分以满足约束条件的方式进行变更,并取得变更图像。
(步骤S409)输出图像取得装置1075获得步骤S408所取得的变更图像,当作输出图像的全部或一部分,并返回到上位处理。
此外,图4的流程图中,产生第二图像的全部或一部分的方法、或取得第二图像的全部或一部分的方法,也可用其它方法。
而且,图4的流程图中,储存部101的查找表为一个时,步骤S401的处理就不需要,应无庸赘言。
其次,使用图5的流程图来说明有关步骤S401的种类识别符取得处理例。
(步骤S501)种类识别符取得装置1071取得上述第i个区块(第一图像)的特征量向量。
(步骤S502)种类识别符取得装置1071将1代入计数器i。
(步骤S503)种类识别符取得装置1071判断储存部101中是否存在第i个种类识别符。若存在第i个种类识别符,则进入步骤S504,第i个种类识别符若不存在,则到步骤S507。
(步骤S504)种类识别符取得装置1071取得与第i个种类识别符相对应的特征量向量。
(步骤S505)种类识别符取得装置1071计算步骤S501所取得的特征量向量与步骤S504所取得的特征量向量的距离,将其与第i个种类识别符对应而暂时积存于缓冲器中。
(步骤S506)种类识别符取得装置1071将计数器i递增1,并回到步骤S503。
(步骤S507)种类识别符取得装置1071取得与步骤S505所计算的最小距离相对应的种类识别符。返回到上位处理。
此外,在图5的流程图中,种类识别符取得处理也可用如上所述的其它方法。亦即,图5的流程图中,虽使用区块的特征量向量(1个以上近傍特征量)来决定种类识别符。但如上所述,亦可使用整体特征量或近傍特征量来决定种类识别符,亦可用电子节目表的信息等来决定种类识别符,也可依来自使用者的指示来决定种类识别符。
接着,使用图6的流程图来说明有关步骤S211的查找表更新处理。
(步骤S601)查找表更新部110取得指示受理部103所受理的指示。
(步骤S602)查找表更新部110取得包含于步骤S601所取得的指示的1个以上参数。
(步骤S603)查找表更新部110将1代入计数器i。
(步骤S604)查找表更新部110判断储存部101的查找表中是否存在第i个对应信息。若第i个对应信息存在,则进入步骤S605,若第i个对应信息不存在,则返回到上位处理。
(步骤S605)查找表更新部110使用步骤S602所取得的1个以上参数,来变更第i个对应信息所具有的参数群、或第i个对应信息所具有的演算式。
(步骤S606)查找表更新部110将计数器i递增1,并回到步骤S604。
此外,图6的流程图中,存在有多个查找表时,也可将全部的查找表进行更新。
其次,针对使用约束条件将图像等进行动态变更处理的具体例加以说明。藉由图像处理装置1的约束条件储存部102、映射部107的判断装置1073及变更装置1074,以满足约束条件的方式进行处理,即可输出经依目的而调整脑负荷的图像。
第一具体例为输出图像的画素值超过某一值时即进行修正,使之收敛到该值的处理。这种情形中,约束条件为“输出图像的1个以上画素值不超过临限值”。而对于经判断装置1073判断为不符合这种约束条件的1个以上画素,变更装置1074就会进行修正,使之不超过临限值。然后,输出图像取得装置1075会使用经判断装置1073判断为满足约束条件的第二图像的全部或一部分、或变更装置1074所取得的变更图像、或经判断装置1073判断为满足约束条件的第二图像的全部或一部分及变更装置1074所取得的变更图像,来取得输出图像。
第二具体例为在输入图像的画素值已逸离正常范围时,利用周边画素将输入图像的该画素进行填孔修正的处理。在此种情况中,约束条件是指“输入图像的画素值不逸离正常范围”的情形。而对于经判断装置1073判断为不符合这种约束条件的1个以上画素,变更装置1074会取得该画素的预先决定范围的周边画素的1个以上画素值,并使用该1个以上画素值,来决定异常画素的画素值。其次,输出图像取得装置1075会使用变更装置1074所取得的1个以上特征量、或图像受理部104所受理的图像的一部分1个以上特征量,来取得1个以上第二图像的一部分。
第三具体例为在使用对应信息取得输出图像时,若刚刚使用了查找表的一个对应信息,则接着进行使用其它对应信息的处理。这种情况下,约束条件为“不连续使用相同的对应信息”的情形。而判断装置1073会判断与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息是否刚刚被使用过。此外,此种情形中,用以确定刚刚利用的对应信息的信息至少暂时予以积存。其次,若判断装置1073判断为与图像分析部106所决定的第一图像的全部或一部分相对应的对应信息是与刚刚使用的对应信息相同时,变更装置1074即取得第二接近的对应信息。亦即,变更装置1074会对图像分析部106将该已决定的第一图像的全部或一部分去除,再度将用以决定第一图像的全部或一部分的指示传到图像分析部106,由图像分析部106再度决定第一图像的全部或一部分。这种与第一图像的全部或一部分相对应的对应信息,对于处理对象的输入图像或时空区块等,是为与第二接近的第一图像的全部或一部分相对应的对应信息。然后,输出图像取得装置1075会使用变更装置1074所取得的对应信息来取得1个以上第二图像的一部分。
第四具体例是包含于约束条件的参数与变更对象并不相同的例子。第四具体例为例如输出图像的画素值超过临限值时,就使用特定的对应信息重新处理的情形。亦即,约束条件为“输出图像的1个以上画素值不超过临限值”的情形。然后,对于经判断装置1073判断为不符合这种约束条件的1个以上画素,变更装置1074会读出预先决定的对应信息。使用对应信息,该输出图像取得装置1075将再度构成输出图像。
第五具体例是使用于判定多个部位的参数的例子。第五具体例是例如约束条件为“输入图像的画素值和输出图像的画素值的差应在临限值以内”的情形。对于经判断装置1073判断为不符合这种约束条件的1个以上画素,变更装置1074会修正输出图像的该画素的画素值,将与输入图像的画素的画素值差设在临限值以内。至于输出图像取得装置1075则取得具有此种画素值的画素的输出图像。
如上所述,若依本实施例可输出高质量图像,而且,若依本实施例,可以提供用以输出经依目的而调整脑负荷的图像的图像处理装置。例如,若依本实施例,可以提供用以输出相较于输入图像,脑负荷的更为减低的图像的图像处理装置、或输出更能给予脑部刺激而増加娱乐性的图像的图像处理装置等。
再者,本实施例的图像处理装置输出脑负荷更为减低的图像时,该图像处理装置可以输出对于人类脑部可认知为合适图像的图像。
更具体而言,若依本实施例,藉由可输出在光量、光源位置、光源颜色、摄影机位置等不同环境拍摄的图像,可以输出对于人类脑部可认知为合适图像的图像。更具体而言,若依本实施例,可以输出脑部更能感受到质感、远近感、存在感、临场感、重量感、温热感、凉爽感、速度感、跃动感、动作流畅感、新鲜感、高级感等的图像。具体而言,若依本实施例,相对于输入图像,在取得高质量输出图像的候补后,藉由将不符合约束条件的输出图像的候补以符合约束条件的方式施以变更,则不论输入何种图像,均可获得符合约束条件的输出图像。
再者,若依本实施例,藉由使用多个查找表中的适当查找表,可以输出经依目的而调整脑负荷的图像。
而且,若依本实施例,透过以满足约束条件的方式变更输出图像,可以输出依目的更合适地调整脑负荷的图像。
同时,若依本实施例,透过能将查找表客制化,可以输出经按照使用者的喜好等来更适当地调整脑负荷的图像。
此外,本实施例的图像处理装置1亦可为电视接收机。此种情况中,图像受理部104受理的图像为构成电视影像的图像。
而且,若使用本实施例的图像处理装置1,可以实现使用所受理的动画来产生并输出依目的实时调整脑负荷的动画的装置。
再者,本实施例中,查找表仅具有一个对应信息时,图像处理装置1也可不具备图像分析部106。此种情形下,图像处理装置1会呈如图7所示的结构。而且,此种情形下,映射部107使用储存部101的一对应信息,来取得与图像受理部104所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分。此外,这种情况下,图像分析部106也会存在,并且图像分析部106亦可从所受理的1个以上图像的全部或一部分取得1个以上特征量,并由映射部107使用该特征量进行上述的修正处理。
此外,本实施例的图像处理装置1中,亦可不具备指示受理部103或查找表更新部110等一部份构成组件,应无庸赘言。
再者,本实施例的处理也可用软件来实现。而且,该软件也可透过软件下载等来分布配置。此外,该软件也可储存于CD-ROM等储存媒体来分布配置。同时,这种作法在本说明书的其它实施例中也同样适用。此外,实现本实施例的图像处理装置的软件是为如以下所述的程序。亦即,该程序中储存有:查找表,其具有1个或2个以上对应信息,且该对应信息为用以取得1个或2个以上第一图像的全部或一部分、及与该第一图像不同的第二图像的全部或一部分的对应的信息;以及约束条件,是为输入图像、对应信息、或输出图像中的1或2种以上信息应满足的条件,以使计算器作为:图像受理部,用以受理1个或2个以上图像;映射部,使用前述1个或2个以上对应信息中的任一对应信息,以符合前述约束条件的方式,来取得与前述图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分;以及图像输出部,用以将由前述映射部所取得的1个以上第二图像的全部或一部分所构成的输出图像予以输出,以发挥功能的程序。
再者,上述程序较佳为,前述约束条件为输出图像应满足的条件,且前述映射部具备:输出图像候补取得装置,使用前述1个或2个以上对应信息中的任一对应信息,来取得第二图像的全部或一部分;判断装置,用以判断前述输出图像候补取得装置所取得的第二图像的全部或一部分是否满足前述约束条件;变更装置,在前述判断装置判断为未满足前述约束条件时,以满足前述约束条件的方式,将前述第二图像的全部或一部分施以改变,以取得变更图像;输出图像取得装置,使用前述判断装置判断为满足前述约束条件的第二图像的全部或一部分、或前述变更装置所取得的变更图像、或前述判断装置判断为满足前述约束条件的第二图像的全部或一部分及前述变更装置所取得的变更图像,来取得输出图像,以使计算器发挥功能的程序。
此外,上述程序较佳为,前述查找表具有2个以上对应信息,且具备:用以决定与前述图像受理部所受理的1个以上图像的全部或一部分相对应的第一图像的全部或一部分的图像分析部,前述输出图像候补取得装置是使用与前述图像分析部所决定的第一图像的全部或一部分相对应的对应信息,来取得与前述图像分析部所决定的第一图像的全部或一部分相对应的第二图像,以使计算器发挥功能的程序。
而且,上述程序较佳为,前述约束条件为输入图像应满足的条件,前述映射部具备有:判断装置,用以判断前述图像受理部所受理图像的一部分的1个以上特征量是否满足前述约束条件;变更装置,经前述判断装置判断为未满足前述约束条件时,使用前述图像的一部分的预先决定范围的周边像素的1个以上特征量,来取得前述图像的一部分的1个以上特征量;以及输出图像取得装置,使用前述变更装置所取得的1个以上特征量、或前述图像受理部所受理图像的一部分的1个以上特征量,来取得1个以上第二图像的一部分,以使计算器发挥功能的程序。
又,上述程序较佳为,前述查找表具有2个以上对应信息,且具备图像分析部,用以决定与前述图像受理部所受理的1个以上图像的全部或一部分相对应的第一图像的全部或一部分;前述约束条件为不连续使用同一个对应信息;而前述映射部则具备:判断装置,取得用以获取1个以上第二图像的全部或一部分所需的对应信息,并根据前述约束条件来判断该对应信息和刚刚使用过的对应信息是否同一;变更装置,经前述判断装置判断为未满足前述约束条件时,则除了前述图像分析部所决定的第一图像的全部或一部分外,再次将决定第一图像的全部或一部分的指示传送到前述图像分析部,以取得与所决定的第一图像的全部或一部分相对应的对应信息;以及输出图像取得装置,使用前述变更装置所取得的对应信息,来取得1个以上第二图像的一部分,且前述映射部将用以确定至少最近使用过的对应信息的信息予以保持,以使计算器发挥功能的程序。
再者,上述程序较佳为,前述第一图像的全部或一部分为要输入的影像的一部分的第一时空区块,前述第二图像的全部或一部分为要输出至画面的影像的一部分的第二时空区块;前述图像受理部具有:分割部,受理为1个以上图像的集合的影像,将前述图像受理部所受理的影像依空间性、或时间性、或空间性及时间性分割成2个以上,并取得2个以上的第一时空区块;以及合成部,将前述映射部所取得的2个以上各输出图像的全部或一部分配置在与该2个以上各输出图像的全部或一部分相对应的第一时空区块的时间性、或空间性、或空间性及时间性位置,以产生输出图像,以使计算器进一步发挥功能,前述图像输出部则将前述合成部所产生的输出图像予以输出,以使计算器发挥功能的程序。
(实施例2)
本实施例中,与实施例1相较,图像处理装置2不具备分割部105及合成部108。
图8为本实施例的图像处理装置2的方块图。
图像处理装置2具备:储存部101、约束条件储存部102、指示受理部103、图像受理部104、图像分析部106、映射部107、图像输出部109、以及查找表更新部110。
其次,使用图9的流程图来说明有关图像处理装置2的动作。图9的流程图为图2的流程图的一部分。但是,步骤S205的图像分析处理是针对步骤S201所受理的图像整体来进行。此外,步骤S206的映射处理也是针对步骤S201所受理的图像整体来进行。
再者,于图9的流程图中,透过电源的切断或处理的中断,处理即告结束。
而且,于图9的流程图中,受理多个图像或图像流的期间,亦可受理步骤S210的指示、或更新查找表。
如上所述,若依本实施例,可以提供用以输出经依目的而调整脑负荷的图像的图像处理装置。例如,若依本实施例,可以提供用以输出相较于输入图像可更减低脑负荷的图像的图像处理装置、或用以输出更能给予脑部刺激而増加娱乐性的图像的图像处理装置等。
再者,本实施例的图像处理装置输出能够更减低脑负荷的图像时,该图像处理装置可以提供用以将对于人类脑部能够认知为合适图像的图像予以输出的图像处理装置。
更具体而言,若依本实施例,透过可以输出经改良光量、光源位置、光源颜色、摄影机位置等图像取得环境的图像,能够输出人类脑部得以认知为合适的图像。更具体而言,若依本实施例,可以输出脑部更能感受到质感、远近感、存在感、临场感、重量感、温热感、凉爽感、速度感、跃动感、动作流畅感、新鲜感、高级感等的图像。
此外,亦可构成组装有本实施例的图像处理装置2的电视接收机。在此情况中,图像受理部104所受理的图像为构成电视影像的图像。
再者,本实施例中,查找表仅有一个对应信息时,图像处理装置2亦可不具备图像分析部106。此种情况中,图像处理装置1成为图10所示的结构。此时,映射部107使用储存部101的一个对应信息,来取得与图像受理部104所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分。而且,此时,存有图像分析部106,并从图像分析部106所受理的1个以上图像的全部或一部分取得1个以上特征量,映射部107亦可使用该特征量,以进行上述的修正处理。
此外,本实施例的图像处理装置2中,也可不具备指示受理部103或查找表更新部110等局部构成组件,应无庸赘言。
再者,用以实现本实施例的图像处理装置的软件,是为诸如以下所述的程序。亦即,该程序储存有:查找表,具备1个或2个以上对应信息,而该对应信息是为使1个或2个以上第一图像的全部或一部分、与和该第一图像不同的第二图像的全部或一部分取得对应所需的信息;及约束条件,是为输入图像、对应信息、或输出图像中的1种以上信息应满足的条件,并使计算器作为:图像受理部,用以受理1个或2个以上图像;映射部,使用前述1个或2个以上对应信息中的任一对应信息,以符合前述约束条件的方式,来取得和前述图像受理部所受理的1个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分;及图像输出部,用以将由前述映射部所取得的1个以上第二图像的全部或一部分所构成的输出图像予以输出,以发挥功能的程序。
(实施例3)
本实施例中,是对产生查找表的查找表取得装置3加以说明。查找表取得装置3为将本说明书所称的第一图像的全部或一部分转换为第二图像的全部或一部分的查找表所用的学习装置。
图11为本实施例的查找表取得装置3的方块图。
查找表取得装置3具备:储存部101、第一图像储存部31、第二图像储存部32、第二图像信息候补集合储存部33、指示受理部103、候补输出部34、第二图像积存部35、第一图像相关信息取得部36、第二图像相关信息取得部37、查找表构成部38、以及查找表积存部39。
指示受理部103受理使用者的指示。此处的指示为:将储存于第二图像信息候补集合储存部33的第二图像信息候补集合予以输出的指示、选择1个以上第二图像信息的候补的指示等。此处,所谓使用者,可为提供查找表取得装置3的企业承办人、亦可为上述图像处理装置或电视接收机的使用者(视听者)等。此外,有关第二图像信息候补集合及第二图像信息,如后陈述。
第一图像储存部31得储存1个以上第一图像。第一图像被假设为要藉由图像处理装置受理的图像。第一图像是例如为相较于第二图像,就上述意义而言,会产生脑负荷的图像。此外,第一图像是为例如不能期待提升娱乐性的图像。
第一图像储存部31虽以非挥发性储存媒体为佳,但亦可用挥发性储存媒体来实现。第一图像储存在第一图像储存部31的过程并非所问。第一图像储存部31的第一图像亦可从例如第二图像储存部32的第二图像来产生。亦即,例如由未图标的装置来降低第二图像的亮度、或进行自动变更摄影机位置的仿真等来改变第二图像的性质,以产生第一图像。
第二图像储存部32得储存1个以上第二图像。相对于第一图像,第二图像是为经依目的而调整脑负荷的图像。例如,第二图像为较第一图像能减低脑负荷的图像。此外,例如,第二图像为相较于第一图像已获得増加娱乐性的图像。再者,例如,第二图像为在另一环境拍摄一个对象所取得的图像。
第二图像和第一图像是为针对相同对象的图像。第二图像和第一图像通常为相同画素数,但亦可为不同画素数。
第二图像储存部32虽以非挥发性储存媒体为佳,但亦可用挥发性储存媒体来实现。第二图像储存于第二图像储存部32的过程并非所问。第二图像储存部32的第二图像可为例如从第一图像储存部31的第一图像来产生。亦即,例如由未图标的装置将第一图像的亮度提高、或进行自动变更摄影机位置的仿真等来改变第一图像的性质,以产生第二图像。
第二图像信息候补集合储存部33可与1个以上各第一图像相对应地储存1个以上第二图像信息候补集合。第二图像信息候补集合是为2个以上第二图像信息的候补的集合。所谓第二图像信息,是为有关第二图像的信息。再者,第二图像信息可为第二图像,亦可为第二图像的1个以上属性等。图像的属性为例如拍摄参数或1个以上特征量。此外,2个以上各第二图像信息的候补是为具有相对应关系的第一图像和针对相同对象的第二图像的图像信息。第二图像信息候补集合储存部33亦可在物理性上包含第一图像储存部31。同时,所谓“与第一图像具有相对应关系”,可为直接与第一图像相对应,也可为间接与第一图像相对应。间接的对应是指例如对应于第一图像信息的情形。第一图像信息为有关于第一图像的信息,例如第一图像本身、或第一图像的属性等。
第二图像信息候补集合储存部33以非挥发性储存媒体为佳,但亦可用挥发性储存媒体来实现。第二图像信息候补集合储存于第二图像信息候补集合储存部33的过程并非所问。
候补输出部34是将储存于第二图像信息候补集合储存部33的1个以上第二图像信息候补集合予以输出。指示受理部103受理输出第二图像信息候补集合的指示时,候补输出部34亦可将储存于第二图像信息候补集合储存部33的1个以上第二图像信息候补集合输出。此处的所谓输出,通常是向显示器的显示、使用投影机的投影,且包含向外部装置或其它程序的发送讯号等概念。
第二图像积存部35是将与对应于指示受理部103所受理的指示的1个以上各第二图像信息的候补相对应的1个以上第二图像,和对应于第二图像信息候补集合的第一图像相对应地积存第二图像储存部32。例如,第二图像信息为第二图像时,第二图像积存部35是将对应于指示受理部103所受理的指示的1个以上第二图像,和第一图像相对应地积存于第二图像储存部32。再者,例如,第二图像信息为图像的属性时,第二图像积存部35是使用该图像的属性来构成第二图像,并且和第一图像相对应地积存于第二图像储存部32。第二图像积存部35通常得由MPU或存储器等来实现。第二图像积存部35的处理程序通常以软件来实现,而该软件储存于ROM等储存媒体。但也可用硬件(专用电路)来实现。
第一图像相关信息取得部36是从第一图像储存部31的1个以上第一图像取得1个以上第一图像相关信息。第一图像相关信息是为有关于第一图像的全部或一部分的信息。第一图像相关信息为例如从第一图像的全部或一部分抽出的1个以上特征量。此外,1个以上特征量具有为1个以上第一图像的一部分特征量的近傍特征量、及为1个以上第一图像整体的特征量的整体特征量。近傍特征量与整体特征量的例子已于上文中陈述,其说明容予省略。再者,第一图像相关信息也可为将上述的1个以上特征量缩退(degeneration)的信息。这种缩退的信息亦为特征量。
第一图像相关信息取得部36通常得由MPU或存储器等来实现。第一图像相关信息取得部36的处理程序通常用软件来实现,而该软件储存于ROM等储存媒体。但亦可用硬件(专用电路)来实现。
第二图像相关信息取得部37是从第二图像储存部32的1个以上第二图像来取得1个以上第二图像相关信息。第二图像相关信息是为有关于第二图像的全部或一部分的信息。第二图像相关信息是为用以产生第二图像的全部或一部分的信息。例如,要加入到用以产生第二图像的全部或一部分的演算式的参数群、或产生第二图像的全部或一部分所需的演算式。第二图像相关信息也可为例如第二图像的全部或一部分本身。第二图像相关信息例如为第二图像的全部或一部分本身时,第二图像相关信息取得部37会进行将第二图像分割成时空区块的处理。
第二图像相关信息取得部37通常得由MPU或存储器等来实现。第二图像相关信息取得部37的处理程序通常是用软件来实现,而该软件是储存于ROM等储存媒体。但也可用硬件(专用电路)来实现。
查找表构成部38是构成具有1个或2个以上对应信息的查找表。如上所述,对应信息是为用以使1个以上第一图像的全部或一部分与1个以上第二图像的全部或一部分对应的信息。再者,对应信息是例如为使第一图像相关信息和第二图像相关信息具有对应关系的信息。而且,对应信息是例如为具有第一图像相关信息与第二图像相关信息的信息。此外,对应信息的内容或构造并非所问。同时,此处有关对应于第一图像相关信息的第二图像相关信息,其作为第一图像相关信息的来源的第一图像的全部或一部分、和作为第二图像相关信息的来源的第二图像的全部或一部分,有构成影像的图框图像上的空间性位置相对应的情形、影像上的时间性位置相对应的情形、影像上的空间性及时间性位置相对应的情形。
查找表构成部38通常得由MPU或存储器等来实现。第二图像相关信息取得部37的处理程序通常是用软件来实现,而该软件是储存于ROM等储存媒体。但也可用硬件(专用电路)来实现。
查找表积存部39是将查找表构成部38所构成的查找表积存在储存部101。此外,此处所谓的积存,包含写入存储器等情形。
查找表积存部39通常得由MPU或存储器等来实现。第二图像相关信息取得部37的处理程序通常是用软件来实现,该软件是储存在ROM等储存媒体。但是,也可用硬件(专用电路)来实现。
其次,使用图12的流程图来说明有关查找表取得装置3中,使用者选择对自身合适的第二图像的动作。
(步骤S1201)指示受理部103判断是否受理输出第二图像信息候补集合的指示。若受理指示,即进入步骤S1202;若不受理这种指示,则回到步骤S1201。
(步骤S1202)候补输出部34将1代入计数器i。
(步骤S1203)候补输出部34判断第二图像信息候补集合储存部33中是否存在第i个第二图像信息候补集合。若存在第i个第二图像信息候补集合,就到步骤S1204,若不存在第i个第二图像信息候补集合,则结束处理。
(步骤S1204)候补输出部34从第二图像信息候补集合储存部33读取并输出第i个第二图像信息候补集合。
(步骤S1205)指示受理部103判断是否从第二图像信息候补集合所具有的2个以上第二图像信息的候补受理对于1个或2个以上第二图像信息的选择指示。若已受理选择指示时,进入步骤S1206,若未受理这种选择指示时,则回到步骤S1205。
(步骤S1206)第二图像积存部35取得和步骤S1205所受理的指示相对应的1个以上第二图像信息的候补。
(步骤S1207)第二图像积存部35使用步骤S1206所取得的第二图像信息,来取得第二图像,并与第一图像对应而积存在第二图像储存部32。该第一图像为与第i个第二图像信息候补集合相对应的第一图像。
(步骤S1208)候补输出部34将计数器i递增1。回到步骤S1203。
接着,使用图13的流程图来说明查找表取得装置3构成查找表并进行积存的动作。此外,并与储存于第一图像储存部31的各第一图像相对应的第二图像储存于第二图像储存部32。
(步骤S1301)第一图像相关信息取得部36将1代入计数器i。
(步骤S1302)第一图像相关信息取得部36判断第i个第一图像是否储存于第一图像储存部31。若储存有第i个第一图像,进入步骤S1303,若未储存,则结束处理。
(步骤S1303)第一图像相关信息取得部36从第一图像储存部31读取第i个第一图像。
(步骤S1304)第一图像相关信息取得部36将步骤S1303所读出的第i个第一图像分割为区块。接着,第一图像相关信息取得部36取得n个第一时空区块。
(步骤S1305)第二图像相关信息取得部37从第二图像储存部32读取第i个第二图像。
(步骤S1306)第二图像相关信息取得部37将步骤S1305所读取的第i个第二图像分割为区块。接着,第二图像相关信息取得部37取得n个第二时空区块。
(步骤S1307)查找表构成部38将1代入计数器j。
(步骤S1308)查找表构成部38判断步骤S1304所取得的时空区块中是否存在第j个区块。若第j个区块存在,进入步骤S1309,若第j个区块不存在,则到步骤S1314。
(步骤S1309)第一图像相关信息取得部36从第i个第一图像的第j个区块取得第一图像相关信息。
(步骤S1310)第二图像相关信息取得部37从第i个第二图像的第j个区块取得第二图像相关信息。
(步骤S1311)查找表构成部38构成具有步骤S1309所取得的第一图像相关信息及步骤S1310所取得的第二图像相关信息的对应信息。
(步骤S1312)查找表积存部39将步骤S1311所构成的对应信息积存于储存部101。
(步骤S1313)查找表构成部38将计数器j递增1。返回步骤S1308。
(步骤S1314)第一图像相关信息取得部36将计数器i递增1。返回步骤S1302。
以下说明有关本实施例的查找表取得装置3的具体动作。
首先,对查找表取得装置3中受理来自使用者的选择第二图像的指示,并积存第二图像的动作例加以说明。
现在,如图14所示的多个第二图像信息候补集合储存于第二图像信息候补集合储存部33。此外,此处,假设第二图像信息候补集合中,候补1的图像为第一图像。再者,第二图像信息候补集合中,候补1至候补4为第二图像的候补。亦即,此处,第二图像信息为第二图像本身。
接着,使用者将输出第二图像信息候补集合的指示输入到查找表取得装置3,然后由指示受理部103受理将第二图像信息候补集合输出的指示。
其次,候补输出部34读取并输出第1个第二图像信息候补集合(图14的“ID=1”的储存图像的集合)。这种第二图像信息候补集合的输出例为图15。
继之,使用者输入符合自己喜好的图像的选择指示(例如,“4”)。接着,指示受理部103受理指示(例如,“4”)。
然后,第二图像积存部35取得与指示相对应的第4个图像,并积存于第二图像储存部32。
对于其它的第二图像信息候补集合,亦进行以上的处理,使使用者所喜好的第二图像积存于第二图像储存部32。
然后,说明有关查找表取得装置3构成并积存查找表的具体动作。此处,使用7个具体例来说明。
(具体例1)
具体例1是为用不同光量的光源对相同的被拍摄对象进行拍摄,并使用所取得的第一图像和第二图像的例子。
首先,将光量A的光源照在一个被拍摄对象,用未图标的拍摄装置进行拍摄,以取得第一图像,并积存在第一图像储存部31。再以光量B(光量B>光量A)的光源照在前述一个被拍摄对象,用未图标的拍摄装置进行拍摄,以取得第二图像,并积存在第二图像储存部32。此种情形中,第二图像是为相较于第一图像得以减低脑负荷的图像。而且,目视,以感觉第二图像的品位比第一图像高的情形为佳。所谓感觉品位高的图像,是为表现出被拍摄对象的质感、远近感、空气感、温热感、透明感、新鲜感、或高级感等的图像。
此外,改变光源的光量进行拍摄的被拍摄对象,以采用自然、人类、动物、静物等多种较佳。而且,依被拍摄对象,也可有光源的光量的变更程度不同的情形,应无庸赘言。
藉由上述方式,即得以建立第一图像储存部31和第二图像储存部32。
其次,第一图像相关信息取得部36从第一图像储存部31依序读取第一图像。接着,第一图像相关信息取得部36将第一图像分割为区块,而获得n个第一时空区块。此外,多个第一时空区块亦可存在重复的区域。亦即,第一图像相关信息取得部36进行的分割处理和分割部105所进行的分割处理为相同的处理。
同时,第二图像相关信息取得部37也从第二图像储存部32读取与第一图像相对应的第二图像。接着,第二图像相关信息取得部37将第二图像分割为区块,而获得n个第二时空区块。
其次,第一图像相关信息取得部36从第一图像的各区块取得多个画素的最大值及最小值、动态范围、亮度度数分布、时间方向的差分值(例如,和刚刚先前图场的对应画素的差分值)等。这种信息为特征量向量,为第一图像相关信息。第一图像相关信息按每个区块取得。
接着,第二图像相关信息取得部37从第二图像的各区块取得产生区块所需的1个以上参数。具体而言,第二图像相关信息取得部37取得例如第二图像的各区块的特征向量,将该特征向量代入演算式,而取得1个以上参数。此外,1个以上参数为第二图像相关信息的例子。
其次,查找表构成部38会按每个区块来构成具有第一图像相关信息与第二图像相关信息的对应信息。然后,由查找表积存部39将所构成的对应信息积存于储存部101。
透过以上的处理,具有多数个对应信息的查找表即得以产生。此外,亦可将相同或近似的第一图像相关信息归纳为一个对应信息。
(具体例2)
具体例2是为使用不同颜色的光源对相同的被拍摄对象进行拍摄,并使用所取得的第一图像和第二图像的例子。
首先,对一个被拍摄对象照射X颜色(例如,白色)的光源,用未图标的拍摄装置进行拍摄,以取得第一图像,并积存于第一图像储存部31。而且,对前述一个被拍摄对象照射Y颜色(例如,橙色)的光源,用未图标的拍摄装置进行拍摄,以取得第二图像,并积存于第二图像储存部32。在此种情况下,从人类的角度来看,必须感觉第二图像的品位比第一图像高。
此外,改变光源颜色进行拍摄的被拍摄对象以采用自然、人类、动物、静物等多种较佳。而且,依被拍摄对象,光源颜色的变更程度亦可不同,应无庸赘言。
依以上方式,即得以建立第一图像储存部31和第二图像储存部32。此外,第一图像储存部31和第二图像储存部32建立后的处理是与具体例1相同,故其说明容予省略。
(具体例3)
具体例3为用配置于不同位置的光源,对相同的被拍摄对象进行拍摄,并使用所取得的第一图像和第二图像的例子。
首先,将设置在位置α的光源照射于一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第一图像,并积存于第一图像储存部31。而且,将设置于位置β(相较于设置在位置α的情况,产生较多被拍摄对象的阴背面的位置)的光源照射于前述一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第二图像,并积存于第二图像储存部32。在此种情况下,就人来看,第二图像产生的被拍摄对象的阴背面区域必须比第一图像多,而更能感受到被拍摄对象的立体感。
再者,改变光源的位置进行拍摄的被拍摄对象,以采用自然、人类、动物、静物等多数种类较佳。此外,依被拍摄对象,光源位置的变更程度亦可不同,应无庸赘言。
依以上方式,即得以建立第一图像储存部31和第二图像储存部32。此外,第一图像储存部31和第二图像储存部32建立后的处理是与具体例1相同,故其说明容予省略。
(具体例4)
具体例4为以光量不同且配置于不同位置的光源,对相同的被拍摄对象进行拍摄,并使用所取得的第一图像和第二图像的例子。
首先,将配置于位置α且具有光量A的光源照射于一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第一图像,并积存于第一图像储存部31。而且,将配置于位置β且具有光量B(光量B>光量A)的光源照射于前述一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第二图像,并积存于第二图像储存部32。此种情况下,就人来看,已感觉第二图像的品位比第一图像高的情形较为合适。
再者,改变光源的光量进行拍摄的被拍摄对象以采用自然、人类、动物、静物等多数种类为佳。
依以上方式,即得以建立第一图像储存部31和第二图像储存部32。此外,第一图像储存部31和第二图像储存部32建立后的处理是与具体例1相同,故其说明容予省略。
(具体例5)
具体例5为在天候、温度、湿度中的1项以上因素不同的环境下,对相同的被拍摄对象进行拍摄,使用所取得的第一图像和第二图像的例子。
首先,在天气“阴”、温度“25度”、湿度“40%”的环境下,将光源照射在一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第一图像,并积存于第一图像储存部31。而且,在天气“阴”、温度“22度”、湿度“70%”的环境下,将光源照射在前述一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第二图像,并积存于第二图像储存部32。在这种情况,就目视来看,第二图像通常比较能让人感受到远近感、稳重感等。
依以上方式,即得以建立第一图像储存部31和第二图像储存部32。再者,第一图像储存部31和第二图像储存部32建立后的处理是与具体例1相同,故其说明容予省略。
此外,同样地,首先,在天气“阴”、温度“25度”、湿度“40%”的环境下将光源照射于一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第一图像,并积存于第一图像储存部31。另外,在天气“晴”、温度“28度”、湿度“20%”的环境下,将光源照射于前述一个被拍摄对象,以未图标的拍摄装置进行拍摄,而取得第二图像,并积存于第二图像储存部32。在这种情况下,就人来看,第二图像通常比较能让人感受到空气感、温暖感等。
依以上方式,即得以建立第一图像储存部31和第二图像储存部32。再者,第一图像储存部31和第二图像储存部32建立后的处理是与具体例1相同,故其说明容予省略。
(具体例6)
具体例6为使用以可拍摄不同景深的图像的拍摄装置所取得的第一图像和第二图像的例子。
首先,使用用以拍摄景深较浅图像的拍摄装置,将光源照射于一个被拍摄对象,而取得第一图像,并积存于第一图像储存部31。而且,使用拍摄景深较深图像的拍摄装置,将光源照射于前述一个被拍摄对象,用未图标的拍摄装置进行拍摄,而取得第二图像,并积存于第二图像储存部32。在这种情况下,就人来看,由于焦点能更整体地对准,故第二图像通常可以让人感到清晰感已有提升。而且,第二图像在纵深所产生的利落层次感会有増加,通常可获得纵深感与立体感。
依以上方式,即得以建立第一图像储存部31和第二图像储存部32。再者,第一图像储存部31和第二图像储存部32建立后的处理是与具体例1相同,故其说明容予省略。
(具体例7)
具体例7为使用以不同快门速度的拍摄装置所取得的第一图像和第二图像的例子。
将光源照射于一个被拍摄对象,以快门速度较慢(快门速度=A)的拍摄装置,取得第一图像,并积存于第一图像储存部31。而且,将光源照射于前述一个被拍摄对象,以快门速度较快(快门速度=B,A<B)的拍摄装置,用未图标的拍摄装置进行拍摄,而取得第二图像,并积存于第二图像储存部32。在这种情况下,就人来看,第二图像通常较能让人感受到速度感或跃动感已有増加。
依以上方式,即得以建立第一图像储存部31和第二图像储存部32。再者,第一图像储存部31和第二图像储存部32建立后的处理是与具体例1相同,故其说明容予省略。
(具体例8)
具体例8是以不同像素数的摄影机,对同一个被拍摄对象进行拍摄,并使用所取得的第一图像和第二图像的例子。此处,第一图像为例如SD视频讯号图像,第二图像则为例如HD视频讯号图像。
查找表取得装置3的第二图像储存部32中储存有HD视频讯号。该HD视频讯号是由例如各种图样的静态图像所构成的讯号。
其次,第二图像相关信息取得部34亦从第二图像储存部32读取HD视频讯号。然后,第二图像相关信息取得部34会将光栅扫描(raster scanning)顺序的视频讯号按毎1像素进行分割(以下称为注视像素)。
第一图像相关信息取得部33从第一图像储存部31取可与注视像素对应的位置为中心的区块。这是例如SD视频讯号的(2×2×8位=32位)数据(以下称为周边像素)。该视频讯号是以ADRC编码器(参考专利文献1)压缩为(2×2×4位=16位)。亦即,第一图像相关信息取得部33会将区块内的图像数据进行最小值去除及量子化,并取得区块的最小值MIN、量子化步骤。接着,第一图像相关信息取得部33可获得1像素压缩为4位的数据。
来自ADRC编码器的编码讯号DT当作对应信息所具有的地址(第一图像相关信息的一个例子)来供给。储存部101具有216个地址空间,而从周边像素推算注视像素的演算式及演算参数则写入各地址。
此处,所谓演算式,是为例如周边像素的像素值的线性组合。再者,所谓演算参数,是为使该演算结果和注视像素的误差达到最小的系数。这种系数可以最小平方法来求得。
透过在预定期间进行上述动作,显示由同一视频讯号所形成的HD视频讯号的图像数据和SD视频讯号的ADRC编码区块间的关系的查找表即可储存在储存部101。此外,有关这种具体例8的处理,已记载于专利文献1及专利文献2。
如上所述,若依本实施例,即能自动取得可利用于用以产生经依目的而调整脑负荷的图像的查找表。
此外,若依本实施例,为图像视听者的使用者若使用查找表取得装置3制作查找表,即可为自己获致可输出经依目的而调整脑负荷的图像的查找表。
而且,若依本实施例,如按每个使用者属性(30岁前、60岁以上、女性、男性、高中生等),进行由1个以上使用者选择第二图像的处理,即得以按每个使用者属性制作查找表。而且,使用以此方式制作的查找表的图像处理装置(例如,电视接收机),可按每个使用者属性输出经调整脑负荷的图像,以符合自己的喜好。
再者,本实施例的查找表取得装置3中,亦可不具备第二图像信息候补集合储存部33、指示受理部103、候补输出部34、第二图像积存部35等部分构成元件,应无庸赘言。
此外,使用本实施例的查找表取得装置3所取得的查找表,适于复制并利用在实施例1、2所说明的图像处理装置。
此外,实现本实施例的查找表取得装置的软件是为如下所述的程序。亦即,该程序为在储存媒体中储存有1个以上第一图像、及和前述1个以上各第一图像相对应的1个以上各第二图像,而该各第二图像相较于第一图像,是为经调整脑负荷的图像,且为有关于与前述1个以上各第一图像相同对象的图像,藉以使计算器作为:第一图像相关信息取得部,从前述1个以上第一图像的全部或一部分取得1个以上第一图像的相关信息,该第一图像相关信息是有关储存在前述储存媒体的1个以上第一图像的全部或一部分的信息;第二图像相关信息取得部,从前述1个以上第二图像的全部或一部分取得1个以上第二图像相关信息,该第二图像相关信息是为有关储存于前述储存媒体的1个以上第二图像的全部或一部分的信息;查找表构成部,将显示有前述1个以上第一图像的全部或一部分与前述1个以上第二图像的全部或一部分相对应的对应信息构成1个或2个以上查找表,且该对应信息具有:前述第一图像相关信息取得部所取得的第一图像相关信息、和与该第一图像相关信息相对应且为前述第二图像相关信息取得部所取得的第二图像相关信息;及查找表积存部,将前述查找表构成部所构成的查找表积存于储存媒体,而发挥功能的程序。
再者,上述程序较佳为,储存媒体又储存有1个以上第二图像信息候补集合,该第二图像信息候补集合是为与1个以上各第一图像相对应,且为有关与该1个以上各第一图像相同对象的2个以上第二图像的候补的集合,使计算器作为:候补输出部,用以输出前述1个以上第二图像信息候补集合;指示受理部,用以受理在前述候补输出部所输出的1个以上各第二图像信息候补集合所具有的2个以上第二图像的候补中,选择1个以上第二图像的候补的指示;及第二图像积存部,使与前述指示受理部所受理的指示相对应的1个以上第二图像的候补,和对应于第二图像信息候补集合的第一图像形成对应关系,并积存于前述第二图像储存部,而发挥功能的程序。
(实施例4)
本实施例中,为再对使用查找表取得装置3来产生查找表的处理的具体例加以说明。
本具体例是为构成查找表的对应信息为特征量向量和图像的转换过滤器的情形。此外,所谓特征量向量,是为从输入图像(第一图像)抽出的信息。再者,图像的转换过滤器是为例如1个以上过滤器系数的集合。
现在,第一图像储存部31中储存有例如以图16所示的景深较浅的第一图像为首的多数图像。再者,第二图像储存部32中储存有例如图17所示的景深较深的第二图像为首的多数图像。此外,某些第一图像和某些第二图像具有对应关系。亦即,例如图16的第一图像和图17的第二图像即具有对应关系。
而且,第二图像的景深较第一图像为深。此外,图16的景深较浅,焦距为对着图像前方的红色车(深色车)。另一方面,图17的景深较深,焦距为对着图像后方的黄色车(浅色车)。再说,一般而言,相较于第一图像,景深较深的第二图像,整体图像较容易理解,可说是脑部负荷较少的较佳图像。
这种状况下,假设从使用者输入建立查找表的指示。接着,第一图像相关信息取得部36会从第一图像储存部31读取第一图像(此处,例如为图16)。然后,第一图像相关信息取得部36会将第一图像分割,并取得多个时空区块。此处,如图18所示,第一图像相关信息取得部36会将第一图像分割为16个,而取得16个第一时空区块。此外,图18中,各第一时空区块均记载有区块识别符。
其次,第二图像相关信息取得部37会从第二图像储存部32读取第二图像(此处,例如为图17)。然后,第二图像相关信息取得部37会将第二图像分割,而取得多个时空区块。此处,如图19所示,第二图像相关信息取得部37会将第二图像分割为16个,而取得16个第二时空区块。此外,图19中,各第二时空区块均记载有区块识别符。
接着,查找表构成部38会使用例如最小平方估算法(least squares estimate)计算将第一图像的第1个第一时空区块转换为第二图像的第1个第二时空区块的转换过滤器的过滤器系数。
同样地,查找表构成部38会依序使用例如最小平方估算法计算将第一图像的第n个(n为2至16)第一时空区块转换为第二图像的第n个(n为2至16)第二时空区块的转换过滤器的过滤器系数。
依以上方式,即可获得16种图像转换过滤器的过滤器系数。此外,图20为说明查找表构成部38的执行动作的示意图。图20中,F04表示第4个图像转换过滤器,F15表示第15个图像转换过滤器。
其次,查找表构成部38会取得第一图像的16个各第一时空区块的近傍特征量。此外,例如查找表构成部38会对各第一时空区块使用离散傅立叶转换(discrete fouriertransform)计算频率成分,而取得各个带域的幂次(power)。将该各个带域的幂次作为近傍特征量的特征量向量。此外,这种处理的概念揭示于图21。图21中,例如,查找表构成部38是从第4个第一时空区块取得近傍特征量的特征量向量“α04=(p04-1,p04-2,p04-3,p04-4)”,从第15个第一时空区块取得近傍特征量的特征量向量“α15=(p15-1,p15-2,p15-3,p15-4)”。
接着,查找表构成部38会计算为第一图像整体的特征量的整体特征量。例如,查找表构成部38会计算局部求得的特征量向量(近傍特征量的向量)的每个成分的分散“A1=(V1,V2,V3,V4)”作为整体特征量。此外,这种处理概念揭示于图22。
其次,查找表构成部38会将毎个各区域的整体特征量和近傍特征量相连结,以构成用以构成对应信息的特征量向量“(A1、α01)等”。此外,查找表构成部38会构成特征量向量与过滤器系数相对应的对应信息。
接着,查找表积存部39会将特征量向量与过滤器系数相对应的16个对应信息积存在储存部101。
对其他组的第一图像和第二图像进行以上的处理。然后,查找表取得装置3会取得图23所示的查找表。图23的查找表具有多数个对应信息。此外,在此处,对应信息具有特征量向量和过滤器系数。
如上所述,本实施例中,可自动取得可利用于产生依目的而调整脑负荷的图像所需的查找表。
(实施例5)
本实施例中,为对使用实施例4所建立的查找表来取得依目的对所受理的图像施以脑负荷调整的图像的图像处理装置4加以说明。
图24为本实施例的图像处理装置4的方块图。图像处理装置4具备:储存部101、图像受理部104、分割部105、图像分析部106、映射部107、合成部108、以及图像输出部109。
现在,图像处理装置4的储存部101储存有图23所示的查找表。此外,查找表较佳为以特征量向量作为关键(key)予以索引化。而且,查找表较佳为以特征量向量作为关键而分类有对应信息。
同时,假设图像受理部104已受理图25所示的图像。此外,图25的图像为景深较浅的图像。
其次,图像分析部106会计算图25的图像的整体特征量(An)。此外,整体特征量的计算方法是为与实施例4所说明的处理相同的处理。
接着,图像分析部106等会对图25的图像的各画素计算近傍特征量(αn)。此处的近傍特征量是计算该画素的近傍16×16画素区块内的频率成分,以取得各个带域的幂次。此外,有关这种处理,是为和实施例4所说明的处理相同的处理。
然后,图像分析部106会对各画素构成由整体特征量和近傍特征量合成后的特征量向量(An,αn)。
其次,图像分析部106会计算对应各画素的特征量向量(An,αn)和构成查找表的2个以上对应信息所具有的2个以上特征量向量的距离,并决定距离最近的特征量向量“例如,(Am,αm)”。
然后,映射部107会按每个各画素取得与距离最近的特征量向量成对的过滤器系数“例如,Fm”。
其次,映射部107会对输入图像的各画素施加藉由所取得的过滤器系数而实现的转换过滤器,以取得第二图像(输出图像)的各画素。
接着,合成部108将所取得的各画素作为输入图像的画素位置的输出画素值来构成输出图像。然后,图像输出部109将所构成的输出图像输出。以上处理的概念揭示于图26。
如上所述,若依本实施例,可以输出经适当调整脑负荷的图像。
此外,本实施例中,用以构成查找表的特征量向量的取得方法和图像分析部106的特征量向量的取得方法并不相同。用以构成查找表的特征量向量的取得方法和图像分析部106的特征量向量的取得方法亦可相同。
(实施例6)
本实施例中,为对使用查找表取得相对于所受理的图像其脑负荷已依目的而调整的图像的图像处理装置5加以说明。此外,本实施例中,和实施例1等的主要不同点在于所应用的约束条件是按照输入图像作动态变化方面。
图27为本实施例的图像处理装置5的方块图。
图像处理装置5具备:储存部101、约束条件储存部502、指示受理部503、图像受理部104、分割部105、图像分析部106、映射部507、合成部108、图像输出部109、以及约束条件变更部510。
映射部507具备:例如输出图像候补取得装置1072、判断装置1073、特征量取得装置5071、约束条件决定装置5072、变更装置5074、及输出图像取得装置1075。
约束条件储存部502得以储存2组对以上为由储存条件识别信息和约束条件所构成的组对的约束信息。此处的约束条件虽是以有关输出图像的条件为例来说明,但亦可为有关输入图像或对应信息的条件。条件识别信息为用以识别约束条件的信息。条件识别信息为例如特征量向量。此外,构成向量的特征量为例如输入图像的近傍空间活性值。所谓近傍空间活性值可有例如图场上相同位置的画素的时间差分值、倾斜(一次及二次空间微分值)、极小值及极大值(1位值)、n位值、动态范围、空间差分值、画素值分散、空间高频率区域之幂次、时间活性值和空间活性值的比等各种值。还有,约束条件为适当的近傍空间活性值。此外,约束信息的例子揭示于图28。图28中,约束信息具有:为条件识别信息的近傍空间活性值、和为约束条件的适当活性值。
指示受理部503从使用者受理用以变更约束条件的指示。此外,指示为例如修正图28的约束信息的指示。再者,指示为例如将使用者从图像接收的刺激量予以变更的指示。
构成映射部507的特征量取得装置5071取得图像受理部104所受理的图像(输入图像)的特征量向量。特征量取得装置5071亦可取得图像受理部104所受理的全部图像的特征量向量,亦可取得构成图像受理部104所受理的图像的时空区块的特征量向量。
约束条件决定装置5072将特征量取得装置5071所取得的特征量向量应用在约束条件储存部502的约束信息,以选择约束条件。更具体而言,约束条件决定装置5072选择与特征量取得装置5071所取得的特征量向量距离最近的条件识别信息(该条件识别信息亦为特征量向量的情形),并从约束条件储存部502取得与该选择的条件识别信息成对的约束条件。
在判断装置1073判断为未满足约束条件时,变更装置5074会使用约束条件决定装置5072所取得的约束条件,将第二图像的全部或一部分加以变更。此外,判断装置1073判断为不满足约束条件时,变更装置5074也可将查找表加以变更。而且,在判断装置1073判断为不满足约束条件时,变更装置5074也可将判断后所受理的输入图像、或判断后所得的时空区块、或判断后所受理的输入图像的1个以上特征量、或判断后所得的时空区块的1个以上特征量加以变更。
约束条件变更部510根据指示受理部503所受理的指示变更约束信息。再者,约束条件变更部510亦可自动变更约束信息。亦即,约束条件变更部510亦可根据例如使用者属性(年龄、性别、住址等)、与广播重叠的信息(包含于EPG的信息等)、时刻、时区(timezone)、外部传感器信息(例如,视听房间的明亮度、温度等),自动变更约束信息。而且,在这种情况下,约束条件变更部510预先保存有关于要如何按照使用者属性等来变更约束信息的信息(例如,显示使用者属性和变更计算法的公式的对应表等)。又,使用外部传感器时,约束条件变更部510从未图标的传感器取得信息(房间的明亮度、温度等)。
约束条件储存部502虽以非挥发性储存媒体为佳,但亦可用挥发性储存媒体来实现。约束信息储存在约束条件储存部502的过程并非所问。例如,藉由储存媒体储存的约束信息可储存在约束条件储存部502,透过通讯线路等发送的约束信息亦可储存在约束条件储存部502,或者经由输入装置输入的约束信息亦可储存在约束条件储存部502。
指示受理部503得用键盘等输入装置的装置驱动器或选单画面的控制软件等来实现。
映射部507、约束条件变更部510、特征量取得装置5071、约束条件决定装置5072、及变更装置5074通常得由MPU或存储器等来实现。映射部507等的处理程序通常是以软件来实现,该软件储存于ROM等储存媒体。但是,也可用硬件(专用电路)来实现。
接着,使用图29的流程图来说明有关图像处理装置5的动作。图29的流程图中,为说明有关与图2的流程图不同的步骤。
(步骤S2901)映射部507执行映射处理。关于映射处理,使用图30的流程图来说明。
(步骤S2902)指示受理部503判断是否受理使用者的指示。若受理使用者的指示,则进入步骤S2903;若不受理使用者的指示,则回到步骤S201。
(步骤S2903)约束条件变更部510根据指示受理部503所受理的指示,将约束信息进行变更。
此外,图29的流程图中,是将输入图像进行分割,且按每个时空区块进行处理。但是,图29的流程图中,亦可对输入图像整体进行处理。
接着,使用图30的流程图来说明有关步骤S2901的映射处理。图30的流程图中,为对与图4的流程图不同的步骤加以说明。
(步骤S3001)构成映射部507的特征量取得装置5071是取得图像受理部104所受理的图像的特征量向量。
(步骤S3002)约束条件决定装置5072将特征量取得装置5071所取得的特征量向量应用于约束条件储存部502的约束信息,以决定约束条件。有关这种约束条件决定处理,使用图31的流程图来说明。
接着,使用图31的流程图来说明有关步骤S3002的约束条件决定处理。
(步骤S3101)约束条件决定装置5072将1代入计数器i。
(步骤S3102)约束条件决定装置5072判断第i个约束信息是否存在于约束条件储存部502。若存在有第i个约束信息,则进入步骤S3103,若不存在,则到步骤S3106。
(步骤S3103)约束条件决定装置5072从约束条件储存部502取得第i个约束信息所具有的条件识别信息。
(步骤S3104)约束条件决定装置5072计算步骤S3001所取得的特征量向量和第i个条件识别信息的距离。然后,约束条件决定装置5072将该距离和第i个条件识别信息相对应地暂时积存在缓冲器。
(步骤S3105)约束条件决定装置5072将计数器i递增1,并返回步骤S3102。
(步骤S3106)约束条件决定装置5072从约束条件储存部502取得与和步骤S3001所取得的特征量向量的距离达到最小的条件识别信息成对的约束条件。返回到上位处理。
如上所述,若依本实施例,透过按照输入图像改变所使用的约束条件来构成符合该约束条件的输出图像,可以输出极高质量的图像。
此外,本实施例中,约束条件决定装置5072变更并取得依输入图像而使用的约束条件。然而,约束条件决定装置5072亦可将依输出图像而使用的约束条件加以变更。而且,约束条件决定装置5072亦可将依输入图像与输出图像而使用的约束条件加以变更。
再者,本实施例中,分割部105将图像受理部104所受理的图像进行分割。然而,亦可不将图像受理部104所受理的图像进行分割。在此种情况下,图像处理装置5中就不需要分割部105。此种情形,在其它实施例中也一样适用。
(实施例7)
本实施例中,为对使用查找表对所受理的图像取得依目的而调整脑负荷的图像的图像处理装置6加以说明。此外,本实施例中,和实施例1等的主要不同点是使所应用的查找表按照输入图像或输出图像作动态变化方面。
图32为本实施例的图像处理装置6的方块图。
图像处理装置6具备:储存部101、约束条件储存部502、指示受理部603、图像受理部104、分割部105、图像分析部106、映射部607、合成部108、图像输出部109、以及LUT变更信息变更部610。
再者,映射部607具备例如输出图像候补取得装置1072、判断装置1073、第一特征量取得装置6071、第二特征量取得装置6072、LUT变更信息储存装置6073、LUT决定装置6074、变更装置5074、以及输出图像取得装置1075。
此处的储存部101储存有2个以上查找表(以下称“LUT(Look Up Table)”。
指示受理部603从使用者接受将后述的LUT变更信息进行变更所需的指示。指示为例如将使用者从图像接受的刺激量予以变更的指示。
构成映射部607的第一特征量取得装置6071取得图像受理部104所受理的图像的特征量向量。第一特征量取得装置6071执行与上述的特征量取得装置5071相同的动作。此外,第一特征量取得装置6071取得的特征量向量称作第一特征量向量。
第二特征量取得装置6072取得输出图像取得装置1075所取得的输出图像的特征量向量。第二特征量取得装置6072取得信息的来源和第一特征量取得装置6071虽不相同,但所执行的动作与第一特征量取得装置6071相同。此外,第一特征量取得装置6071所取得的1个以上特征量、和第二特征量取得装置6072所取得的1个以上特征量可以全部皆为相同的特征量,亦可局部包含相同的特征量,也可为全部皆为不同的特征量。此外,第二特征量取得装置6072取得的特征量向量称作第二特征量向量。
LUT变更信息储存装置6073中储存有LUT变更信息,该LUT变更信息是为在取得输出图像候补取得装置1072所输出的图像候补之际用以变更要利用的LUT的信息。LUT变更信息为例如使第一特征量向量和用以识别查找表的种类识别符的组对。又,LUT变更信息亦可为例如第二特征量向量和种类识别符的组对。而且,LUT变更信息亦可为例如第一特征量向量与第二特征量向量和种类识别符的组对。此外,LUT变更信息为例如第一特征量向量、与2个以上种类识别符、与对应于各种类识别符的2个以上比值的组对。同时,LUT变更信息亦可为例如第二特征量向量、与2个以上种类识别符、与对应于各种类识别符的2个以上比值的组对。又,LUT变更信息亦可为例如第一特征量向量、与第二特征量向量、与2个以上种类识别符、与对应于各种类识别符的2个以上比值的组对。此外,LUT变更信息储存装置6073通常储存有2个以上LUT变更信息。又,上述的所谓比值,是为将2个以上LUT混合以构成新LUT时对应各LUT的比值。
再者,储存于LUT变更信息储存装置6073的LUT变更信息管理表例揭示于图33。图33中,LUT变更信息管理表具有多个LUT变更信息。LUT变更信息具有“ID”、“第一特征量向量”、“第二特征量向量”、“LUT”、“比值”。“LUT”为种类识别符。“比值”为在构成新LUT时显示各LUT的混合比的信息。此外,“比”并不限于比例,只要是使用多个LUT来构成新LUT所需的任何信息皆可。用以构成新LUT的信息,例如为以构成多个LUT的要素作为参数的演算式等。所谓构成LUT的要素,是为例如过滤器的系数、或特征量向量的要素。
LUT决定装置6074使用LUT变更信息储存装置6073的LUT变更信息来决定输出图像候补取得装置1072要利用的LUT。更具体而言,LUT决定装置6074将第一特征量向量、或第二特征量向量、或第一特征量向量及第二特征量向量使用于LUT变更信息,以决定输出图像候补取得装置1072要利用的LUT。此外,LUT决定装置6074亦可将第一特征量向量、或第二特征量向量、或第一特征量向量及第二特征量向量使用于LUT变更信息,而构成LUT。
以下,对LUT变更信息储存装置6073中储存有图33的LUT变更信息管理表时的LUT决定装置6074的动作加以说明。LUT决定装置6074会计算第一特征量取得装置6071所取得的第一特征量向量和LUT变更信息管理表内各记录的第一特征量向量的距离。接着,LUT决定装置6074会计算第二特征量取得装置6072所取得的第二特征量向量、和LUT变更信息管理表中各记录的第二特征量向量的距离。然后,LUT决定装置6074会按每个LUT变更信息管理表的各记录,来取得例如2个距离之和。其次,LUT决定装置6074会决定2个距离之和为最小的记录。接着,LUT决定装置6074取得已决定的记录所具有的“LUT”的属性值、或已决定的记录所具有的“LUT”的属性值和“比值”的属性值。已决定的记录所具有的“LUT”的属性值为一个种类识别符时,LUT决定装置6074会将以该种类识别符所识别的LUT决定作为输出图像候补取得装置1072要利用的LUT。另一方面,已决定的记录所具有的“LUT”的属性值为2个以上种类识别符时,LUT决定装置6074会取得2个以上各种类识别符和“比值”的属性值(以下,也单纯称为比值)的配组,以符合比值的方式,将2个以上各种类识别符所识别的LUT混合,而构成新的LUT。
LUT变更信息变更部610则根据指示受理部603所受理的指示,将LUT变更信息加以变更。同时,LUT变更信息变更部610亦可自动地变更LUT变更信息。亦即,LUT变更信息变更部610会按照例如使用者属性(年龄、性别、住所等)、与广播重叠的信息(包含于EPG的信息等)、时刻、时区、外部传感器信息(例如,视听房间的明亮度、温度等),自动地变更LUT变更信息。此外,在此种情形中,LUT变更信息变更部610预先保存有要以何种方式按照使用者属性等来变更LUT变更信息的信息。又,使用外部传感器信息时,约束条件变更部510会从未图标的传感器取得信息(房间的明亮度、温度等)。
指示受理部603得由键盘等输入装置的装置驱动器或选单画面的控制软件等来实现。
映射部607、LUT变更信息变更部610、第一特征量取得装置6071、第二特征量取得装置6072、及LUT决定装置6074通常得由MPU或存储器等来实现。映射部607等的处理程序通常是用软件来实现,该软件则储存于ROM等储存媒体。但是,亦可用硬件(专用电路)来实现。
LUT变更信息储存装置6073较佳为非挥发性储存媒体,但亦可用挥发性储存媒体来实现。LUT变更信息储存在LUT变更信息储存装置6073的过程并非所问。例如,亦可藉由储存媒体使LUT变更信息储存在LUT变更信息储存装置6073、亦可使经由通讯线路等发送的LUT变更信息储存在LUT变更信息储存装置6073、或者亦可使经由输入装置输入的LUT变更信息储存在LUT变更信息储存装置6073。
接着,使用图34的流程图来说明有关图像处理装置6的动作。图34的流程图中,为对与图2的流程图不同的步骤加以说明。
(步骤S3401)由映射部607进行映射处理。有关映射处理,是使用图35的流程图来说明。
(步骤S3402)指示受理部603判断是否受理使用者的指示。若受理使用者的指示,则进入步骤S3403;若不受理使用者的指示,则返回步骤S201。
(步骤S3403)LUT变更信息变更部610根据指示受理部503受理的指示来变更LUT变更信息。
接着,使用图35的流程图来说明有关步骤S3401的映射处理。图35的流程图中,为对与图4的流程图不同的步骤加以说明。
(步骤S3501)映射部607的第一特征量取得装置6071从图像受理部104所受理的输入图像取得第一特征量向量。
(步骤S3502)第二特征量取得装置6072从输出图像取得装置1075所取得的输出图像取得第二特征量向量。此外,此处作为第二特征量向量取得来源的输出图像通常为刚刚输出的输出图像。
(步骤S3503)LUT决定装置6074使用步骤S3501所取得的第一特征量向量和步骤S3502所取得的第二特征量向量来决定LUT。有关为这种处理的LUT决定处理,使用图36的流程图来说明。
其次,使用图36的流程图来说明有关步骤S3503的LUT决定处理。
(步骤S3601)LUT决定装置6074将1代入计数器i。
(步骤S3602)LUT决定装置6074判断是否存在第i个LUT变更信息。若第i个LUT变更信息存在,则进入步骤S3603,若不存在,则到步骤S3607。
(步骤S3603)LUT决定装置6074取得第i个LUT变更信息所具有的第一特征量向量。接着,LUT决定装置6074计算所取得的第一特征量向量和步骤S3501所取得的第一特征量向量之间的距离(d1)。
(步骤S3604)LUT决定装置6074取得第i个LUT变更信息所具有的第二特征量向量。接着,LUT决定装置6074计算所取得的第二特征量向量和步骤S3502所取得的第二特征量向量之间的距离(d2)。
(步骤S3605)LUT决定装置6074将步骤S3603计算的距离(d1)和步骤S3604计算的距离(d2)代入计算式,并执行该计算式。然后,LUT决定装置6074取得第i个LUT变更信息的成本(C)。之后,LUT决定装置6074使该成本(C)和第i个LUT变更信息对应,且至少暂时予以积存。此外,计算式是为以2个距离作为参数的计算式,以各距离作为参数的函数。此外,这种函数通常是为以各距离作为参数的增加函数。计算式为例如“C=a1×d1+(1-a1)×d2”。而且,a1为例如0.5、0.8等。
(步骤S3606)LUT决定装置6074将计数器i递增1。回到步骤S3602。
(步骤S3607)LUT决定装置6074取得步骤S3605所计算的成本最小的LUT变更信息所具有的1个以上种类识别符。
(步骤S3608)LUT决定装置6074判断步骤S3607所取得的种类识别符是否为复数。若为复数,进入步骤S3609;若为1个,则到步骤S3611。
(步骤S3609)LUT决定装置6074以和种类识别符相对应的方式从LUT变更信息储存装置6073取得成本最小的LUT变更信息所具有的多个比值。
(步骤S3610)LUT决定装置6074从储存部101取得与多个种类识别符对应的LUT。然后,LUT决定装置6074按照步骤S3609所取得的比值将已取得的LUT混合,并产生新的LUT。这种新的LUT即为输出图像候补取得装置1072要使用的LUT。
此外,所谓LUT的混合是为例如以下的处理。例如,构成LUT的对应信息为特征量向量和参数群(例如,过滤器的系数的集合)。而且,多个LUT则具有相同的特征量向量。同时,LUT决定装置6074会取得对应于相同特征量向量的多个LUT的参数群,将构成该参数群的各参数按照比值来混合。例如,LUT“A”的某对应信息具有的特征量向量为V1,参数群为(4,10,7,···)。而且,LUT“B”的某对应信息所具有的特征量向量为V1,参数群为(10,8,17,···)。然后,对应于LUT“A”的比值为“a1”、对应于LUT“A”的比为“1-a1”。这种情形中,LUT决定装置6074取得参数群(4×a1+10×(1-a1),10×a1+8×(1-a1),7×a1+17×(1-a1),···)。对所有的对应信息进行这种处理。
(步骤S3611)LUT决定装置6074从LUT变更信息储存装置6073取得用成本最小的LUT变更信息具有的种类识别符所识别的LUT。这种LUT是为输出图像候补取得装置1072使用的LUT。
如上所述,若依本实施例,藉由按照输入图像、或输出图像、或输入图像及输出图像来改变所应用的查找表及构成输出图像,可以输出质量极高的图像。
(实施例8)
本实施例中为对图像学习装置7加以说明。图像学习装置7为查找表取得装置3取得构成查找表所用的第一图像与第二图像的装置。再者,此处的图像学习装置7主要用以提升娱乐性的图像处理装置的查找表所需的装置。
图37为图像学习装置7的方块图。图像学习装置7具有:第一图像储存部31、第二图像储存部32、图像产生部71、以及图像积存部72。此外,第一图像储存部31及第二图像储存部32为构成查找表取得装置3等的装置。
第一图像储存部31得储存1个以上第一图像。第一图像储存部31亦可储存为动画的第一图像。
第二图像储存部32得储存1个以上第二图像。第二图像储存部32亦可储存为动画的第二图像。
图像产生部71从储存于第一图像储存部31的第一图像来产生第二图像。同时,图像产生部71亦可从储存于第二图像储存部32的第二图像来产生第一图像。
例如,图像产生部71产生以下的第二图像、或第一图像。
(1)插入有为白图像的闪亮图像的第二图像的产生
图像产生部71从第一图像储存部31读取为动画的第一图像。接着,图像产生部71将白图像的图框插入第一图像的任意图框位置,并取得第二图像。
(2)插入有为图像已提高亮度值的闪亮图像的第二图像的产生
图像产生部71从第一图像储存部31读取为动画的第一图像。接着,图像产生部71将第一图像的任意图框位置的图框亮度值提高,并取得第二图像。
(3)插入有为高对比图像的闪亮图像的第二图像的产生
图像产生部71从第一图像储存部31读取为动画的第一图像。接着,图像产生部71将高对比图像插入第一图像的任意图框位置,并取得第二图像。
(4)图像强调不均一画面的第二图像的产生
图像产生部71从第一图像储存部31读取为动画的第一图像。接着,图像产生部71对于第一图像的任意位置的图框施以边缘强化(edge enhancement)或对比变更等,而取得第二图像。边缘强化或对比变更等处理为属公知技术,其说明容予省略。
(5)薄膜状(film like)影像的处理
图像产生部71从第二图像储存部32读取作为成膜源(film source)的动画式第二图像。接着,将第二图像作图像转换,并取得第一图像。
图像积存部72将图像产生部71所产生的第二图像积存于第二图像储存部32。同时,图像积存部72将图像产生部71所产生的第一图像积存于第一图像储存部31。
其次,对图像处理装置的映射处理加以说明。映射处理是由上述的图像处理装置的映射部来执行。
第二图像为上述(1)至(3)的任一情况所产生的闪亮图像时,映射部107使用输入图像的特征量向量(例如,以亮度分布或全画面移动量等为要素而产生的向量),从LUT取得和该特征量向量对应的对应信息。然后,映射部107使用所取得的对应信息将特殊图框插入。此外,输入图像的特征量向量由图像分析部106取得。而且,输入图像的特征量向量满足预定条件(亦可为对应信息)时,映射部107也可插入特殊图框。所谓特殊图框是指闪亮图像的图框。
此外,第二图像为上述(4)所产生的强调不均一图像时,映射部107可藉由进行上述处理,以强调方法非全画面皆为一律的方式,例如按照波形而自动选择不同的强调方法。
再者,第二图像为上述(5)所产生的薄膜状图像时,映射部107可藉由进行上述的处理,而输出已转换成薄膜状图像的输出图像。
此外,亦可将例如在不同照明环境下拍摄相同拍摄对象所得的第一图像与第二图像分别积存于第一图像储存部31与第二图像储存部32。所谓不同照明环境,如上所述,是例如依拍摄对象而使照明的明亮度不同的环境。而且,所谓不同照明环境,是例如光源位置错开的环境。
在这种情形中,映射部107可藉由进行上述的处理,而提升图像的质感、或获得表面反射特性完全不同的图像。例如,输入图像中新制作的弦乐器却以漆色古朴的弦乐器形态输出。
此外,本实施例中,第二图像亦可只是分辨率比第一图像高的图像。亦即,例如图像学习装置7也可从储存于第二图像储存部32的高分辨率式第二图像,来产生更低分辨率的第一图像,并积存于第一图像储存部31。而且,例如图像学习装置7也可从储存于第一图像储存部31的低分辨率式第一图像,利用分辨率创造的处理来产生第二图像,并积存于第二图像储存部32。
再者,图38为显示执行本说明书所述的程序来实现上述实施例的查找表取得装置等的计算器的外观。上述的实施例得以计算器硬件及在其中执行的计算器程序来实现。图38为该计算器系统340的概观图,图39为计算器系统340的方块图。
图38中,计算器系统340包含FE驱动器、包括CD-ROM驱动器的计算器341、键盘342、鼠标343、以及显示器344。
图39中,计算器341除了FD驱动器3411、CD-ROM驱动器3412外,还包含MPU3413、连接于CD-ROM驱动器3412及FD驱动器3411的总线3414、用以储存启动程序等程序的ROM3415、暂时储存应用程序的命令同时提供暂时储存空间的RAM3416、及用以储存应用程序、系统程序和数据的硬盘3417。此处虽未加以图示,唯计算器341亦可再包含提供与LAN连接的网络卡。
使计算器系统340执行上述实施例的查找表取得装置等功能的程序,亦可储存于CD-ROM 3501、或FD 3502,再插入CD-ROM驱动器3412或FD驱动器3411,然后传送到硬盘3417。该程序也可经由未图标的网络传送到计算器341,并储存在硬盘3417,以取代前述方式。程序在执行时为加载于RAM3416。亦可直接从CD-ROM 3501、FD 3502或网络加载程序。
程序亦可不一定要包含使计算器341执行上述实施例的查找表取得装置等功能的操作系统(OS)、或第三方(third party)程序等。程序也可仅包含以控制的型态叫出适当功能(模块)且得到所期望的结果的命令部分。计算器系统340以何种方式动作已为众所周知,其详细说明容予省略。
此外,执行上述程序的计算器可为单数、亦可为复数。换言之,可进行集中处理,或者也可进行分散处理。
此外,上述各实施例中,各处理(各功能)可经由单一装置(系统)实施集中处理来实现,或者,也可经由多个装置实施分散处理来实现。
本发明并非限定在以上的实施例,而是可作各种变更,这些变更亦应包含在本发明的范围内,应无庸赘言。
产业上的可利用性
如上所述,本发明的图像处理装置具有可输出高质量图像的功效,对作为电视接收机而言,甚为有用。
附图标记说明
Claims (10)
1.一种图像处理装置,其特征在于,具备:
储存部,可储存具有2个以上对应信息的查找表,该对应信息是为用以取得1个或2个以上第一图像的全部或一部分和与该第一图像不同的第二图像的全部或一部分相对应所需的信息;
约束条件储存部,可储存为输入图像、对应信息、或输出图像中的1或2种以上信息应满足的条件的约束条件;
图像受理部,用于受理1个或2个以上图像;
图像分析部,决定与前述图像受理部所受理的1个或2个以上图像的全部或一部分相对应的第一图像的全部或一部分;
映射部,从前述2个以上对应信息中,选择与前述图像分析部所决定的第一图像的全部或一部分相对应的对应信息,使用选择的对应信息并以符合前述约束条件的方式,来取得与前述图像分析部所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分;以及
图像输出部,输出由前述映射部所取得的1个或2个以上第二图像的全部或一部分构成的输出图像。
2.如权利要求1所述的图像处理装置,其特征在于,
前述约束条件是为输出图像应满足的条件;
前述映射部具备:
输出图像候补取得装置,使用前述2个以上对应信息中的任一对应信息,来取得第二图像的全部或一部分;
判断装置,判断前述输出图像候补取得装置所取得的第二图像的全部或一部分是否满足前述约束条件;
变更装置,经前述判断装置判断为未满足前述约束条件时,以满足约束条件的方式将前述第二图像的全部或一部分进行变更,以取得变更图像;以及
输出图像取得装置,使用经前述判断装置判断为满足前述约束条件的第二图像的全部或一部分、或前述变更装置所取得的变更图像、或经前述判断装置判断为满足前述约束条件的第二图像的全部或一部分及前述变更装置所取得的变更图像,来取得输出图像。
3.如权利要求1所述的图像处理装置,其特征在于,
前述约束条件为输入图像应满足的条件;
前述映射部具备:
判断装置,判断前述图像受理部所受理的图像的一部分的1个以上特征量是否满足前述约束条件;
变更装置,经前述判断装置判断为未满足约束条件时,使用前述图像的一部分预先决定范围的周边像素的1个以上特征量,来取得前述图像的一部分的1个以上特征量;及
输出图像取得装置,使用前述变更装置所取得的1个以上特征量、或前述图像受理部所受理的图像一部分的1个以上特征量,来取得1个以上第二图像的一部分。
4.如权利要求1所述的图像处理装置,其特征在于,
前述查找表具有2个以上对应信息,又具备决定与前述图像受理部所受理的1个或2个以上图像的全部或一部分相对应的第一图像的全部或一部分的图像分析部,
而前述约束条件为不连续使用同一对应信息;
前述映射部则具备:
判断装置,取得用以取得1个以上第二图像的全部或一部分所需的对应信息,并依据前述约束条件来判断该对应信息和刚刚使用过的对应信息是否为同一个;
变更装置,经前述判断装置判断为未满足约束条件时,则除了在前述图像分析部决定的第一图像的全部或一部分外,再次将决定第一图像的全部或一部分的指示传送到前述图像分析部,并取得与所决定的第一图像的全部或一部分相对应的对应信息;以及
输出图像取得装置,使用前述变更装置所取得的对应信息,来取得1个以上第二图像的一部分;
而前述映射部保持用以确定至少最近使用过的对应信息的信息。
5.如权利要求1所述的图像处理装置,其特征在于,
前述第一图像的全部或一部分是为要输入的影像中的一部分的第一时空区块;
前述第二图像的全部或一部分是为要输出到画面的影像中的一部分的第二时空区块;
前述图像受理部则受理为1个以上图像的集合的影像,并具备:
分割部,将前述图像受理部所受理的影像依空间性、或时间性、或空间性及时间性分割成2个以上,并取得2个以上第一时空区块;
合成部,将前述映射部所取得的2个以上各输出图像的全部或一部分配置在与该2个以上各输出图像的全部或一部分相对应的第一时空区块的时间性、或空间性、或空间性及时间性位置,以产生输出图像;
而前述图像输出部则将前述合成部所产生的输出图像予以输出。
6.如权利要求1所述的图像处理装置,其特征在于,前述对应信息为具有:有关在一个环境所得的一个对象的第一图像的全部或一部分的1个以上特征量;以及用以产生与前述第一图像的全部或一部分相对应的第二图像的全部或一部分的演算式、或要代入演算式的参数的集合的信息。
7.如权利要求1所述的图像处理装置,其特征在于,
前述储存部储存有2组对以上用以识别查找表的种类的种类识别符、及对应该种类识别符的查找表的组对;
前述映射部具备取得要利用的查找表种类的1个以上种类识别符予以识别的种类识别符取得装置;
且前述映射部使用对应于前述1个以上种类识别符的1个以上查找表所具有的任一对应信息,以符合前述约束条件的方式,来取得与前述图像受理部所受理的1个或2个以上图像的全部或一部分相对应的1个以上第二图像的全部或一部分。
8.如权利要求1所述的图像处理装置,其特征在于,又具备:
指示受理部,受理使用者的指示;以及
查找表更新部,按照前述指示将前述查找表所具有的2个以上对应信息的任一者加以变更。
9.如权利要求1所述的图像处理装置,其特征在于,储存于前述储存部的查找表是为藉由查找表取得装置所取得的查找表,而该查找表取得装置则具备:
第一图像储存部,可储存1个以上第一图像;
第二图像储存部,可将1个以上各第二图像和前述1个以上各第一图像相对应地储存;
第一图像相关信息取得部,从前述1个以上第一图像的全部或一部分,取得储存在前述第一图像储存部的为有关1个以上第一图像的全部或一部分的信息的1个以上第一图像相关信息;
第二图像相关信息取得部,从前述1个以上第二图像的全部或一部分,取得储存在前述第二图像储存部的为有关1个以上第二图像的全部或一部分的信息的1个以上第二图像相关信息;以及
查找表构成部,构成具有2个以上对应信息的查找表,而该对应信息具有:前述第一图像相关信息取得部所取得的第一图像相关信息、及为与该第一图像相关信息相对应且为前述第二图像相关信息取得部所取得的第二图像相关信息的信息,并显示前述1个以上第一图像的全部或一部分与前述1个以上第二图像的全部或一部分的对应的信息;
其中,该第一图像和该第二图像为针对同一个对象的不同图像;
该第二图像相对于该第一图像,该第二图像具有该第二图像是在与不同于得到该第一图像的一环境的另一环境所得的图像的关系;或者该第二图像相对于该第一图像,该第二图像具有该第二图像是局部插入有闪亮画面的图像的关系;或者该第二图像相对于该第一图像,该第二图像具有该第二图像是将该第一图像变形后的图像的关系;或者该第二图像相对于该第一图像,该第二图像具有该第二图像是对描写该第一图像的绘画进行拍摄后所得的图像的关系;或者该第二图像相对于该第一图像,该第二图像具有该第二图像是该第一图像的CG图像的关系,
该另一环境为照明或光源的光量比该环境多的环境,或者该另一环境为与该环境相比较该另一环境的光源位置能够清楚表现出图像上的对象影子的环境,或者该另一环境为与该环境相比较该另一环境的光源位置能够清楚表现出图像上的对象立体感的环境,或者该另一环境为与该环境相比较该另一环境的摄影机位置能够清楚表现出图像上的对象立体感的环境,或者该另一环境为照明颜色与该环境不同的环境,或者该另一环境为天候与该环境不同的环境,或者该另一环境为温度或者湿度与该环境不同的环境,或者该另一环境为景深与该环境不同的环境,或者该另一环境为快门速度与该环境不同的环境。
10.一种图像处理方法,在储存媒体中储存有:
查找表,具有2个以上对应信息,该对应信息为使1个或2个以上第一图像的全部或一部分、及与该第一图像不同的第二图像的全部或一部分取得对应所需的信息;以及
约束条件,为输入图像、对应信息、或输出图像中的1或2种以上信息应满足的条件;
且可藉由图像受理部、图像分析部、映射部、及图像输出部来实现的图像处理方法,该图像处理方法其特征在于具备:
图像受理步骤,由前述图像受理部受理1个或2个以上图像;
图像分析步骤,由前述图像分析部决定与前述图像受理步骤所受理的1个或2个以上图像的全部或一部分相对应的第一图像的全部或一部分;
映射步骤,由前述映射部从前述2个以上对应信息中,选择与前述图像分析步骤所决定的第一图像的全部或一部分相对应的对应信息,使用选择的对应信息并以符合前述约束条件的方式,来取得与前述图像分析部所决定的第一图像的全部或一部分相对应的第二图像的全部或一部分;以及
图像输出步骤,由前述图像输出部将以前述映射步骤取得的1个或2个以上第二图像的全部或一部分所构成的输出图像予以输出。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011106301 | 2011-05-11 | ||
JP2011-106301 | 2011-05-11 | ||
JP2011106303 | 2011-05-11 | ||
JP2011-106303 | 2011-05-11 | ||
JP2012010720A JP6110592B2 (ja) | 2011-05-11 | 2012-01-23 | 画像処理装置、画像処理方法、およびプログラム |
JP2012-010720 | 2012-01-23 | ||
JP2012-010718 | 2012-01-23 | ||
JP2012010718A JP5944170B2 (ja) | 2011-05-11 | 2012-01-23 | 画像処理装置、画像処理方法、およびプログラム |
PCT/JP2012/061738 WO2012153727A1 (ja) | 2011-05-11 | 2012-05-08 | 画像処理装置、画像処理方法、およびプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103733219A CN103733219A (zh) | 2014-04-16 |
CN103733219B true CN103733219B (zh) | 2016-11-23 |
Family
ID=50070199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280022556.XA Expired - Fee Related CN103733219B (zh) | 2011-05-11 | 2012-05-08 | 图像处理装置、图像处理方法、及储存程序的储存媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9639936B2 (zh) |
EP (1) | EP2709055B1 (zh) |
KR (1) | KR101961968B1 (zh) |
CN (1) | CN103733219B (zh) |
BR (1) | BR112013028782A2 (zh) |
WO (1) | WO2012153727A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6040042B2 (ja) * | 2013-02-12 | 2016-12-07 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6509818B2 (ja) * | 2013-04-30 | 2019-05-08 | モレキュラー デバイシーズ, エルエルシー | 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法 |
KR20170007333A (ko) | 2014-07-11 | 2017-01-18 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
US10419718B2 (en) * | 2014-07-11 | 2019-09-17 | Lg Electronics Inc. | Method and device for transmitting and receiving broadcast signal |
CN105512187B (zh) * | 2015-11-25 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 基于展示图片的信息展示方法及信息展示装置 |
CN107846589B (zh) * | 2016-09-19 | 2020-07-07 | 上海臻瞳电子科技有限公司 | 一种基于局部动态量化的图像压缩方法 |
CN108629402A (zh) * | 2017-03-20 | 2018-10-09 | 上海荆虹电子科技有限公司 | 用于图像处理的方法和装置 |
JP2019136444A (ja) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN115908596B (zh) * | 2021-08-20 | 2023-11-24 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005018537A (ja) * | 2003-06-27 | 2005-01-20 | Sony Corp | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
JP2007207253A (ja) * | 2007-02-05 | 2007-08-16 | Sony Corp | 信号処理装置 |
CN101299269A (zh) * | 2008-06-13 | 2008-11-05 | 北京中星微电子有限公司 | 静止场景的标定方法及装置 |
CN101340510A (zh) * | 2008-08-07 | 2009-01-07 | 中兴通讯股份有限公司 | 一种视频增强的方法及其装置 |
CN101916276A (zh) * | 2010-08-13 | 2010-12-15 | 北京新岸线网络技术有限公司 | 一种改善富媒体文件在网络中发布的方法、装置及服务器 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2825482B2 (ja) | 1986-08-02 | 1998-11-18 | ソニー株式会社 | ディジタル画像信号の補間装置 |
US5008752A (en) * | 1989-06-16 | 1991-04-16 | Eastman Kodak Company | Digital image interpolator with multiple interpolation algorithms |
JP3072306B2 (ja) | 1996-01-29 | 2000-07-31 | ソニー株式会社 | ディジタルビデオ信号変換装置及び変換方法 |
JP3671616B2 (ja) | 1997-08-21 | 2005-07-13 | 富士ゼロックス株式会社 | 画像処理装置 |
JP2923894B1 (ja) | 1998-03-31 | 1999-07-26 | 日本電気株式会社 | 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体 |
AUPQ377899A0 (en) * | 1999-10-29 | 1999-11-25 | Canon Kabushiki Kaisha | Phase three kernel selection |
US6992725B2 (en) * | 2001-10-22 | 2006-01-31 | Nec Electronics America, Inc. | Video data de-interlacing using perceptually-tuned interpolation scheme |
JP4000837B2 (ja) | 2001-11-28 | 2007-10-31 | コニカミノルタホールディングス株式会社 | Idカード作成システム、色補正方法及びidカード作成方法 |
EP1887514B1 (en) | 2002-02-21 | 2009-07-01 | Sony Corporation | Signal processing device |
JP2004180142A (ja) * | 2002-11-28 | 2004-06-24 | Canon Inc | 画像処理装置、階調変換特性設定方法及びプログラム |
JP4639613B2 (ja) | 2004-03-15 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
US7602997B2 (en) * | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
JP4126378B2 (ja) * | 2005-05-02 | 2008-07-30 | 国立大学法人東京工業大学 | 超解像処理の高速化方法 |
JP4624248B2 (ja) | 2005-12-06 | 2011-02-02 | 富士フイルム株式会社 | 画像処理装置、肌色調整方法及びプログラム |
JP4157567B2 (ja) * | 2006-04-11 | 2008-10-01 | 株式会社東芝 | 動画像の高解像度化方法及び装置 |
JP2008234479A (ja) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | 画像高品質化装置、方法、及びプログラム |
WO2008119480A2 (en) * | 2007-03-31 | 2008-10-09 | Sony Deutschland Gmbh | Noise reduction method and unit for an image frame |
US8655108B2 (en) * | 2007-09-19 | 2014-02-18 | Sharp Laboratories Of America, Inc. | Adaptive image up-scaling technique |
JP5061883B2 (ja) * | 2007-12-21 | 2012-10-31 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
TWI361378B (en) | 2008-05-16 | 2012-04-01 | Asustek Comp Inc | Computer having circuit and method for processing image |
JP2010166506A (ja) * | 2009-01-19 | 2010-07-29 | Ricoh Co Ltd | 画像出力装置、画像出力方法、画像出力プログラム及び記録媒体 |
US8237868B2 (en) * | 2009-03-30 | 2012-08-07 | Sharp Laboratories Of America, Inc. | Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening |
WO2011027593A1 (ja) | 2009-09-04 | 2011-03-10 | シャープ株式会社 | 表示駆動回路、液晶表示装置、表示駆動方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 |
US8718407B2 (en) * | 2011-11-18 | 2014-05-06 | Stmicroelectronics (Canada), Inc. | High-quality single-frame superresolution training and reconstruction engine |
US8675999B1 (en) * | 2012-09-28 | 2014-03-18 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system, and method for multi-patch based super-resolution from an image |
CN103514580B (zh) * | 2013-09-26 | 2016-06-08 | 香港应用科技研究院有限公司 | 用于获得视觉体验优化的超分辨率图像的方法和系统 |
-
2012
- 2012-05-08 WO PCT/JP2012/061738 patent/WO2012153727A1/ja active Application Filing
- 2012-05-08 BR BR112013028782A patent/BR112013028782A2/pt active Search and Examination
- 2012-05-08 CN CN201280022556.XA patent/CN103733219B/zh not_active Expired - Fee Related
- 2012-05-08 KR KR1020137029865A patent/KR101961968B1/ko active IP Right Grant
- 2012-05-08 EP EP12781820.1A patent/EP2709055B1/en active Active
- 2012-05-08 US US14/116,772 patent/US9639936B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005018537A (ja) * | 2003-06-27 | 2005-01-20 | Sony Corp | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
JP2007207253A (ja) * | 2007-02-05 | 2007-08-16 | Sony Corp | 信号処理装置 |
CN101299269A (zh) * | 2008-06-13 | 2008-11-05 | 北京中星微电子有限公司 | 静止场景的标定方法及装置 |
CN101340510A (zh) * | 2008-08-07 | 2009-01-07 | 中兴通讯股份有限公司 | 一种视频增强的方法及其装置 |
CN101916276A (zh) * | 2010-08-13 | 2010-12-15 | 北京新岸线网络技术有限公司 | 一种改善富媒体文件在网络中发布的方法、装置及服务器 |
Also Published As
Publication number | Publication date |
---|---|
KR101961968B1 (ko) | 2019-03-25 |
EP2709055B1 (en) | 2020-06-17 |
US20140079337A1 (en) | 2014-03-20 |
EP2709055A4 (en) | 2015-08-26 |
EP2709055A1 (en) | 2014-03-19 |
CN103733219A (zh) | 2014-04-16 |
BR112013028782A2 (pt) | 2017-01-31 |
KR20140035373A (ko) | 2014-03-21 |
WO2012153727A1 (ja) | 2012-11-15 |
US9639936B2 (en) | 2017-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103733219B (zh) | 图像处理装置、图像处理方法、及储存程序的储存媒体 | |
CN103518221B (zh) | 图像处理装置及方法、用计算机程序进行图像处理的方法 | |
US8488868B2 (en) | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images | |
US7262767B2 (en) | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system | |
CN104081768B (zh) | 异视点图像生成装置以及异视点图像生成方法 | |
US9723286B2 (en) | Image processing apparatus and control method thereof | |
US6985637B1 (en) | Method and apparatus of enhancing a digital image using multiple selected digital images | |
JP6134414B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6499612B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN109151432B (zh) | 一种立体图像颜色和深度编辑方法 | |
JPH0863615A (ja) | 2次元画像の3次元化方法 | |
JP5961389B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Anderson et al. | Gamut expansion for video and image sets | |
JP6244397B2 (ja) | ルックアップテーブル取得装置、ルックアップテーブルの生産方法、およびプログラム | |
TWI558219B (zh) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
TWI586180B (zh) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
TWI535297B (zh) | An image processing apparatus, an image processing method, and a storage medium for storing a program | |
JPH1169145A (ja) | 画像処理装置及び画像処理方法 | |
Vázquez et al. | A non-conventional approach to the conversion of 2D video and film content to stereoscopic 3D |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161123 |