CN116802675A - 图像处理电路 - Google Patents
图像处理电路 Download PDFInfo
- Publication number
- CN116802675A CN116802675A CN202280007676.6A CN202280007676A CN116802675A CN 116802675 A CN116802675 A CN 116802675A CN 202280007676 A CN202280007676 A CN 202280007676A CN 116802675 A CN116802675 A CN 116802675A
- Authority
- CN
- China
- Prior art keywords
- circuit
- processing
- image
- neural network
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 208
- 238000013528 artificial neural network Methods 0.000 claims abstract description 95
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 67
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 238000011946 reduction process Methods 0.000 claims abstract description 30
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 27
- 239000002131 composite material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种图像处理电路(1000),具备:第一处理电路,执行降低图像的噪声的降噪处理;第二处理电路,执行提高图像的分辨率的超分辨率处理;计算电路,基于降噪处理及超分辨率处理的各自的强度设定,对表示要合成的多个图像的比率的合成比率进行计算;神经网络电路(1007),基于强度设定执行降嗓处理或超分辨率处理;第一合成电路(1008),基于合成比率合成由第一处理电路实施了降噪处理的图像和由神经网络电路(1007)实施了图像处理的图像;以及第二合成电路(1010),基于合成比率合成由第二处理电路实施了超分辨率处理的图像和由神经网络电路(1007)实施了图像处理的图像。
Description
相关申请的交叉引用
本申请要求在2022年1月13日提交日本专利局、申请号为2022-003991、发明名称为“图像处理电路”的日本专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请的实施方式涉及图像处理电路。
存在将神经网络进行了电路化的神经网络电路。神经网络电路例如执行降低图像的噪声的降噪处理。神经网络电路相比于将降噪处理的算法进行了电路化的以往的降噪处理电路,更有效地降低噪声。
因此,神经网络电路不限于用于降噪处理,还想要用于超分辨率处理等各种各样的图像处理。进一步,在执行多个图像处理的情况下,优选图像处理的强度能够根据每个图像处理而进行变更。
在先技术文献
专利文献
专利文献1:日本特开2020-191046号公报
发明内容
然而,神经网络电路因为电路规模较大,所以难以针对每个图像处理而设置。另外,神经网络电路因为对各神经元(neuron)设定的系数组庞大,所以难以针对多个图像处理的每一个的强度设定而准备。
本申请要解决的技术问题在于提供一种图像处理电路,其在使用神经网络电路的同时,能够变更多个图像处理的每一个的强度设定。
实施方式的图像处理电路具备:第一处理电路,其执行降低图像的噪声的图像处理即降噪处理;第二处理电路,其执行提高图像的分辨率的图像处理即超分辨率处理;计算电路,其基于所述降噪处理及所述超分辨率处理的各自的强度设定,计算表示要合成的多个图像的比率的合成比率;神经网络电路,其由神经网络形成,所述神经网络基于所述强度设定来执行所述降噪处理或所述超分辨率处理;第一合成电路,其基于所述合成比率来合成由所述第一处理电路实施了所述降噪处理的图像和由所述神经网络电路实施了所述图像处理的图像;第二合成电路,其基于所述合成比率来合成由所述第二处理电路实施了所述超分辨率处理的图像和由所述神经网络电路实施了所述图像处理的图像。
图1是示出实施方式的电视装置的硬件构成的一个例子的图;
图2是示出图像处理电路的电路构成的一个例子的框图;
图3是说明由合成比率运算电路进行的合成比率的计算方法的一个例子的图;
图4是说明由合成比率运算电路进行的合成比率的计算方法的一个例子的图;
图5是说明由合成比率运算电路进行的合成比率的计算方法的一个例子的图。
附图标记说明
10…电视装置,108…信号处理部,1000…图像处理电路,1001…等级输出电路,1002…系数选择电路,1003…第一系数组,1004…第二系数组,1005…合成比率运算电路,1006…NR(noise reduction)电路,1007…神经网络电路,1008…第一合成电路,1009…SR(Super Resolution)电路,1010…第二合成电路,L1…第一箭头,L2…第二箭头,P1、P2…匹配点,R1…第一斜线,R2… 第二斜线,R3…第三斜线,R4…第四斜线,R5…第五斜线,R6…第六斜线,R7…第七斜线。
以下,参照附图,详细地说明实施方式。
图1是示出实施方式的电视装置10的硬件构成的一个例子的图。电视装置10对于通过广播等而输入的图像执行图像处理。然后,电视装置10将执行了图像处理的图像进行显示。
如图1所示,电视装置10具备天线101、输入端子102a~102c、调谐器103、解调器104、解复用器105、A/D(模拟/数字)转换器106、选择器107、信号处理部108、扬声器109、显示面板110、操作部111、受光部112、IP通信部113、CPU(Central Processing Unit:中央处理单元)114、内存115、存储器116、话筒117、及音频I/F(接口)118。
天线101接收数字广播的广播信号,并将接收到的广播信号经由输入端子102a供给到调谐器103。
调谐器103从由天线101供给的广播信号中对期望的频道的广播信号进行选台,并将选台的广播信号供给到解调器104。
解调器104对从调谐器103供给的广播信号进行解调,并将解调后的广播信号供给到解复用器105。
解复用器105将从解调器104供给的广播信号分离从而生成视像信号及语音信号,并将生成的视像信号及语音信号供给到选择器107。
选择器107从由解复用器105、A/D转换器106、及输入端子102c供给的多个信号中选择1个,并将选择的1个信号供给到信号处理部108。
信号处理部108对从选择器107供给的视像信号实施规定的信号处理,并将处理后的视像信号供给到显示面板110。另外,信号处理部108对从选择器107供给的语音信号实施规定的信号处理,并将处理后的语音信号供给到扬声器109。信号处理部108具有图2所示的图像处理电路1000。
扬声器109基于从信号处理部108供给的语音信号,输出语音、或各种声音。另外,扬声器109基于由CPU114进行的控制,变更要输出的语音或各种声音的音量。
作为显示部的显示面板110基于从信号处理部108供给的视像信号或由CPU114进行的控制,显示静态图像及动态图像等的视像、其他图像、以及文字信息等。
输入端子102b接收从外部输入的视像信号及语音信号等模拟信号。另外,输入端子102c接收从外部输入的视像信号及语音信号等数字信号。例如,输入端子102c能够从搭载有驱动装置的录像机等输入信号,该驱动装置驱动BD(Blu-ray(注册商标)Disc)等录像播放用的记录介质从而进行录像及播放。
A/D转换器106将数字信号供给到选择器107,该数字信号是通过对从输入端子102b供给的模拟信号实施A/D而生成的信号。
操作部111接收用户的操作输入。
受光部112接收来自遥控器119的红外线。
IP通信部113是用于经由网络40进行IP(互联网协议)通信的通信接口。
CPU114控制电视装置10整体。
内存115是对CPU114执行的各种计算机程序进行存储的ROM、及对CPU114提供作业分区的RAM等。
存储器116是HDD(Hard Disk Drive:硬盘驱动器)或SSD(Solid State Drive:固态硬盘驱动器)等。存储器116例如将由选择器107选择的信号作为录像数据而记录。
作为语音输入部的话筒117获取用户发声的语音,并送出到音频I/F118。
音频I/F118对话筒117获取到的语音进行模拟/数字转换,作为语音信号送出到CPU114。
接着,说明信号处理部108具有的图像处理电路1000。
图2是示出图像处理电路1000的电路构成的一个例子的框图。如图2所示,图像处理电路1000具备等级输出电路1001、系数选择电路1002、合成 比率运算电路1005、NR(noise reduction:降噪)电路1006、神经网络电路1007、第一合成电路1008、SR(Super Resolution:超分辨)电路1009、及第二合成电路1010。
图像处理电路1000对于输入到图像处理电路1000中的输入图像,以各个强度等级执行多个种类的图像处理。图像处理电路1000例如能够设定4阶段的强度等级。作为多个图像处理的一个例子,图像处理电路1000执行降噪处理及超分辨率处理。然而,图像处理电路1000也可以执行与降噪处理或超分辨率处理不同的图像处理。
等级输出电路1001是输出降噪处理及超分辨率处理的各自的强度等级的电路。强度等级是表示降噪处理及超分辨率处理的各自的强度的强度设定。另外,强度等级可以是由用户的设定来决定的值,也可以是根据各种设定而判定的值,还可以是计算出来的值,还可以是这些以外的值。进一步,在从图像处理电路1000的外部输入强度等级的情况下,图像处理电路1000也可以不具有等级输出电路1001。
NR电路1006是执行降低图像的噪声的图像处理即降噪处理的电路。NR电路1006是第一处理电路的一个例子。更详细而言,NR电路1006是将降噪处理的算法进行了电路化的电路。另外,NR电路1006执行与从等级输出电路1001输出的降噪处理的强度等级相应的降噪处理。
具体而言,NR电路1006对于输入到图像处理电路1000中的输入图像,执行与降噪处理的强度等级相应的降噪处理。然后,NR电路1006将实施了降噪处理的图像即NR图像输出到神经网络电路1007及第一合成电路1008。
SR电路1009是执行提高图像的分辨率的图像处理即超分辨率处理的电路。SR电路1009是第二处理电路的一个例子。例如,所谓超分辨率处理,是使图像中包含的细线上浮、或者强调边缘的处理。更详细而言,SR电路1009是将超分辨率处理的算法进行了电路化的电路。另外,SR电路1009执行与从等级输出电路1001输出的超分辨率处理的强度等级相应的超分辨率处理。
具体而言,SR电路1009对于由第一合成电路1008合成的第一合成图像 执行与超分辨率处理的强度等级相应的超分辨率处理。然后,NR电路1006将实施了超分辨率处理的图像即SR图像输出到第二合成电路1010。
系数选择电路1002基于强度等级,选择用于使神经网络电路1007执行降噪处理的第一系数组1003、或用于使神经网络电路1007执行超分辨率处理的第二系数组1004。系数选择电路1002是选择电路的一个例子。第一系数组1003是对神经网络电路1007的各神经元设定的系数的组。例如,第一系数组1003是强度等级为4的降噪处理用的系数的组。另外,第一系数组1003是第一设定信息的一个例子。第二系数组1004是对神经网络电路1007的各神经元设定的系数的组。例如,第二系数组1004是强度等级为4的超分辨率处理用的系数的组。另外,第二系数组1004是第二设定信息的一个例子。
更详细而言,系数选择电路1002比较降噪处理的强度等级与超分辨率处理的强度等级。在降噪处理的强度等级比超分辨率处理的强度等级更高的情况下,系数选择电路1002选择降噪处理用的系数组即第一系数组1003。另一方面,在超分辨率处理的强度等级比降噪处理的强度等级更高的情况下,系数选择电路1002选择超分辨率处理用的系数组即第二系数组1004。然后,系数选择电路1002将选择的第一系数组1003或第二系数组1004输出。
另外,在降噪处理的强度等级与超分辨率处理的强度等级相同的情况下,系数选择电路1002选择使神经网络电路1007执行强度等级为4的降噪处理的第一系数组1003。需要说明的是,系数选择电路1002也可以选择使神经网络电路1007执行超分辨率处理的第二系数组1004,但是,优选选择第一系数组1003。超分辨率处理使图像中包含的细线上浮、或者强调边缘。另外,神经网络电路1007相比于SR电路1009或NR电路1006,图像处理的效果更强力地作用。因此,在超分辨率处理相比于降噪处理更强力地作用的情况下,存在噪声被强调的可能性。因此,在降噪处理的强度等级与超分辨率处理的强度等级相同的情况下,系数选择电路1002选择第一系数组1003。
此外,图2所示的系数选择电路1002存储有第一系数组1003或第二系数组1004。然而,系数选择电路1002也可以不存储第一系数组1003或第二 系数组1004。例如,系数选择电路1002也可以从RAM等存储介质获取第一系数组1003或第二系数组1004,并将获取到的第一系数组1003或第二系数组1004输出。
另外,系数选择电路1002并非具有强度等级从0至4的5个系数组,而是具有强度等级为4的一个系数组。这样,系数选择电路1002选择多个阶段的强度等级中的一部分的强度等级的系数组。由此,存储介质不需要存储各图像处理的全部的强度等级的组合的系数组。在此,系数组针对神经网络电路1007的各神经元而设定,因此数据容量大。因此,如果想要准备各图像处理的全部的强度等级的组合的系数组,则会需要非常大的容量的存储介质。系数选择电路1002通过从第一系数组1003或第二系数组1004选择系数组,从而也可以不具有非常大的容量的存储介质。
神经网络电路1007是由神经网络形成的电路,该神经网络基于从等级输出电路1001输出的降噪处理及超分辨率处理的强度等级,执行降噪处理或超分辨率处理。神经网络电路1007是神经网络电路的一个例子。更详细而言,神经网络电路1007执行由系数选择电路1002根据降噪处理及超分辨率处理的强度等级而选择出的第一系数组1003或第二系数组1004的图像处理。
即,在从系数选择电路1002输出了第一系数组1003的情况下,神经网络电路1007执行第一系数组1003所示的强度等级为4的降噪处理。另外,在从系数选择电路1002输出了第二系数组1004的情况下,神经网络电路1007执行第二系数组1004所示的强度等级为4的超分辨率处理。
另外,神经网络电路1007对于由NR电路1006实施了降噪处理的图像,执行与强度等级相应的图像处理。即,神经网络电路1007执行强度等级为4的降噪处理、或强度等级为4的超分辨率处理。然后,神经网络电路1007将实施了图像处理的图像即神经网络图像输出到第一合成电路1008及第二合成电路1010。
第一合成电路1008基于由合成比率运算电路1005计算出的合成比率,合成由NR电路1006实施了降噪处理的NR图像和由神经网络电路1007实施 了图像处理的神经网络图像。第一合成电路1008是第一合成电路的一个例子。另外,第一合成电路1008可以利用任何方法来合成图像。例如,第一合成电路1008可以通过将合成比率作为权重系数进行乘法计算从而合成图像。然后,第一合成电路1008将通过合成NR图像和神经网络图像而生成的第一合成图像输出到SR电路1009。
第二合成电路1010基于由合成比率运算电路1005计算出来的合成比率,合成由SR电路1009实施了超分辨率处理的SR图像和由神经网络电路1007实施了图像处理的神经网络图像。第二合成电路1010是第二合成电路的一个例子。另外,第二合成电路1010也可以利用任何方法来合成图像。例如,第二合成电路1010可以通过将合成比率作为权重系数进行乘法计算从而合成图像。然后,第二合成电路1010输出通过合成SR图像和神经网络图像而生成的输出图像。
合成比率运算电路1005基于降噪处理及超分辨率处理的各自的强度等级,对表示要合成的多个图像的比率的合成比率进行计算。合成比率运算电路1005是计算电路的一个例子。更详细而言,合成比率运算电路1005基于降噪处理的强度等级与超分辨率处理的强度等级的差异,计算将由NR电路1006或SR电路1009实施了图像处理的图像、和由神经网络电路1007实施了图像处理的神经网络图像合成的合成比率。
图3是说明由合成比率运算电路1005进行的合成比率的计算方法的一个例子的图。合成比率运算电路1005利用图3所示的图表来计算合成比率。图表的纵轴表示降噪处理的强度等级。图表的横轴表示超分辨率处理的强度等级。第一斜线R1、第二斜线R2、第三斜线R3、及第四斜线R4是在神经网络电路1007执行降噪处理的情况下为了决定合成比率而使用的斜线。第五斜线R5、第六斜线R6、及第七斜线R7是在神经网络电路1007执行超分辨率处理的情况下为了决定合成比率而使用的斜线。
在图3所示的图表中,合成比率运算电路1005检测从等级输出电路1001输出的降噪处理的强度等级与超分辨率处理的强度等级正交的正交点。在正 交点存在于第一箭头L1上、或第二箭头L2上的情况下,合成比率运算电路1005将正交点标绘(plot)为匹配点P1、P2(参照图4、图5)。在第一箭头L1上、或第二箭头L2上没有正交点的情况下,合成比率运算电路1005判别通过正交点的斜线。即,合成比率运算电路1005从第一斜线R1、第二斜线R2、第三斜线R3、第四斜线R4、第五斜线R5、第六斜线R6、及第七斜线R7中选择通过正交点的斜线。
另外,合成比率运算电路1005将第一箭头L1或第二箭头L2与选择的斜线正交的点标绘为匹配点P1、P2(参照图4、图5)。然后,合成比率运算电路1005根据第一箭头L1或第二箭头L2中的匹配点P1、P2(参照图4、图5)来决定合成比率。
在此,使用图4及图5举出具体例来说明由合成比率运算电路1005进行的合成比率的计算方法。图4是说明由合成比率运算电路1005进行的合成比率的计算方法的一个例子的图。图4示出了降噪处理的强度等级为3、超分辨率处理的强度等级为2的状态。
合成比率运算电路1005检测降噪处理的强度等级与超分辨率处理的强度等级正交的正交点。因为在第一箭头L1或第二箭头L2上不存在检测到的正交点,所以合成比率运算电路1005检测通过正交点的第三斜线R3。合成比率运算电路1005检测第一箭头L1与第三斜线R3正交的点作为匹配点P1。然后,合成比率运算电路1005根据匹配点P1来决定图像的合成比率。具体而言,匹配点P1将第一箭头L1分割为1比3。因此,合成比率运算电路1005将NR图像的比率决定为75%,将神经网络图像的比率决定为25%。
图5是说明由合成比率运算电路1005进行的合成比率的计算方法的一个例子的图。图5示出了降噪处理的强度等级为1、超分辨率处理的强度等级为3的状态。合成比率运算电路1005检测降噪处理的强度等级与超分辨率处理的强度等级正交的正交点。因为在第一箭头L1或第二箭头L2上具有检测到的正交点,所以合成比率运算电路1005将正交点检测为匹配点P2。然后,合成比率运算电路1005根据匹配点P2来决定图像的合成比率。具体而言,匹 配点P2将第二箭头L2分割为1比1。因此,合成比率运算电路1005将NR图像的比率决定为50%,将神经网络图像的比率决定为50%。
随着匹配点P1、P2(参照图4、图5)接近第四斜线R4,合成比率运算电路1005减少图像的合成中的神经网络图像的比例。换言之,随着降噪处理的强度等级与超分辨率处理的强度等级的差异变小,合成比率运算电路1005减少由NR电路1006或SR电路1009实施了图像处理的NR图像或SR图像、与由神经网络电路1007实施了图像处理的神经网络图像中的、由神经网络电路1007实施了图像处理的神经网络图像的比例。
在图3所示的图表中,在第一箭头L1上标绘了匹配点P1、P2(参照图4、图5)的情况下,随着匹配点P1、P2(参照图4、图5)接近第四斜线R4,合成比率运算电路1005减少由神经网络电路1007实施了降噪处理的神经网络图像的比例。另一方面,在第二箭头L2上标绘了匹配点P1、P2(参照图4、图5)的情况下,随着匹配点P1、P2(参照图4、图5)接近第四斜线R4,合成比率运算电路1005减少由神经网络电路1007实施了超分辨率处理的神经网络图像的比例。
这样,合成比率运算电路1005通过根据降噪处理的强度等级与超分辨率处理的强度等级的差异而减少神经网络图像的比例,从而能够在强度等级被变更时保持图像处理的效果的连续性。在此,神经网络电路1007相比于NR电路1006、SR电路1009,图像处理的效果更高。因此,在神经网络电路1007执行的图像处理的内容被切换的情况下,图像处理的效果会变化。
例如,在神经网络电路1007执行了降噪处理的情况下,第一合成电路1008通过合成NR图像和神经网络图像从而生成第一合成图像。在神经网络电路1007执行的图像处理被从降噪处理切换到超分辨率处理的情况下,第一合成电路1008根据NR图像而生成第一合成图像。在此情况下,因为神经网络图像不被用于图像合成,所以若第一合成图像中的神经网络图像的比例较高,则降噪处理的效果的变化会变大。另一方面,若第一合成图像中的神经网络图像的比例较低,则降噪处理的效果的变化会较小。
另外,在图像处理的设定等级的差异较小的情况下,神经网络电路1007以微小的设定等级的变更来切换要执行的图像处理的内容。因此,合成比率运算电路1005通过随着图像处理的设定等级的差异变小而减少神经网络图像的比例,从而能够保持图像处理的效果的连续性。
此外,合成比率运算电路1005不限于图3所示的图表,也可以计算合成比率,例如,合成比率运算电路1005计算降噪处理的强度等级与超分辨率处理的强度等级的差异。然后,合成比率运算电路1005基于差异来计算图像的合成比率。
例如,合成比率运算电路1005在差异为0的情况下,将由神经网络电路1007生成的图像的比率设为0%,将由NR电路1006或SR电路1009生成的图像的比率设为100%。另外,合成比率运算电路1005在差异为1的情况下将由神经网络电路1007生成的图像的比率设为25%,将由NR电路1006或SR电路1009生成的图像的比率设为75%。另外,合成比率运算电路1005在差异为2的情况下,将由神经网络电路1007生成的图像的比率设为50%,将由NR电路1006或SR电路1009生成的图像的比率设为50%。另外,合成比率运算电路1005在差异为3的情况下,将由神经网络电路1007生成的图像的比率设为75%,将由NR电路1006或SR电路1009生成的图像的比率设为25%。另外,合成比率运算电路1005在差异为4的情况下,将由神经网络电路1007生成的图像的比率设为100%,将由NR电路1006或SR电路1009生成的图像的比率设为0%。另外,各图像的比率也可以任意地变更。
如以上所述,实施方式的图像处理电路1000具备:执行降噪处理的NR电路1006;执行超分辨率处理的SR电路1009;以及基于强度等级执行降噪处理或超分辨率处理的神经网络电路1007。另外,合成比率运算电路1005基于降噪处理及超分辨率处理的各自的强度等级,对表示要合成的多个图像的比率的合成比率进行计算。第一合成电路1008基于合成比率来合成由NR电路1006实施了降噪处理的NR图像和由神经网络电路1007实施了图像处理的神经网络图像。第二合成电路1010基于合成比率来合成由SR电路1009实施 了超分辨率处理的SR图像和由神经网络电路1007实施了图像处理的神经网络图像。然后,图像处理电路1000输出第二合成电路1010合成后的神经网络图像。
这样,图像处理电路1000根据强度等级使神经网络电路1007执行降噪处理或超分辨率处理。另外,图像处理电路1000基于强度等级来计算合成比率。然后,图像处理电路1000根据合成比率来合成NR图像和神经网络图像,并根据合成比率来合成SR图像和神经网络图像。因此,图像处理电路1000能够使用神经网络电路1007,并且能够变更多个图像处理的各自的强度等级。
另外,在上述的实施方式中,说明了信号处理部108具有图像处理电路1000。然而,信号处理部108以外的构件也可以具有图像处理电路1000。
另外,在上述的实施方式中,说明了电视装置10具有图像处理电路1000。然而,电视装置10以外的装置也可以具有图像处理电路1000。例如个人计算机、智能手机、平板电脑终端、记录图像的录像机、显示器装置也可以具有图像处理电路1000。
说明了本申请的实施方式,但是,该实施方式是作为例子而出示的,并非意图限定申请的范围。该新的实施方式能够以其他各种各样的形态来实施,在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式或其变形包含在申请的范围、主旨中,并且包含在权利要求书所记载的技术方案及其等同的范围中。
Claims (6)
- 一种图像处理电路,包括:第一处理电路,其执行降噪处理,该降噪处理是降低图像的噪声的图像处理;第二处理电路,其执行超分辨率处理,该超分辨率处理是提高图像的分辨率的图像处理;计算电路,其基于所述降噪处理及所述超分辨率处理的各自的强度设定,对表示要合成的多个图像的比率的合成比率进行计算;神经网络电路,其由神经网络形成,所述神经网络基于所述强度设定,执行所述降噪处理或所述超分辨率处理;第一合成电路,其基于所述合成比率,合成由所述第一处理电路实施了所述降噪处理的图像和由所述神经网络电路实施了所述图像处理的图像;以及第二合成电路,其基于所述合成比率,合成由所述第二处理电路实施了所述超分辨率处理的图像和由所述神经网络电路实施了所述图像处理的图像。
- 根据权利要求1所述的图像处理电路,其中,所述图像处理电路还具备选择电路,所述选择电路基于所述强度设定而选择第一设定信息或第二设定信息,所述第一设定信息用于使所述神经网络电路执行所述降噪处理,所述第二设定信息用于使所述神经网络电路执行所述超分辨率处理,所述神经网络电路执行由所述选择电路选择的所述第一设定信息或所述第二设定信息的所述图像处理。
- 根据权利要求2所述的图像处理电路,其中,所述选择电路选择多个阶段的所述强度设定中的一部分所述强度设定的所述第一设定信息、或所述第二设定信息。
- 根据权利要求1至3中任一项所述的图像处理电路,其中,所述计算电路基于所述降噪处理的所述强度设定与所述超分辨率处理的所述强度设定的差异,来计算对如下两个图像进行合成的所述合成比率,其一是由所述第一处理电路或所述第二处理电路实施了所述图像处理的图像,其二是由所述神经网络电路实施了所述图像处理的图像。
- 根据权利要求4所述的图像处理电路,其中,所述计算电路随着所述降噪处理的所述强度设定与所述超分辨率处理的所述强度设定的差异变小,而减少由所述第一处理电路或所述第二处理电路实施了所述图像处理的图像和由所述神经网络电路实施了所述图像处理的图像中的、由所述神经网络电路实施了所述图像处理的图像的比例。
- 根据权利要求1至5中任一项所述的图像处理电路,其中,所述第一处理电路对于输入的输入图像,执行所述降噪处理,所述神经网络电路对于由所述第一处理电路实施了所述降噪处理的图像,执行与所述强度设定相应的所述图像处理,所述第一合成电路合成由所述第一处理电路实施了所述降噪处理的图像和由所述神经网络电路实施了所述图像处理的图像,所述第二处理电路对于由所述第一合成电路合成了的图像,执行所述超分辨率处理,所述第二合成电路合成由所述第二处理电路实施了所述超分辨率处理的图像和由所述神经网络电路实施了所述图像处理的图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-003991 | 2022-01-13 | ||
JP2022003991A JP2023103116A (ja) | 2022-01-13 | 2022-01-13 | 画像処理回路 |
PCT/CN2022/140689 WO2023134417A1 (zh) | 2022-01-13 | 2022-12-21 | 图像处理电路 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116802675A true CN116802675A (zh) | 2023-09-22 |
Family
ID=87280098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280007676.6A Pending CN116802675A (zh) | 2022-01-13 | 2022-12-21 | 图像处理电路 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023103116A (zh) |
CN (1) | CN116802675A (zh) |
WO (1) | WO2023134417A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4444354B2 (ja) * | 2008-08-04 | 2010-03-31 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
JP6242196B2 (ja) * | 2013-12-03 | 2017-12-06 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及び、プログラム |
JP5847228B2 (ja) * | 2014-04-16 | 2016-01-20 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6757407B2 (ja) * | 2016-06-15 | 2020-09-16 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US10552944B2 (en) * | 2017-10-13 | 2020-02-04 | Adobe Inc. | Image upscaling with controllable noise reduction using a neural network |
JP7362297B2 (ja) * | 2019-05-24 | 2023-10-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN110428378B (zh) * | 2019-07-26 | 2022-02-08 | 北京小米移动软件有限公司 | 图像的处理方法、装置及存储介质 |
CN110705699B (zh) * | 2019-10-18 | 2022-05-31 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
-
2022
- 2022-01-13 JP JP2022003991A patent/JP2023103116A/ja active Pending
- 2022-12-21 CN CN202280007676.6A patent/CN116802675A/zh active Pending
- 2022-12-21 WO PCT/CN2022/140689 patent/WO2023134417A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023134417A1 (zh) | 2023-07-20 |
JP2023103116A (ja) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
US7006156B2 (en) | Image data output device and receiving device | |
CN101969557B (zh) | 图像记录设备、图像记录方法 | |
JP4799678B1 (ja) | 符号化歪み低減装置、符号化歪み低減方法およびそのためのプログラム | |
KR101239268B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
US7602442B2 (en) | Apparatus and method for processing information signal | |
US11704780B2 (en) | Display apparatus and control method thereof | |
US8144252B2 (en) | Noise reduction apparatus and noise reduction method | |
KR20060136335A (ko) | 화상 처리 장치, 화상 처리 방법, 및 프로그램 | |
CN116802675A (zh) | 图像处理电路 | |
US20060080591A1 (en) | Apparatus and method for automated temporal compression of multimedia content | |
US20010043750A1 (en) | Embedded coding unit and embedded coding method, decoding unit and decoding method, and storage medium | |
US20130329911A1 (en) | Apparatus and method for adjusting volume in terminal | |
US7825992B2 (en) | Video processing apparatus and video processing method | |
CN100592778C (zh) | 记录和重放设备及方法、记录设备和重放设备及方法 | |
US8665369B2 (en) | Signal processing apparatus for applying AVC to delayed signals and a method thereof | |
US7636493B2 (en) | Filter device, filtering method and filtering program product | |
JP4631736B2 (ja) | 記録装置、記録方法、およびプログラム | |
WO2020175176A1 (ja) | 情報処理装置および方法、並びに、再生装置および方法 | |
JPH08307835A (ja) | クラス分類適応処理装置および方法 | |
JP2009111631A (ja) | 映像再生装置及び映像再生方法 | |
WO2022181410A1 (ja) | 画像識別装置、映像再生装置、画像識別方法、及び、プログラム | |
EP1563679A1 (en) | Method for resizing images using the inverse discrete cosine transform | |
JP5621025B1 (ja) | 画像処理システム、画像処理方法、及び画像処理プログラム | |
JP4407475B2 (ja) | カメラ画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |