CN115004680A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN115004680A
CN115004680A CN202080094504.8A CN202080094504A CN115004680A CN 115004680 A CN115004680 A CN 115004680A CN 202080094504 A CN202080094504 A CN 202080094504A CN 115004680 A CN115004680 A CN 115004680A
Authority
CN
China
Prior art keywords
data
bayer
image
deep learning
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080094504.8A
Other languages
English (en)
Inventor
郑知训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN115004680A publication Critical patent/CN115004680A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)

Abstract

根据一个实施方式的图像处理装置包括处理单元，该处理单元从图像传感器接收第一拜耳数据，从陀螺仪传感器接收陀螺仪数据，并且通过使用接收的陀螺仪数据从第一拜耳数据生成相机移动被补偿的第二拜耳数据。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置，更具体地，涉及用于生成使用深度学习算法来稳定图像并去除模糊的拜耳数据的图像处理装置和图像处理方法。
背景技术
因为当由于手抖动而发生相机移动时无法获得清晰的图像，因此相机中的补偿相机移动的图像稳定器功能是用于获得高质量图像的非常重要的功能。图像安全功能主要分为光学图像稳定(OIS)和电子图像稳定(EIS)。OIS是通过根据相机移动来移动图像传感器或透镜来稳定图像的技术，并且EIS是通过图像处理使用稳定算法进行图像补偿的技术。
EIS由于结构限制而在性能上劣于OIS，但是在价格和尺寸方面具有优势。此外，随着市场趋向于增强高倍率变焦，图像稳定技术变得越来越重要，并且对于现有的VCM型OIS，由于控制精度的限制，高倍率下的OIS的精度成为问题。
为了解决由于手抖动或振动引起的屏幕模糊而导致捕获图像的质量劣化的问题，已经通过将DSLR中的OIS引入小型相机来改善图像质量。
在移动的情况下，自从首次将OIS功能引入相机，OIS功能已经成为足以被大多数制造商参考旗舰模型采用的必要功能。
随着市场趋势向加强高倍率方向发展，OIS功能已经变得更加重要，但是由于机械技术的限制，高倍率下的OIS性能降低。
在一些情况下，由于OIS模块的价格劣势或机械可靠性的问题，低端移动相机或车辆相机采用EIS，然而，直到现在，EIS的性能劣于OIS，并且出现视角损失，并且由于不能去除在相机曝光时间期间出现的模糊，因此在用于在夜间或室内拍摄的环境(需要长曝光时间的环境)中不能获得令人满意的性能。
具体地，当将相机用作先进驾驶员辅助系统(ADAS)时，由于振动或抖动而获取的模糊图像有可能使识别率显著降低。
为了提高现有VCM的控制精度，正在开发使用诸如MEMS的技术的OIS，但是存在高成本和可靠性的问题。
发明内容
技术课题
本发明要解决的技术课题是提供用于生成稳定图像并去除模糊的拜耳数据的图像处理装置、相机模块和图像处理方法。
本发明的课题不限于上面提及的课题，并且本领域技术人员根据以下描述将清楚地理解未提及的其他课题。
技术解决方案
为了解决以上技术课题，根据本发明的实施方式的图像处理装置包括处理器，该处理器被配置成从图像传感器接收第一拜耳数据，从陀螺仪传感器接收陀螺仪数据，并且使用所接收的陀螺仪数据从第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
另外，处理器可以执行深度学习以从第一拜耳数据生成第二拜耳数据。
另外，处理器可以去除第一拜耳数据中包括的模糊。
另外，处理器可以使用通过关于拜耳数据处理的训练得出的第一深度学习参数来执行深度学习。
另外，第一深度学习参数可以包括：根据陀螺仪数据而变化的可变参数；以及独立于陀螺仪数据的固定参数。
另外，拜耳数据处理的训练可以通过以下来执行训练：在移动环境中接收连续的拜耳数据和陀螺仪数据；获得作为连续的拜耳数据之一的第一帧数据的相邻帧的平均图像；通过基于第一帧数据之后的帧数据对所获得的平均图像执行降低来生成输入数据；使用所生成的输入数据和陀螺仪数据作为深度学习训练输入数据；以及使用第一帧数据作为深度学习训练比较数据。
另外，第一拜耳数据可以是通过使用从霍尔传感器接收的位置数据操作相机模块的致动器来对其移动进行光学补偿的数据。
另外，处理器可以形成在图像传感器模块、相机模块或AP模块上。
为了解决以上技术课题，根据本发明的实施方式的相机模块包括：图像传感器，其被配置成生成第一拜耳数据；陀螺仪传感器，其被配置成检测移动并生成陀螺仪数据；以及第一处理器，其被配置成通过使用所接收的陀螺仪数据从第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
另外，霍尔传感器用于通过检测相机模块的移动来生成位置数据；第二处理器用于使用从霍尔传感器接收的位置数据来操作致动器；以及致动器在第二处理器的控制下进行操作。
有益效果
根据本发明的实施方式，可以解决由手抖动或振动引起的图像质量的劣化。另外，即使在高倍率下，也可以解决OIS中可能发生的性能降低。通过不仅处理相机移动补偿，而且还处理作为原始数据的拜耳数据中的模糊去除，由于大量信息，可以获得高质量的图像。
根据本发明的效果不受上面例示的内容的限制，并且在本说明书中包括更多各种效果。
附图说明
图1是根据本发明的实施方式的图像处理装置的框图。
图2至图5是示出根据本发明的实施方式的图像处理装置的图像处理过程的图。
图6是根据本发明的另一实施方式的图像处理装置的框图。
图7是用于描述根据本发明的另一实施方式的图像处理装置接收和处理拜耳数据、陀螺仪数据或IR数据的过程的图。
图8是根据本发明的实施方式的相机模块的框图。
图9是根据本发明的另一实施方式的相机模块的框图。
图10是根据本发明的实施方式的图像处理方法的流程图。
具体实施方式
本公开内容在下文中，将参照附图详细描述本发明的优选实施方式。
然而，本发明的技术构思不限于要描述的一些实施方式，而是可以以各种形式实现，并且在本发明的技术构思的范围内，构成元件中的一个或更多个可以在实施方式之间选择性地组合或替换。
另外，除非明确地限定和描述，否则本发明的实施方式中使用的术语(包括技术术语和科学术语)可以解释为可以由本领域技术人员通常理解的含义，并且通常使用的术语例如词典中定义的术语可以在考虑相关技术的背景含义的情况下进行解释。
另外，本说明书中使用的术语用于描述实施方式，而不旨在限制本发明。
在本说明书中，除非在短语中具体说明，否则单数形式可以包括复数形式，并且当被描述为“A和B和C中的至少之一(或多于一个)”时，其可以包括可以与A、B和C组合的所有组合中的一个或更多个组合。
另外，在描述本发明的实施方式的部件时，可以使用诸如第一、第二、A、B、(a)和(b)的术语。这些术语仅旨在将部件与其他部件区分开，并且这些术语不限制部件的性质、顺序或次序。
此外，当部件被描述为“连接”、“耦接”或“互连”至另一部件时，该部件不仅直接连接、耦接或互连至其他部件，而且还可以包括由于其他部件之间的另一部件而进行“连接”、“耦接”或“互连”的情况。
另外，当描述为形成或布置在每个部件的“上(上方)”或“下(下方)”时，“上(上方)”或“下(下方)”意指不仅包括两个部件直接接触的情况，而且还包括一个或更多个其他部件形成或布置在两个部件之间的情况。另外，当表述为“上(上方)”或“下(下方)”时，不仅可以包括基于一个部件的向上方向的含义，而且还可以包括基于一个部件的向下方向的含义。
图1是根据本发明的实施方式的图像处理装置的框图。
根据本发明的实施方式的图像处理装置130包括处理器132，并且可以包括接收单元131。另外，图像处理装置130可以包括一个或更多个存储器(未示出)。
处理器132从图像传感器110接收第一拜耳数据，从陀螺仪传感器120接收陀螺仪数据，并且使用接收的陀螺仪数据从第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
更具体地，为了补偿由于相机移动而在由图像传感器110生成的第一拜耳数据中发生的原本非期望的移动，首先，从图像传感器110接收第一拜耳数据，并且接收陀螺仪数据以确定发生了多少移动。可以通过接收单元131从图像传感器110接收第一拜耳数据，并且从陀螺仪传感器120接收陀螺仪数据。
在从图像传感器110接收的第一拜耳数据中，可以接收关于由于手抖动或振动的相机移动而改变了其成像角度的图像的数据，而不是关于原本要拍摄的图像的数据。通过补偿影响第一拜耳数据的相机移动，可以生成当没有相机移动时要拍摄的图像的数据。即，可以生成图像稳定数据。
图像稳定是根据陀螺仪数据与前一帧的图像之间的相关性来移动当前图像的中心坐标的功能，并且可以发送中心已经移动的图像，或者可以仅将要移动的坐标信息移交至ISP。
为了补偿相机移动，使用指示相机移动程度的陀螺仪数据。陀螺仪传感器120可以与图像传感器110集成并且一起移动，并且可以感测陀螺仪数据。因此，由于由陀螺仪传感器120测量的陀螺仪数据是反映相机移动的数据，因此可以使用从陀螺仪传感器120接收的陀螺仪数据来对于从图像传感器110接收的第一拜耳数据补偿相机移动，并且可以生成其中相机移动被补偿的第二拜耳数据。
陀螺仪传感器120的陀螺仪意指“旋转”，并且是检测旋转对象的旋转角度的传感器。陀螺仪传感器120是使用作为对象的旋转速率的角速度的值的传感器，并且也被称为角速度传感器。可以通过将在对象的旋转移动期间生成的科里奥利力转换成电信号来计算角速度。这里，科里奥利力与移动对象的速率成比例，并且是指垂直于运动方向的力。通过使用科里奥利力，可以知道旋转对象的旋转角度和倾角，并且可以通过将它们累加来知道移动的方向和程度。
在补偿相机移动时，使用拜耳数据。图像传感器110可以包括诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的图像传感器，其将通过相机模块的透镜进入的光转换成电信号。图像传感器110可以使用获取的图像通过滤色器来生成包括关于拜耳图案的信息的拜耳数据。拜耳数据是由图像传感器110生成并输出的原始数据，并且由于是图像处理之前的数据，因此包含很多信息。通过补偿包含丰富信息的拜耳数据中的移动，可以提高处理质量。
处理器132可以执行深度学习以从第一拜耳数据生成第二拜耳数据。在从第一拜耳数据生成其中相机移动被补偿的第二拜耳数据中，处理器132可以使用深度学习。除了深度学习之外，可以通过使用用于补偿相机移动的各种算法从第一拜耳数据生成第二拜耳数据。处理器132执行深度学习以从第一拜耳数据生成第二拜耳数据的过程可以如下执行。
如图2所示，处理器132包括深度学习网络133并且可以保存拜耳参数134，深度学习网络133从受相机运动影响的第一拜耳数据137生成其中相机移动被补偿的第二拜耳数据138，拜耳参数134是用于从第一拜耳数据137生成第二拜耳数据138的深度学习参数。深度学习参数134可以被存储在存储器中。处理器132可以以芯片的形式实现以从第一拜耳数据生成第二拜耳数据。
在从第一拜耳数据137生成第二拜耳数据138中使用的拜耳参数134可以取决于相机移动的程度而变化。作为深度学习参数的拜耳参数134可以包括根据陀螺仪数据而变化的可变参数136和独立于陀螺仪数据的固定参数135。在包括深度学习参数的各种参数中，由陀螺仪数据可变的参数是可变参数136，并且独立于陀螺仪数据、用于从第一拜耳数据137生成第二拜耳数据138的参数可以是固定参数135。可变参数136根据接收的陀螺仪数据来设置，并且当接收的陀螺仪数据与先前的陀螺仪数据不同时，可以根据当前的陀螺仪数据可变。可变参数136和固定参数135可以被存储为一个参数或单独的参数。
处理器132可以包括一个或更多个处理器，并且通过处理器执行的至少一个程序指令可以被存储在一个或更多个存储器中。存储器可以包括诸如SRAM或DRAM的易失性存储器。然而，本发明不限于此，并且在一些情况下，存储器可以包括诸如非易失性存储器，诸如闪速存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或电可擦除可编程只读存储器(EEPROM)等。
典型的相机装置或相机模块在从图像传感器接收拜耳图案并应用诸如颜色插值或去马赛克的颜色插值处理之后以图像的形式输出数据，并且提取包括拜耳图案信息的信息并将包括提取的信息的信息发送至外部。这里，拜耳图案可以包括由将相机装置或相机模块中包括的光信号转换成电信号的图像传感器输出的原始数据。
为了详细说明这一点，可以通过能够检测颜色R、G和B的图像传感器中设置的每个像素将通过相机模块中包括的透镜发送的光信号转换成电信号。如果相机模块的规格是5百万像素，则可以认为包括了能够检测颜色R、G和B的包括5百万像素的图像传感器。尽管像素的数目是5百万，但是可以看出，仅检测黑白亮度而不是实际检测每种颜色的单色像素与R、G和B滤波器中的任何一个组合。即，在图像传感器中，R、G和B滤色器以特定图案被布置在按像素数目布置的单色像素单元上。因此，根据用户(即人)的视觉特性将R、G和B颜色图案相交，并且这被称为拜耳图案。通常，拜耳图案具有比图像数据小的数据量。因此，即使装置配备有不具有高端处理器的相机模块，装置也可以比图像数据相对更快地发送和接收拜耳图案图像信息，并且基于此，存在能够转换各种分辨率的图像的优点。
例如，由于相机模块安装在车辆上，因此即使在使用全双工传输速度为100Mbit/s的低电压差分信号(LVDS)的环境中，相机模块也不需要许多处理器来处理图像，并且因此相机模块不会过载，使得其可以不危及驾驶员或使用车辆的驾驶员的安全。另外，由于可以减小通过车内通信网络发送的数据的大小，因此即使将车内通信网络应用于自主车辆，也可以根据在车辆中设置的多个相机的操作消除由通信方法、通信速度等引起的问题。
另外，当将拜耳图案的拜耳数据发送至第一处理器132时，图像传感器110可以在将拜耳图案帧下采样到1/n的大小之后发送数据。在下采样之前通过高斯滤波器等对接收的拜耳图案数据执行平滑之后，可以执行下采样。此后，在基于下采样的图像数据生成帧分组之后，可以将完成的帧分组发送至第一处理器132。然而，该功能可以由第一处理器132而不是图像传感器执行。
另外，图像传感器可以包括串行器(未示出)，该串行器将拜耳图案转换成串行数据以使用诸如低电压差分信号(LVDS)的串行通信方法来发送拜耳数据。串行器通常包括临时存储数据的缓冲器和形成要发送的数据的周期的锁相环(PLL)，或者可以用缓冲器和锁相环来实现。
应用于处理器132的深度学习算法(模型)是用于通过补偿使用陀螺仪数据输入的第一拜耳数据中包括的相机移动来生成第二拜耳数据的算法，并且深度学习训练可以是指通过重复执行学习生成的最佳算法。
深度学习——也被称为深度结构化学习——是指与机器学习有关的算法集，该机器学习通过若干非线性变换方法的组合来尝试高级抽象(在大量数据或复杂数据中概括核心内容或功能的任务)。
具体地，深度学习以计算机能够理解的形式表达任何学习数据(例如，在图像的情况下，将像素信息表达为列向量等)，并且深度学习是用于大量研究(如何形成更好的表示技术以及如何形成学习这些的模型)以将这些应用于学习的学习技术，并且可以包括诸如深度神经网络(DNN)和深度信念网络(DBN)的学习技术。
由处理器132执行的深度学习过程可以如图3所示执行。从图像传感器110接收连续的一系列数据，并且从陀螺仪传感器120接收陀螺仪数据。从陀螺仪传感器120接收的陀螺仪数据可以是在生成从图像传感器110接收的拜耳数据的时间期间通过相机的移动而生成的陀螺仪数据。
如图3所示，当接收到从t1至t3的第一拜耳数据310时发生相机移动时，可以看到被摄体的位置每次都抖动。处理器132是执行深度学习的深度学习引擎芯片，其通过接收第一拜耳数据310和表示正在生成第一拜耳数据310时的移动的陀螺仪数据，每次相机移动被补偿时输出第二拜耳数据320。
当处理器132执行深度学习以从第一拜耳数据生成第二拜耳数据时，使用深度学习参数，并且处理质量根据深度学习参数而变化。由处理器132用于通过执行深度学习从第一拜耳数据生成第二拜耳数据的第一深度学习参数可以通过深度学习训练而得出。
深度学习可以分为训练和推理。训练是指通过输入数据学习深度学习模型的过程，而推理是指利用经过学习的深度学习模型执行图像处理的过程。执行深度学习通常是指执行深度学习推理。在下文中，执行深度学习是执行深度学习推理，并且将与深度学习训练分开进行描述。
为了执行深度学习以从第一拜耳数据生成第二拜耳数据，必须通过训练得出拜耳数据处理所需的第一深度学习参数。当通过训练得出第一深度学习参数时，可以通过使用应用了对应的拜耳参数的深度学习模型执行深度学习，从第一拜耳数据生成第二拜耳数据。因此，应当执行用于得出用于执行深度学习的参数的训练过程。
如图4所示，可以通过重复学习来执行深度学习训练过程。在接收到具有不同分辨率的第一样本数据X和第二样本数据Z之后，可以基于此来执行深度学习训练。
具体地，基于通过对使用第一样本数据X作为输入数据经受深度学习训练的第一输出数据Y和第二样本数据Z进行比较和分析而生成的参数，可以生成生成拜耳数据的较高分辨率算法。
这里，输出数据Y是通过实际深度学习输出的数据，而第二样本数据Z是由用户输入的数据，并且可以是指当将第一样本数据X输入至算法时能够最理想地输出的数据。
这里，可以从第二样本数据Z生成第一样本数据X。即，可以在移动环境中接收连续的拜耳数据和陀螺仪数据，并且可以将拜耳数据用作第二样本数据Z。在这种情况下，移动可以是指全局移动。在这种情况下，陀螺仪数据需要与帧数据同步。可以将作为连续的拜耳数据之一的第一帧数据用作第二样本数据Z。获得与第二采样数据Z相对应的第一帧数据的相邻帧的平均图像，并且基于第一帧数据之后的帧数据来对获得的平均图像执行性能降低。可以生成作为输入数据的第一样本数据X。
将生成的输入数据和陀螺仪数据用作作为深度学习训练输入数据的第一样本数据X，通过对通过深度学习输出的第一输出数据Y和第二样本数据Z进行比较和分析，计算两个数据之间的差，并且可以对深度学习模型的参数给出反馈，以减少两个数据之间的差。此时，可以通过均方误差(MSE)方法计算这两个数据之间的差，该均方误差(MSE)方法是损失函数之一。另外，可以使用诸如交叉熵误差(CEE)等的各种损失函数。
具体地，在分析影响输出数据的参数之后，通过改变、删除或创建新的参数来给出反馈，使得在作为理想输出数据的第二样本数据Z与作为实际输出数据的第一输出数据Y之间可以没有差。
如图4所示，可以假设存在影响算法的总共三个层L1、L2和L3，并且分别在每个层中存在总共8个参数P11、P12、P13、P21、P22、P31和P32。在这种情况下，如果当在增加P22参数的值的方向上改变参数时，作为实际输出数据的第一输出数据Y与作为最理想输出数据的第二样本数据Z之间的差增加，则反馈可以在减小P22参数的方向上改变算法。相比之下，如果当在增加P33参数的值的方向上改变参数时，作为实际输出数据的第一输出数据Y与作为最理想输出数据的第二样本数据Z之间的差减小，则反馈可以在增加P33参数的方向上改变算法。
即，通过该方法，以与作为最理想输出数据的第二样本数据Z类似地输出作为实际输出数据的第一输出数据Y的方式应用深度学习算法。
在得出参数时，可以得出根据陀螺仪数据而变化的可变参数和独立于陀螺仪数据的固定参数。
可以在与图2的处理器132中包括的深度学习网络相同的深度学习网络或者与其相对应的深度学习网络上执行深度学习训练。即，可以在具有相同深度学习网络环境的深度学习网络上执行深度学习训练。深度学习训练中的深度学习网络是通过接收第一样本数据X生成第一输出数据Y的深度学习网络，并且还可以包括用于在深度学习训练过程中调整深度学习参数的网络。这里，调整参数的网络可以是深度学习网络，并且其可以是比较第一输出数据Y和第二样本数据Z并根据比较结果调整参数的网络。处理器132可以通过使用已经执行深度学习训练的深度学习网络或对应的深度学习网络从第一拜耳数据生成第二拜耳数据。在处理器132中执行深度学习时，可以不包括调整参数的网络。即，在深度学习训练过程中需要调整参数的网络，并且在处理器132中执行深度学习的过程中使用设置的参数，但也可以不使用调整参数的网络。或者，当处理器132包括调整参数的功能时，处理器132可以包括用于调整参数的网络。
在深度学习训练中，如图4所示，当存在输出结果和比较目标，并且通过与比较目标的比较来执行学习时，也可以使用奖励值来执行训练。在这种情况下，可以首先识别周围环境，并且将当前环境状态发送至执行深度学习训练的处理器。处理器执行与其相对应的动作，并且环境再次根据该动作向处理器通知奖励值。此外，处理器采取使奖励值最大化的动作。可以通过经由该过程重复执行学习来执行训练。另外，可以使用各种深度学习训练方法来执行深度学习训练。
处理器132不仅可以补偿第一拜耳数据的相机移动，而且还可以去除第一拜耳数据中包括的模糊。模糊可能包括在第一拜耳数据中，这不仅是由于手抖动或振动引起的相机移动导致的，而且还是拍摄时被摄体的移动导致的。这里，模糊包括移动模糊，并且是指在连续图像中反映的快速移动对象的明显条纹。当曝光时间较长、被摄体的移动较快或拍摄一帧时图像发生改变时，就会出现这种情况。由于当存在模糊时难以获得清晰的图像，因此执行去除模糊的过程以获得清晰的图像。当由图像信号处理器(ISP)去除模糊时，可以从RGB数据中去除模糊。去除模糊的过程被称为去模糊。处理器132可以在补偿拜耳数据上的相机移动的同时去除模糊。此时，处理器132可以执行深度学习以从第一拜耳数据补偿相机移动，并且生成模糊被去除的第二拜耳数据。去模糊功能可以从陀螺仪传感器120接收在相机的曝光时间期间生成的陀螺仪数据，并且使用陀螺仪数据和第一拜耳数据来获得模糊被去除的清晰的第二拜耳数据。
根据图4的训练阶段，通过与没有相机移动和模糊的第二样本数据Z的比较，可以从存在相机移动和模糊的第一样本数据X生成第一深度学习参数。参照图3，可以在第一拜耳数据中检查被摄体抖动的模糊。可以确认，处理器132可以在通过执行深度学习补偿相机移动的同时，生成模糊被去除的清晰的第二拜耳数据。由于可以同时执行相机移动补偿和模糊去除，因此与光学补偿移动的OIS或电子补偿移动的EIS相比，可以生成更准确和清晰的数据。
如上所述，处理器132可以利用使用通过训练得出的第一深度学习参数学习的深度学习模型来执行深度学习。如图5所示，图像处理装置130的处理器从陀螺仪传感器120接收陀螺仪数据和包括相机移动和模糊的第一拜耳数据X，并且可以通过执行深度学习来生成和输出相机移动被补偿并且模糊被去除的第二拜耳数据Y。
第一拜耳数据是用于通过补偿相机移动来生成第二拜耳数据的输入数据，该第一拜耳数据可以是通过使用从霍尔传感器接收的位置数据操作相机模块的致动器来光学补偿其运动的数据。
图像处理装置130可以包括执行光学图像稳定的OIS处理器以及用于补偿相机移动的处理器132。图像处理装置130可以仅包括处理器132或者OIS处理器和处理器132两者作为用于补偿相机移动的处理器或IC。在包括OIS处理器的情况下，处理器132可以接收由OIS处理器补偿相机移动的数据并执行附加补偿。
对于光学补偿移动的OIS，其是通过根据从霍尔传感器检测到的位置数据和从陀螺仪传感器120检测到的陀螺仪数据控制操作透镜的致动器来光学补偿移动的方法；尽管与EIS相比，校准数据的质量更好，但是由于机械技术的限制，在高倍率下的性能可能劣化。另外，仅使用OIS难以去除第一拜耳数据中包括的模糊。因此，处理器132可以针对通过应用OIS对移动进行光学补偿而获得的数据附加地补偿相机移动。由此，可以将相机移动的补偿的精度提高到超出仅用OIS补偿相机移动的限制。另外，如上所述，处理器132可以执行深度学习以去除模糊，并且通过应用此，超出了仅使用OIS难以去除模糊的限制，从而也从拜耳数据去除模糊。
通过使用由处理器132从霍尔传感器接收的位置数据来操作相机模块的致动器，当光学移动补偿数据作为第一拜耳数据被接收时，相机模块600可以具有如图6所示的形状。相机模块600可以包括霍尔传感器610、驱动器IC 620、致动器630、透镜640、滤波器650等。
霍尔传感器610检测透镜640的位置以感测透镜640的移动，并且将感测的数据发送至驱动器IC 620。另外，陀螺仪传感器120检测相机移动，生成陀螺仪数据，并且将生成的陀螺仪数据发送至驱动器IC 620。这里，驱动器IC可以执行光学图像稳定(OIS)或自动聚焦(AF)。驱动器IC根据由陀螺仪传感器120感测到的陀螺仪数据控制致动器630移动由霍尔传感器610感测到的当前透镜640。具体地，当通过操作用于操作以调整透镜640的位置的致动器630来补偿相机移动时，驱动器IC 620使得透镜640能够捕获被摄体。通过该OIS操作，相机移动被补偿，使得处理器132通过使用从陀螺仪传感器120接收的陀螺仪数据来执行深度学习，以针对通过图像传感器110接收的第一拜耳数据来补偿相机移动并且生成模糊被去除的第二拜耳数据。
处理器132可以由包括执行深度学习的深度学习网络的芯片形成，并且可以执行其他功能以及补偿相机移动的功能。例如，如图7中那样，通过从图像传感器110接收第一拜耳数据137，可以在不从陀螺仪传感器120接收陀螺仪数据的情况下生成分辨率不同于第一拜耳数据的分辨率的第二拜耳数据。或者，通过从ToF传感器700接收第一IR数据710，也可以生成分辨率不同于第一IR数据的分辨率的第二IR数据。从深度学习网络133输出的输出数据720可以根据输入数据和深度学习参数改变为例如第二拜耳数据、第二IR数据或其他数据。
ToF传感器700是能够获得深度信息的装置中之一。根据ToF方法，ToF传感器700通过测量飞行时间即光被发射和反射的时间来计算到对象的距离。ToF传感器700和图像传感器110可以被设置在一个装置例如一个光学装置内，或者实现为单独的装置以拍摄同一区域。ToF传感器700生成输出光信号，然后照射对象。
ToF传感器700可以使用直接方法和间接方法中的至少之一。在间接方法的情况下，输出光信号可以以脉冲波或连续波的形式生成和输出。连续波可以呈正弦波或方波的形式。通过生成以脉冲波或连续波形式的输出光信号，ToF传感器700可以检测输出光信号与从对象反射之后输入至ToF传感器700的输入光信号之间的相位差。
直接方法是通过测量向对象发送的输出光信号返回到接收器的时间来推断距离的方法，而间接方法是使用当向对象发送的正弦波返回到接收器时的相位差来间接测量距离的方法。其利用了具有相同频率的两个波形的峰(最大值)或谷(最小值)之间的差。间接方法需要具有大脉冲宽度的光以增加测量距离，并且存在下述特性：随着测量距离增加，精度降低，以及相比之下，随着精度增加，测量距离降低。直接方法与间接方法相比对于长距离测量更有利。
ToF传感器700从输入光信号生成电信号。使用生成的电信号计算输出光与输入光之间的相位差，并且使用该相位差计算对象与ToF传感器700之间的距离。具体地，可以使用电信号的电荷量的信息来计算输出光与输入光之间的相位差。可以针对输出光信号的每个频率生成四个电信号。因此，ToF传感器700可以使用下面的等式1计算输出光信号与输入光信号之间的相位差td。
[等式1]
Figure BDA0003763120530000131
这里，Q1至Q4是四个电信号中的每一个的电荷量。Q1是和与输出光信号相同相位的参考信号对应的电信号的电荷量。Q2是和相位比输出光信号慢180度的参考信号对应的电信号的电荷量。Q3是和相位比输出光信号慢90度的参考信号对应的电信号的电荷量。Q4是和相位比输出光信号慢270度的参考信号对应的电信号的电荷量。然后，可以使用输出光信号与输入光信号之间的相位差来计算对象与ToF传感器700之间的距离。
此时，可以使用下面的等式2来计算对象与ToF传感器120之间的距离d。
[等式2]
Figure BDA0003763120530000132
这里，c是光速，以及f是输出光的频率。
ToF传感器700使用输出光和输入光生成IR数据。此时，ToF传感器700可以生成作为四个相位的IR数据的原始数据。这里，四个相位可以是0°、90°、180°和270°，并且每个相位的IR数据可以是包括每个相位的数字化像素值的数据。IR数据可以与相位数据(图像)、相位IR数据(图像)等互换使用。
如上所述，在使用深度学习网络执行各种功能时，为了执行每个功能，可以将单独的处理器实现为独立类型的单独芯片，如图7所示，当存储每个功能的深度学习参数并执行对应的功能时，可以通过读出对应的深度学习参数来执行对应的功能。即，在使用同一芯片时，可以通过仅切换针对每个功能学习的权重值来执行每个功能。当执行相机移动补偿时，可以在深度学习网络133中使用第一拜耳参数134作为第一深度学习参数来执行相机移动补偿。第一拜耳数据134可以包括根据陀螺仪数据而变化的可变参数136和独立于陀螺仪数据135的固定参数，并且可以根据接收到的陀螺仪数据139来设置可变参数136。另外，当执行提高拜耳数据的分辨率的超分辨率(SR)时，可以在深度学习网络133中使用第二拜耳参数740来执行超分辨率。
超分辨率是基于低分辨率图像生成高分辨率图像的过程，并且超分辨率用作通过图像处理而不是物理光学变焦从低分辨率图像生成高分辨率图像的数字变焦。超分辨率可以用来改善经压缩的图像或经下采样的图像的质量，或者可以用来增强具有根据装置限制的分辨率的图像的质量。另外，超分辨率可以用来提高各种领域中图像的分辨率。
另外，当提高IR数据的分辨率时，可以使用IR数据参数730在深度学习网络133中提高IR数据的分辨率。当使用一个深度学习网络133实现时，可以顺序执行每个功能。可以通过使用具有提高的分辨率的IR数据来改善在弱光环境中仅使用拜耳数据生成的RGB图像的质量。即，为了改善在仅使用拜耳数据生成RGB图像时可能发生的图像质量劣化，可以通过使用IR的操作来生成具有改善的图像质量的RGB图像。
可以通过使用通过计算第一RGB图像的IR图像和反射分量以及第一RGB图像的色调分量和色度分量而计算出的结果值来生成第二RGB图像，其中第一RGB图像是使用在弱光环境中生成的拜耳数据等生成的。
为此，通过颜色通道转换将第一RGB图像转换为第一HSV图像，然后将第一HSV图像的色调分量(H)、色度分量(S)和亮度分量(V)中的亮度分量(V)分成反射分量和照度分量，从而提取反射分量。这里，反射分量可以包括高频分量，照度分量可以包括低频分量，并且在下文中，尽管作为示例说明了为了提取反射分量，将亮度分量(V)分成低频分量和高频分量，然后从中分离高频分量，但是不限于此。反射分量例如高频分量可以包括图像的梯度信息或边缘信息，并且照度分量例如低频分量可以包括图像的亮度信息。
为此，可以通过对第一HSV图像的亮度分量(V)执行低通滤波来获得低频分量(L)。如果对第一HSV图像的亮度分量(V)执行低通滤波，则其可能模糊，并且因此可能丢失梯度信息或边缘信息。通过去除低频分量(L)的操作获得第一HSV图像的亮度分量的高频分量(R)。为此，可以计算第一HSV图像的亮度分量(V)和低频分量(L)。例如，可以执行从第一HSV图像的亮度分量(V)减去低频分量(L)的操作。
处理器132可以从具有提高的分辨率的IR数据生成IR图像。这里，ToF IR图像可以是从0°、90°、180°和270°四个相位的IR数据生成的幅度图像或强度图像。此时，在对第一RGB图像执行操作之前，可以对IR图像进行补偿，使得可以通过插值和亮度补偿对RGB数据进行操作。
在获得第一HSV图像的亮度分量的照度分量的同时，使用第一HSV图像的亮度分量的反射分量例如高频分量以及ToF IR图像来获得第二HSV，从而获得图像的亮度分量(V')。具体地，如图10所示，可以将第一HSV图像的亮度分量的反射分量例如高频分量与ToF IR图像进行匹配。这里，可以使用通过合并使用ToF IR图像建模的反射分量和照度分量来获得具有改善的亮度的图像的计算，并且这可以是与用于从第一HSV图像的亮度分量中去除低频分量L的计算相反的计算。例如，可以执行将反射分量例如高频分量和ToF IR图像添加至第一HSV图像的亮度分量的操作。以这种方式，在去除第一HSV图像的亮度分量的照度分量例如低频分量之后，并且当计算第一HSV图像的亮度分量的反射分量例如高频分量和ToFIR图像时，可以改善在低照度环境中拍摄的RGB图像的亮度。
此后，使用通过颜色通道转换而获得的色调分量(H)和色度分量(S)以及亮度分量(V')来通过颜色通道转换生成第二RGB图像。在HSV图像中，色调分量(H)和色度分量(S)可以具有颜色信息，并且亮度分量可以具有亮度信息。当仅使用如利用ToF IR图像(V')计算的亮度分量的反射分量并且使用如先前获得的色调分量(H)和色度分量(S)时，仅改善低照度环境中的亮度而没有颜色失真。输入图像可以由反射分量和照度分量的乘积构成；反射分量可以由高频分量构成；照度分量可以由低频分量构成；并且图像的亮度可能受照度分量的影响。然而，当从在低照度环境中拍摄的RGB图像中照度分量(即低频分量)被去除时，RGB图像的亮度值可能变得过高。为了对此进行补偿，通过将ToF IR图像与去除了照度分量(即低频分量)已被去除的RGB图像的亮度分量进行匹配，作为结果，可以在低照度环境中获得具有改善的图像质量的RGB图像。
由此，可以生成高分辨率RGB图像、高分辨率IR图像和高分辨率深度图像。另外，由于IR图像具有比RGB图像低得多的分辨率(1MP或更小)，因此以高分辨率处理IR数据的处理器适合于以芯片的形式被实现。为了制造小型化的芯片，重要的是使算法逻辑和计算所需的数据存储器最小化，并且这是因为相机装置的分辨率与存储器和计算量直接相关。
处理器132可以以独立芯片的形式实现。或者，处理器132可以形成在另一芯片的一个部件或功能块单元中。处理器132可以形成在图像传感器模块、相机模块或AP模块上。用于补偿相机移动的OIS功能可以形成在图像传感器模块内部，并且处理器132可以形成在如上所述的图像传感器模块内部。此时，图像传感器可以被包括在内部ROIC中。或者，处理器132可以与图像传感器110分开地形成在相机模块中。此时，处理器132可以通过与驱动器IC集成来形成。稍后将参照图8至图9详细描述形成相机模块的情况的描述。
处理器132可以形成在AP模块上。这里，应用处理器(AP)是移动存储器芯片，并且是指负责移动终端装置中的各种应用操作和图形处理的核心半导体。AP可以以片上系统(SoC)的形式实现，该片上系统包括计算机的中央处理器(CPU)的功能和控制诸如存储器、硬盘和图形卡的其他装置的连接的芯片组的功能两者。处理器132可以以AP模块上的单独芯片的形式或以IP块的形式形成。此时，处理器132可以与ISP分开形成。
图8是根据本发明的实施方式的相机模块800的框图。从第一拜耳数据生成第二拜耳数据的处理器可以形成在如图8所示的相机模块800的第一处理器830的配置中。
如图8所示，根据本发明的实施方式的相机模块800可以包括图像传感器810、陀螺仪传感器820和第一处理器830，并且如图9所示，相机模块800可以包括霍尔传感器840、第二处理器850和致动器860。由于图8和图9的相机模块800的第一处理器830的详细描述对应于图1至图7的图像处理装置130的处理器132的详细描述，因此在下文中，将省略重复的描述。
图像传感器810生成第一拜耳数据，并且陀螺仪传感器820检测移动并且生成陀螺仪数据。第一处理器830通过使用接收到的陀螺仪数据从第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
第一处理器830可以通过执行深度学习从第一拜耳数据生成第二拜耳数据，并且可以通过使用通过关于拜耳数据处理的训练得出的第一深度学习参数来执行深度学习。这里，拜耳数据处理的训练可以通过以下来执行训练：在移动环境中接收连续的拜耳数据和陀螺仪数据；获得作为连续的拜耳数据之一的第一帧数据的相邻帧的平均图像；通过基于第一帧数据之后的帧数据对获得的平均图像执行降低来生成输入数据；使用生成的输入数据和陀螺仪数据作为深度学习训练输入数据；以及使用第一帧数据作为深度学习训练比较数据。
第一处理器830可以去除第一拜耳数据中包括的模糊。由此，可以同时补偿相机移动并去除模糊。
霍尔传感器840可以通过检测相机模块的移动来生成位置数据。
第二处理器850使用从霍尔传感器840接收的位置数据来操作致动器860，并且致动器860可以在第二处理器850的控制下操作。第二处理器850可以通过如上所述操作致动器860来执行OIS功能。
通过以下描述的步骤来执行根据本发明的实施方式的图像处理方法。图像处理方法的每个步骤的详细描述对应于图1至图7的图像处理装置130对图8至图9的相机模块800的详细描述，将省略重复的描述。
根据本发明的实施方式的图像处理方法涉及用于在包括一个或更多个处理器的图像处理装置中处理图像的方法。
在步骤S11中，从图像传感器接收第一拜耳数据，并且从陀螺仪传感器接收陀螺仪数据；在步骤S12中，使用接收到的陀螺仪数据从第一拜耳数据通过补偿相机移动来生成第二拜耳数据。在生成第二拜耳数据时，如步骤S21中那样，可以执行深度学习以从第一拜耳数据生成第二拜耳数据。
另外，在生成第二拜耳数据时，在步骤S31中，可以通过去除第一拜耳数据中包括的模糊来生成第二拜耳数据。
另外，在通过执行深度学习生成第二拜耳数据时，可以使用通过关于拜耳数据处理的训练得出的深度学习参数来执行深度学习。
深度学习参数可以包括根据陀螺仪数据的可变参数和独立于陀螺仪数据的固定参数，并且可以根据陀螺仪数据来设置可变参数。
可以通过如图10所示的步骤S41至步骤S44来执行拜耳数据处理的训练。在步骤S41中，在具有移动的环境中接收连续的拜耳数据和陀螺仪数据；在步骤S42中，获得作为连续的拜耳数据之一的第一帧数据的相邻帧的平均图像，并且基于第一帧数据之后的帧数据对获得的平均图像执行降低以生成输入数据；在步骤S43中，使用生成的输入数据和陀螺仪数据作为深度学习训练输入数据，生成输出数据；在步骤S44中，对输出数据和第一帧数据进行比较和分析，并且使用比较分析结果调整深度学习参数；以及可以重复执行步骤S43和步骤S44，直到比较分析结果满足预定标准。
另外，第一拜耳数据可以是通过使用从霍尔传感器接收的位置数据操作相机模块的致动器来光学补偿移动的数据。
同时，本发明的实施方式可以实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括其中存储有计算机系统可读的数据的所有类型的记录装置。
作为计算机可读记录介质的示例，存在ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置，并且另外，计算机可读记录介质以分布式方式分布在其中可以存储和执行计算机可读代码的联网的计算机系统中。此外，本发明所属技术领域的程序员可以容易地推断出用于实现本发明的功能程序、代码和代码段。
如上所述，在本发明中，已经描述了有限的实施方式和附图以及诸如特定部件等的特定内容，但是这些仅被提供用于帮助对本发明的更一般的理解，并且本发明不限于以上实施方式，并且本发明所属领域的普通技术人员可以根据这些描述进行各种修改和变化。
因此，本发明的精神不应当限于所描述的实施方式，并且不仅所附权利要求，而且对权利要求进行等同或等同修改的所有权利要求都将被认为属于本发明的精神范围。

Claims (10)

1.一种图像处理装置，包括：
处理器，所述处理器被配置成从图像传感器接收第一拜耳数据，从陀螺仪传感器接收陀螺仪数据，并且使用所接收的陀螺仪数据从所述第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
2.根据权利要求1所述的图像处理装置，
其中，所述处理器执行深度学习以从所述第一拜耳数据生成所述第二拜耳数据。
3.根据权利要求1所述的图像处理装置，
其中，所述处理器去除所述第一拜耳数据中包括的模糊。
4.根据权利要求1所述的图像处理装置，
其中，所述处理器使用通过关于拜耳数据处理的训练得出的第一深度学习参数来执行深度学习。
5.根据权利要求4所述的图像处理装置，
其中，所述第一深度学习参数包括：
根据所述陀螺仪数据而变化的可变参数；以及
独立于所述陀螺仪数据的固定参数。
6.根据权利要求4所述的图像处理装置，
其中，拜耳数据处理的训练通过以下步骤来执行训练：
在移动环境中接收连续的拜耳数据和陀螺仪数据；
获得作为连续的拜耳数据之一的第一帧数据的相邻帧的平均图像；
通过基于所述第一帧数据之后的帧数据对所获得的平均图像执行降级来生成输入数据；
使用所生成的输入数据和陀螺仪数据作为深度学习训练输入数据；以及
使用所述第一帧数据作为深度学习训练比较数据。
7.根据权利要求1所述的图像处理装置，
其中，所述第一拜耳数据是通过使用从霍尔传感器接收的位置数据操作相机模块的致动器来对其移动进行光学补偿的数据。
8.根据权利要求1所述的图像处理装置，
其中，所述处理器形成在图像传感器模块、相机模块或AP模块上。
9.一种相机模块，包括：
图像传感器，所述图像传感器被配置成生成第一拜耳数据；
陀螺仪传感器，所述陀螺仪传感器被配置成检测移动并生成陀螺仪数据；以及
第一处理器，所述第一处理器被配置成通过使用所接收的陀螺仪数据从所述第一拜耳数据生成通过补偿相机移动而获得的第二拜耳数据。
10.根据权利要求9所述的相机模块，包括：
霍尔传感器，所述霍尔传感器被配置成通过检测所述相机模块的移动来生成位置数据；
第二处理器，所述第二处理器被配置成使用从所述霍尔传感器接收的位置数据来操作致动器；以及
致动器，所述致动器在所述第二处理器的控制下操作。
CN202080094504.8A 2019-12-11 2020-11-25 图像处理装置和图像处理方法 Pending CN115004680A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0164898 2019-12-11
KR1020190164898A KR20210074010A (ko) 2019-12-11 2019-12-11 이미지 처리 장치 및 이미지 처리 방법
PCT/KR2020/016778 WO2021118111A1 (ko) 2019-12-11 2020-11-25 이미지 처리 장치 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
CN115004680A true CN115004680A (zh) 2022-09-02

Family

ID=76329109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080094504.8A Pending CN115004680A (zh) 2019-12-11 2020-11-25 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20230025022A1 (zh)
KR (1) KR20210074010A (zh)
CN (1) CN115004680A (zh)
WO (1) WO2021118111A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022062835A (ja) * 2020-10-09 2022-04-21 キヤノン株式会社 撮像装置、収差補正方法およびプログラム
WO2024053840A1 (ko) * 2022-09-08 2024-03-14 삼성전자 주식회사 뉴럴 네트워크 모델을 포함하는 이미지 처리 장치 및 이의 동작 방법
KR102552683B1 (ko) * 2023-01-05 2023-07-06 국방과학연구소 적외선 영상에 관한 블러 커널 생성 방법 및 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848921A (zh) * 2005-04-05 2006-10-18 奥林巴斯映像株式会社 摄像装置
US20070183765A1 (en) * 2006-02-06 2007-08-09 Casio Computer Co., Ltd. Imaging device with image blurring reduction function
CN101437166A (zh) * 2007-11-13 2009-05-20 索尼株式会社 图像拾取装置,修正被捕获的图像数据的方法和程序
TW201027982A (en) * 2009-01-13 2010-07-16 Alpha Imaging Technology Corp A video image process device with function of preventing shake and the method thereof
CN103402056A (zh) * 2013-07-31 2013-11-20 北京阳光加信科技有限公司 应用于图像捕获设备的补偿处理方法和系统
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
US20140379103A1 (en) * 2012-03-28 2014-12-25 Olympus Corporation Position detection apparatus and position control apparatus
CN108171250A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN108353152A (zh) * 2015-10-27 2018-07-31 三星电子株式会社 图像处理设备及其操作方法
CN110290323A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103842901B (zh) * 2011-09-29 2016-10-19 奥林巴斯株式会社 像抖动校正装置及具有该像抖动校正装置的拍摄装置
US9386234B2 (en) * 2014-07-31 2016-07-05 Apple Inc. Auto filter extent management

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848921A (zh) * 2005-04-05 2006-10-18 奥林巴斯映像株式会社 摄像装置
US20070183765A1 (en) * 2006-02-06 2007-08-09 Casio Computer Co., Ltd. Imaging device with image blurring reduction function
CN101437166A (zh) * 2007-11-13 2009-05-20 索尼株式会社 图像拾取装置,修正被捕获的图像数据的方法和程序
TW201027982A (en) * 2009-01-13 2010-07-16 Alpha Imaging Technology Corp A video image process device with function of preventing shake and the method thereof
US20140379103A1 (en) * 2012-03-28 2014-12-25 Olympus Corporation Position detection apparatus and position control apparatus
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN103402056A (zh) * 2013-07-31 2013-11-20 北京阳光加信科技有限公司 应用于图像捕获设备的补偿处理方法和系统
CN108353152A (zh) * 2015-10-27 2018-07-31 三星电子株式会社 图像处理设备及其操作方法
CN108171250A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN110290323A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUANG ZHANG,: "Deep Motion Blur Removal UsinNoisy/Blurry Image Pair", SPIE-INTL SOC OPTICAL ENG, pages 1 *
SHUANG ZHANG: "Deep Motion Blur Removal UsinNoisy/Blurry Image Pairs", SPIE-INTL SOC OPTICAL ENG, pages 1 *

Also Published As

Publication number Publication date
WO2021118111A1 (ko) 2021-06-17
KR20210074010A (ko) 2021-06-21
US20230025022A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
US20230025022A1 (en) Image processing device and image processing method
JP4898761B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法
US9025038B2 (en) Image capturing apparatus, image processing method and program
JP4703710B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置及び方法
US8289405B2 (en) Image processing apparatus and method thereof
JP5222472B2 (ja) 画像処理装置、画像復元方法およびプログラム
US8036481B2 (en) Image processing apparatus and image restoration method and program
US20100149384A1 (en) Image Processing Apparatus And Image Sensing Apparatus
JP5002738B2 (ja) 画像生成装置
WO2012018282A1 (ru) Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
US20140313374A1 (en) Method and system for capturing sequences of images with compensation for variations in magnification
US20220138964A1 (en) Frame processing and/or capture instruction systems and techniques
KR102242939B1 (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
CN104427250A (zh) 图像捕捉装置及其控制方法
CN109963082A (zh) 图像拍摄方法、装置、电子设备、计算机可读存储介质
KR20240031246A (ko) 다수의 관심 영역들을 갖는 장면들에서 선택적으로 증가하는 피사계 심도
US9710897B2 (en) Image processing apparatus, image processing method, and recording medium
US20240119561A1 (en) Image processing device and image processing method
CN114270799B (zh) 相机装置以及相机装置的图像生成方法
KR20200142883A (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
KR102371944B1 (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
CN113079313B (zh) 图像处理装置、图像拾取装置、图像处理方法及存储介质
KR20210044648A (ko) 영상 처리 장치 및 이를 포함하는 광학 기기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination