CN109688351B - 一种图像信号处理方法、装置及设备 - Google Patents

一种图像信号处理方法、装置及设备 Download PDF

Info

Publication number
CN109688351B
CN109688351B CN201710952413.3A CN201710952413A CN109688351B CN 109688351 B CN109688351 B CN 109688351B CN 201710952413 A CN201710952413 A CN 201710952413A CN 109688351 B CN109688351 B CN 109688351B
Authority
CN
China
Prior art keywords
image signal
scene
processor
attribute information
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710952413.3A
Other languages
English (en)
Other versions
CN109688351A (zh
Inventor
蔡金
刘国祥
陈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710952413.3A priority Critical patent/CN109688351B/zh
Priority to PCT/CN2018/104678 priority patent/WO2019072057A1/zh
Priority to EP18867060.8A priority patent/EP3674967B1/en
Publication of CN109688351A publication Critical patent/CN109688351A/zh
Priority to US16/844,115 priority patent/US11430209B2/en
Application granted granted Critical
Publication of CN109688351B publication Critical patent/CN109688351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种图像信号处理方法、装置及设备，在该图像信号处理方法中，获取图像信号，该图像信号来源于图像传感器采集的传感器信号，利用神经网络初步识别出图像信号所属的场景，然后利用图像信号的属性信息进一步确定初步识别的场景的是否准确，若确定所述场景是准确的，则按照所述场景对所述图像信号进行增强处理，以生成增强后的图像信号，可以提高场景识别准确率，进而提高图像信号处理的质量。

Description

一种图像信号处理方法、装置及设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像信号处理方法、装置及设备。
背景技术
随着科学技术的发展，手机、平板电脑等具有拍照和视频录制功能的移动终端已被人们广泛使用。
为使用户拍摄出高质量的照片或者录制出高质量的视频，移动终端通常具有场景识别功能。移动终端通过图像传感器采集到传感器信号后，将传感器信号处理为图像信号，利用场景识别功能识别出图像信号所属的场景，并利用图像信号处理器(image signalprocessor，ISP)将图像信号处理为符合识别出的场景的图像信号。
目前，移动终端可依赖于基于色彩通道或基于模板匹配等进行场景识别，或者移动终端也可通过额外的测光器件辅助完成场景识别。然而这些传统的场景识别方法误识别率比较高，例如利用色彩通道识别绿植场景时，很容易将其它绿色物体(非绿植)识别为绿植。再比如，通过额外的测光器件辅助完成场景识别夜景时，在测光器件被遮挡或在其它暗光场景下，则会误识别为夜景。
故，利用目前已有的场景识别方法识别场景，场景识别准确度比较低，可能会影响图像信号处理的质量，进而影响用户拍摄照片或录制视频的质量。
发明内容
本申请实施例提供一种图像信号处理方法、装置及设备，利用神经网络初步识别出场景，然后利用图像信号的属性信息对初步识别的场景的准确性进行进一步判断，以提高场景识别准确率。若确定的场景是准确的，则按照识别出的场景对图像信号进行增强处理，以生成增强后的图像信号，进而提高图像信号处理的质量。
第一方面，提供一种图像信号处理方法，在该方法中，利用神经网络识别出图像信号所属的场景，并在确定神经网络识别出的场景准确的情况下，按照该识别出的场景对图像信号进行增强处理，以生成增强后的图像信号。
本申请实施例提供的图像信号处理方法，通过利用神经网络识别出图像信号所属的场景并进一步确定神经网络识别出的场景的准确性，可以提高场景识别准确率。并且按照识别出的准确场景对图像信号进行增强处理，生成增强后的图像信号，可在一定程度上提高图像信号处理的质量。
一种可能的设计中，神经网络所识别的图像信号来源于图像传感器采集的传感器信号，并且可利用图像信号的属性信息确定神经网络识别出的场景是否准确，若确定识别出的场景是准确的，则按照识别出的场景对图像信号进行增强处理，以生成增强后的图像信号。
其中，本申请实施例中涉及的图像信号的属性信息可以是所述图像信号所包含的光强度信息和前景位置信息中的至少一项。
一种可能的示例中，图像信号的属性信息包括光强度信息。利用图像信号的属性信息确定神经网络识别出的场景是否准确时，可根据所述光强度信息判断所述图像信号的光强度是否在预设的光强度阈值范围内，以确定神经网络识别出的场景是否准确。
另一种可能的示例中，图像信号的属性信息包括前景位置信息。利用图像信号的属性信息确定神经网络识别出的场景是否准确时，可根据前景位置信息判断图像信号的前景位置是否在预设的距离阈值范围内，以确定神经网络识别出的场景是否准确。
进一步的，神经网络所识别的图像信号可以是通过图像信号处理器对传感器信号进行处理得到的图像信号。图像信号的属性信息是通过图像信号处理器对传感器信号进行处理得到的图像信号的属性信息。
另一种可能的设计中，本申请实施例中可预设各场景进行增强处理所用的增强算法，在按照识别出的场景对图像信号进行增强处理时，可采用与识别出的场景对应的增强算法，对图像信号进行增强处理。
又一种可能的设计中，本申请实施例中可以通过神经网络运算处理器识别图像信号所属的场景。
进一步的，通过图像信号处理器对图像信号进行增强处理，也可以通过运算处理器对图像信号进行增强处理，还可以通过图像信号处理器和运算处理器对图像信号进行增强处理。
更进一步的，本申请实施例中可通过图像信号处理器执行利用所述图像信号的属性信息确定所述场景是否准确的过程，也可以通过运算处理器执行利用所述图像信号的属性信息确定所述场景是否准确的过程，还可以通过图像信号处理器和运算处理器执行利用所述图像信号的属性信息确定所述场景是否准确的过程。
本申请实施例，通过上述神经网络运算处理器识别出图像信号的场景，并且通过运算处理器以及图像信号处理器可辅助判断神经网络运算处理器识别出的场景的准确性，提高了场景识别准确度。
第二方面，提供一种图像信号处理装置，该图像信号处理装置具有实现上述方法设计中进行图像信号处理的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。该图像信号处理装置可以应用于具有图像处理功能的电子设备。
一种可能的设计中，图像信号处理装置包括获取单元、神经网络识别单元和图像信号处理单元，其中，获取单元、神经网络识别单元和图像信号处理单元的功能与可以和各方法步骤相对应，在此不予赘述。
第三方面，提供一种图像信号处理设备，该图像信号处理设备包括图像信号处理器、运算处理器和神经网络运算处理器。该图像信号处理设备中还可包括图像传感器，该图像传感器用于采集外界信号，将该外界信号进行处理转换成传感器信号。该图像信号处理设备还可包括存储器，该存储器，用于存储图像信号处理器、运算处理器和神经网络运算处理器执行的程序代码。该图像信号处理设备中还可包括拍照或录制功能控制模块，用于实现拍照或录制功能，并对图像信号进行后期处理。
在一个可能的设计中，图像信号处理器、运算处理器和神经网络运算处理器可执行上述第一方面或第一方面的任意一种可能的设计所提供的图像信号处理方法中的相应功能。例如，所述神经网络运算处理器，用于获取图像信号，所述图像信号来源于图像传感器采集的传感器信号，利用神经网络识别出所述图像信号所属的场景。所述图像信号处理器和所述运算处理器中的至少一个，用于利用所述图像信号的属性信息确定所述神经网络运算处理器识别的场景是否准确。若确定所述场景是准确的，则按照所述场景对所述图像信号进行增强处理，以生成增强后的图像信号。
第四方面，提供一种计算机可读存储介质，该计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面以及第一方面任意可能的设计中的图像信号处理方法。
第五方面，提供一种包含指令的计算机程序产品，当所述包含指令的计算机程序产品在计算机上运行时，使得计算机执行上述以及第一方面任意可能的设计中的图像信号处理方法。
本申请实施例提供的图像信号处理方法、装置及设备，利用神经网络初步识别出场景，然后利用图像信号的属性信息对初步识别的场景的准确性进行辅助判断，可以提高场景识别准确率，进而提高图像信号处理的质量。
附图说明
图1为本申请实施例涉及的一种移动终端的硬件结构示意图；
图2为本申请实施例提供的神经网络原理示意图；
图3为本申请实施例提供的一种图像信号处理设备结构示意图；
图4为本申请实施例提供的一种图像信号处理方法流程图；
图5为本申请实施例提供的一种图像信号处理装置结构示意图。
具体实施方式
下面将结合附图，对本申请实施例进行描述。
本申请实施例提供的图像信号处理方法及装置，可应用于电子设备，该电子设备，可以是移动终端(mobile terminal)、移动台(mobile station，MS)、用户设备(userequipment，UE)等移动设备，也可以是固定设备，如固定电话、台式电脑等，还可以是视频监控器等。该电子设备，具有图像信号采集与处理功能的图像采集与处理设备，该电子设备还可以选择性地具有无线连接功能，以向用户提供语音和/或数据连通性的手持式设备、或连接到无线调制解调器的其他处理设备，比如：该电子设备可以是移动电话(或称为“蜂窝”电话)、具有移动终端的计算机等，还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，当然也可以是可穿戴设备(如智能手表、智能手环等)、平板电脑、个人电脑(personal computer，PC)、个人数字助理(personal digital assistant，PDA)、销售终端(Point of Sales，POS)等。本申请实施例中以下以电子设备为移动终端为例进行说明。
图1所示为本申请实施例涉及的移动终端100的一种可选的硬件结构示意图。
如图1所示，移动终端100主要包括芯片组和外设装置，其中，图1中实线框中的电源管理单元(power management unit，PMU)、语音codec、短距离模块和射频(radiofrequency，RF)、运算处理器、随机存储器(random-access memory，RAM)、输入/输出(input/output，I/O)、显示接口、图像处理器(Image Signal Processor，ISP)、传感器接口(Sensor hub)、基带通信模块等各部件组成芯片或芯片组。USB接口、存储器、显示屏、电池/市电、耳机/扬声器、天线、传感器(Sensor)等部件可以理解为是外设装置。芯片组内的运算处理器、RAM、I/O、显示接口、ISP、Sensor hub、基带等部件可组成片上系统(system-on-a-chip，SOC)，为芯片组的主要部分。SOC内的各部件可以全部集成为一个完整芯片，或者SOC内也可以是部分部件集成，另一部分部件不集成，比如SOC内的基带通信模块，可以与其他部分不集成在一起，成为独立部分。SOC中的各部件可通过总线或其他连接线互相连接。SOC外部的PMU、语音codec、RF等通常包括模拟电路部分，因此经常在SOC之外，彼此并不集成。
图1中，PMU用于外接市电或电池，为SOC供电，可以利用市电为电池充电。语音codec作为声音的编解码单元外接耳机或扬声器，实现自然的模拟语音信号与SOC可处理的数字语音信号之间的转换。短距离模块可包括无线保真(wireless fidelity，WiFi)和蓝牙，也可选择性包括红外、近距离无线通信(near field communication，NFC)、收音机(FM)或全球定位系统(Global Positioning System，GPS)模块等。RF与SOC中的基带通信模块连接，用来实现空口RF信号和基带信号的转换，即混频。对手机而言，接收是下变频，发送则是上变频。短距离模块和RF都可以有一个或多个用于信号发送或接收的天线。基带用来做基带通信，包括多种通信模式中的一种或多种，用于进行无线通信协议的处理，可包括物理层(层1)、媒体接入控制(medium access control，MAC)(层2)、无线资源控制(radioresource control，RRC)(层3)等各个协议层的处理，可支持各种蜂窝通信制式，例如长期演进(Long Term Evolution，LTE)通信。Sensor hub是SOC与外界传感器的接口，用来收集和处理外界至少一个传感器的数据，外界的传感器例如可以是加速计、陀螺仪、控制传感器、图像传感器等。运算处理器可以是通用处理器，例如中央处理器(central processingunit，CPU)，还可以是一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecific integrated circuit，ASIC)，或，一个或多个数字信号处理器(digital singnalprocessor，DSP)，或微处理器，或，一个或者多个现场可编程门阵列(field programmablegate array，FPGA)等。运算处理器可包括一个或多个核，并可选择性调度其他单元。RAM可存储一些计算或处理过程中的中间数据，如CPU和基带的中间计算数据。ISP用于图像传感器采集的数据进行处理。I/O用于SOC与外界各类接口进行交互，如可与用于数据传输的通用串行总线(universal serial bus，USB)接口进行交互等。存储器可以是一个或一组芯片。显示屏可以是触摸屏，通过显示接口与总线连接，显示接口可以是进行图像显示前的数据处理，比如需要显示的多个图层的混叠、显示数据的缓存或对屏幕亮度的控制调整等。
本申请实施例中涉及的移动终端100中包括有图像传感器，该图像传感器可从外界采集光线等外界信号，将该外界信号进行处理转换成传感器信号，即电信号。该传感器信号可以是静态图像信号，也可以是动态的视频图像信号。其中，该图像传感器例如可以是摄像头。
本申请实施例中涉及的移动终端100还包括有ISP，图像传感器采集到传感器信号传送给图像信号处理器，ISP获取到该传感器信号，可对该传感器信号进行处理，以得到清晰度、色彩、亮度等各方面均符合人眼特性的图像信号。
具体的，ISP对图像信号进行处理可以包括如下几方面：
1、校正及补偿：缺陷像素校正(defective pixel correction，DPC)，黑电平补偿(black level compensation，BLC)，镜头畸变校正(Lens distortion correction，LSC)，针对扭曲、拉伸、偏移等进行的几何校正，伽马校正、与透视原理相关的校正等。
2、去噪及图像增强：时域、空域滤波、分级补偿滤波，各种噪声去除，锐化，抑制振铃效应和带状伪影，边缘增强，亮度增强，对比度增强。
3、颜色及格式转换：颜色插值Demosaic(raw->RGB)，颜色空间转换RGB->YUV orYCbCr or YPbPr，色调映射，色度调整，颜色校正、饱和度调整、缩放，旋转等。
4、自适应处理：自动白平衡，自动曝光，自动聚焦，频闪检测等。
5、视觉识别(人脸、姿势识别)及极端环境下的图像处理。其中，极端环境包括震动、快速移动、较暗、过亮等。涉及的处理一般包括去模糊、点扩散函数估计，亮度补偿，运动检测，动态捕捉，图像稳定，高动态范围图像(High-Dynamic Range，HDR)处理等。
可以理解的是，本申请实施例中涉及的ISP可以是一个或一组芯片，即可以是集成的，也可以是独立的。例如，移动终端100中包括的ISP可以是集成在运算处理器中的集成ISP芯片。
本申请实施例中涉及的移动终端100具有拍摄照片或录制视频的功能，在移动终端100进行拍照或录制视频时，为使用户拍摄出高质量的照片或者录制出高质量的视频。ISP对获取的传感器信号进行处理时，可以结合移动终端100的场景识别功能，对传感器信号进行线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理，以将传感器信号处理为符合识别出的场景的图像信号。然而目前移动终端100进行场景识别时，场景识别准确度比较低。有鉴于此，本申请实施例提供一种图像信号处理方法，在该方法中可单独提供一种图像信号所属场景的识别方法，在确定识别的场景准确的情况下，使ISP按照该准确识别出的场景对图像信号进行增强处理生成增强后的图像信号，可以提高场景识别准确率，并且在一定程度上提高图像信号处理的质量。
其中，神经网络(neural network,NN)，是一种模仿动物神经网络行为特征进行信息处理的网络结构，也简称为人工神经网络(artificial neural networks,ANN)。神经网络可以是循环神经网络(recurrent neural network，RNN)，也可以是卷积神经网络(Convolutional neural network，CNN)。神经网络结构由大量的节点(或称神经元)相互联接构成，基于特定运算模型通过对输入信息进行学习和训练达到处理信息的目的。一个神经网络包括输入层、隐藏层及输出层，输入层负责接收输入信号，输出层负责输出神经网络的计算结果，隐藏层负责学习、训练等计算过程，是网络的记忆单元，隐藏层的记忆功能由权重矩阵来表征，通常每个神经元对应一个权重系数。
如图2所示，是一种神经网络的原理示意图，该神经网络100具有N个处理层，N≥3且N取自然数，该神经网络的第一层为输入层101，负责接收输入信号，该神经网络的最后一层为输出层103，输出神经网络的处理结果，除去第一层和最后一层的其他层为中间层104，这些中间层共同组成隐藏层102，隐藏层中的每一层中间层既可以接收输入信号，也可以输出信号，隐藏层负责输入信号的处理过程。每一层代表了信号处理的一个逻辑级别，通过多个层，数据信号可经过多级逻辑的处理。
为便于理解，下面对本申请实施例中神经网络的处理原理进行描述，神经网络的处理通常是非线性函数f(xi)，如f(xi)＝max(0,xi)，在一些可行的实施例中，该处理函数可以是激活函数(rectified linear units，ReLU)、双曲正切函数(tanh)或S型函数(sigmoid)等。假设(x1,x2,x3)是一个一维输入信号矩阵，(h1,h2,h3)是输出信号矩阵，Wij表示输入xj与输出hi之间的权重系数，权重系数构成的矩阵为权重矩阵，则该一维输入信号矩阵与输出信号矩阵对应的权重矩阵W如式(1)所示：
Figure GDA0002632544220000051
输入信号与输出信号的关系如式(2)所示，其中bi为神经网络处理函数的偏置值，该偏置值对神经网络的输入进行调整从而得到理想的输出结果。
Figure GDA0002632544220000052
在一些可行的实施例中该神经网络的输入信号可以是语音信号、文本信号、图像信号、温度信号等各种形式的信号。在本实施例中，被处理的图像信号可以是相机(图像传感器)拍摄的风景信号、显监控设备捕捉的社区环境的图像信号以及门禁系统获取的人脸的面部信号等各类传感器信号，该神经网络的输入信号包括其他各种计算机可处理的工程信号，在此不再一一列举。该神经网络的隐藏层102进行的处理可以是对人脸的面部图像信号进行识别等处理。若利用神经网络对图像信号进行深度学习，可相对较准确的识别出图像信号所属的场景。故，本申请实施例中移动终端可以利用神经网络进行深度学习，以识别出图像信号所属的场景。
本申请实施例中，为实现利用神经网络识别图像信号所属的场景，可在移动终端中新增神经网络运算处理器，该神经网络运算处理器可以是独立于图1中涉及的运算处理器的，也可以是集成在图1中涉及的运算处理器中的。该神经网络运算处理器，也可以理解为是一种区别于图1中涉及的运算处理器的特殊运算处理器。例如，该神经网络运算处理器可以是运行操作系统的CPU，也可以是其他类型的计算设备，如专用硬件加速处理器。本申请实施例中以神经网络运算处理器独立于运算处理器为例进行说明。
进一步的，本申请实施例中为了提高图像信号所属场景识别的准确性，可对利用神经网络识别出的场景的准确性进行进一步的判断。例如，可利用图像信号的属性信息确定神经网络识别出的场景是否准确。在确定神经网络识别出的场景准确的情况下，按照神经网络识别出的场景对图像信号进行增强处理，以生成增强后的图像信号，提高场景识别准确率，进而提高用户拍摄照片或录制视频的质量。
本申请实施例提供一种图像信号处理设备，该图像信号处理设备可以是上述实施例中涉及的移动终端100，当然也可以是其它具有图像信号处理功能的电子设备，如移动终端100中的芯片或芯片组等。图3所示为本申请实施例提供的一种图像信号处理设备200的结构示意图，该图像信号处理设备200可用于执行本申请实施例提供的图像信号处理方法。参阅图3所示，图像信号处理设备200包括图像信号处理器201、运算处理器202和神经网络运算处理器203。图像传感器、图像信号处理器201、运算处理器202和神经网络运算处理器203可通过总线连接。
可以理解的是，本申请实施例图3所示的图像处理设备200的结构示意图仅是进行示意性说明，并不引以为限，图像处理设备200还可包括其它部件。例如，图3所示的图像信号处理设备200中还可包括图像传感器，该图像传感器用于采集外界信号，将该外界信号进行处理转换成传感器信号。图3所示的图像信号处理设备200中还可包括存储器，该存储器，用于存储图像信号处理器201、运算处理器202和神经网络运算处理器203执行的程序代码。图3所示的图像信号处理设备200中还可包括拍照或录制功能控制模块，用于实现拍照或录制功能，主要是对图像信号的后期处理。其中，拍照或录制功能控制模块可以采用软件、硬件或软件与硬件结合的方式实现。拍照或录制功能控制模块可以集成在运算处理器202中，也可以集成在图像信号处理器201中，当然，也可以是独立的功能部件。
以下将结合实际应用对本申请实施例提供的图像信号处理设备200执行图像信号处理方法的过程进行说明。
图4所示为本申请实施例提供的一种图像信号处理方法流程图，图4所示的方法执行主体可以是图像信号处理设备200，也可以是图像信号处理设备200内包括的部件，如芯片或芯片组。参阅图4所示，该方法包括：
S101：神经网络运算处理器203获取图像信号。
具体的，本申请实施例中神经网络运算处理器203获取的图像信号来源于图像传感器采集的传感器信号。图像传感器采集的外界信号经过处理后，可得到传感器信号。换言之，本申请实施例获取的图像信号是根据图像传感器采集的传感器信号得到的。例如，图像传感器为摄像头的情况下，摄像头采集的传感器信号为光信号，该光信号经过摄像机处理后可转变为电信号，可以理解为是图像信号。本申请实施例中，图像信号处理设备200的图像信号处理器201可获取到传感器信号，图像信号处理器201可对传感器信号进行处理得到所述图像信号。
S102：利用神经网络识别出图像信号所属的场景。本申请实施例中，利用神经网络运算处理器203识别出图像信号所属的场景。
本申请实施例中，为了增强图像信号处理器201对图像信号的处理，一种可能的实施方式中，可利用神经网络对图像信号处理器201处理后的图像信号进行场景识别。运算处理器202获取图像信号处理器201处理后的图像信号，将图像信号处理器201处理后的信号转换为神经网络运算处理器203可以识别的图像信号，并将转换后的图像信号发送给神经网络运算处理器203。当然，本申请实施例中也可以由图像信号处理器201将处理后的图像信号转换为神经网络运算处理器203可以识别的图像信号，并将转换后的图像信号发送给神经网络运算处理器203。
本申请实施例中识别图像信号所属场景所用的神经网络可以是卷积神经网络(Convolutional neural network，CNN)，卷积神经网络进行场景识别时所用的模型可选用Alexnet、VGG16、VGG19、ResNet、inception net等模型中的至少一种，本申请实施例对此不做限定。
本申请实施例中可设计卷积神经网络进行图像信号学习的模型，以识别出舞台场景、夜景场景、蓝天场景、绿植场景、花朵场景、美食场景、沙滩场景、雪景场景、文字场景和动物场景(猫和狗)，满足用户在拍照或录制视频时日常需要的场景。
S103：确定利用神经网络识别出的场景的是否准确。具体的，本申请实施例中可利用图像信号的属性信息确定利用神经网络识别出的场景的是否准确。
一种可能的实施方式中，在进行场景准确性确定时，可利用图像信号处理器201对图像信号进行处理得到的图像信号的属性信息，确定利用神经网络识别出的场景的是否准确。
本申请实施例中，图像信号的属性信息可以包括图像信号所包含的光强度信息和前景位置信息中的至少一项。其中，光强度信息可以反映对应图像的亮度。前景位置信息可以反映对应图像中的前景至图像信号处理设备200的距离。
本申请实施例中，在确定利用神经网络识别出的场景的是否准确时，可根据实际经验，例如蓝天场景通常是光照比较强、夜景通常是光照比较弱、美食场景一般在近距离等，预设图像信号所属场景与图像信号的属性信息之间的对应关系，不同的场景匹配不同的图像信号属性。例如，本申请实施例中可预设各个场景对应的光强度阈值范围以及距离阈值范围，如图表1所示：
表1
Figure GDA0002632544220000071
Figure GDA0002632544220000081
上述表2中涉及的各距离阈值以及各光强度阈值，都是以实际场景进行设置的，具体设置的数值，本申请实施例在此不做限定。并且上述涉及的，“第一”、“第二”等仅是为了区分不同的阈值，而不必用于描述特定的顺序或先后次序，例如本申请实施例中上述涉及的第一光强度阈值、第二光强度阈值、第三光强度阈值、第四光强度阈值以及第五光强度阈值，仅是用于方便描述以及区分不同的光强度阈值，并不构成对光强度阈值的限定。应该理解这样使用的阈值在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例中，利用图像信号的属性信息确定利用神经网络识别出的场景的是否准确时，可判断利用神经网络识别出的场景是否匹配图像信号的属性信息，若匹配，则确定识别出的场景是准确的，若不匹配则确定识别出的场景是不准确的。例如，本申请实施例中图像信号的属性信息包括光强度信息时，可预设各个场景对应的光强度阈值，根据获取到的图像信号的光强度信息判断图像信号的光强度是否在预设的光强度阈值范围内，以确定识别出的场景是否准确。例如，图像信号的光强度小于第一设定光强度阈值，并在第一光强度阈值范围内，可确定该图像信号的场景为舞台场景，若利用神经网络识别出的场景为舞台场景，则可确定利用神经网络识别出的场景准确，若利用神经网络识别出的场景不是舞台场景，则可确定利用神经网络识别出的场景不准确。再例如，本申请实施例中图像信号的属性信息包括前景位置信息时，可预设各个场景对应的距离阈值，根据获取到的图像信号的前景位置信息判断图像信号的前景位置是否在预设的前景位置阈值范围内，以确定识别出的场景是否准确。前景位置反映前景到当前设备，如前景到终端设备或传感器的距离。例如，图像信号的前景位置所反映的所述距离小于第一设定前景位置阈值，并在第一前景位置阈值范围内，可确定该图像信号的场景为美食场景，若利用神经网络识别出的场景为美食场景，则可确定利用神经网络识别出的场景准确，若利用神经网络识别出的场景不是美食场景，则可确定利用神经网络识别出的场景不准确。
具体的，本申请实施例中上述确定利用神经网络识别出的场景是否准确的具体执行过程，可由运算处理器202执行，也可由图像信号处理器201执行，还可由运算处理器202和图像信号处理器201共同配合执行。
本申请实施例以下以运算处理器202和图像信号处理器201共同配合，确定利用神经网络识别出的场景是否准确的执行过程为例进行说明。本申请实施例中神经网络运算处理器203识别出图像信号所属的场景后，将场景识别结果发送给运算处理器202，运算处理器202获取到该场景识别结果，并从图像信号处理器201处图像信号的属性信息，利用图像信号的属性信息，判断神经网络运算处理器203识别出图像信号所属的场景是否准确，若准确，则执行S104的步骤，运算处理器202将该准确的场景信息发送给图像信号处理器201，图像信号处理器201按照该准确的场景对图像信号进行增强处理。若不准确，则可执行S105的步骤，运算处理器202可不与图像信号处理器201交互场景识别准确与否的结果，图像信号处理器201按照原有的处理方式对图像信号进行处理，具体实现过程中信息交互过程，可参阅图3所示。
S104：若确定利用神经网络识别出的场景是准确的，则按照识别出的场景对图像信号进行增强处理，以生成增强后的图像信号。
本申请实施例中，可预设各场景下对图像信号进行增强处理所用的增强算法，不同的场景可采用不同的增强算法。这些算法均可以采用现有技术中已经存在的算法。本申请实施例中以下以对蓝天场景、绿植场景、夜景场景对应的增强算法为例进行说明。
蓝天场景对应的增强算法：基于区域分割，统计蓝天区域的亮度色彩信息，自适应优化的强度；统计色彩增强前蓝天的属性，根据统计结果确定优化的目标。不同的天气，不同的云彩蓝天，需要自适应优化的强度，避免碧蓝的天空优化过渡反而不自然。色彩优化过程中将饱和度与亮度关联起来；由于画面取景的变化，画面蓝天区域的亮度会变化。色彩优化时，根据当前亮度统计信息，确定优化的饱和度目标。不同的亮度下，蓝色的色域范围是不同的，在增强时，考虑色域的限制。色彩优化过程中将色调与饱和度关联起来；整体映射蓝天的色调到记忆色的色调范围，同时，补偿不同饱和度下主观视觉的色调差异。在色彩优化增强后，蓝天的色调更符合主观的记忆色。进一步的，在色彩优化时仅优化蓝天的色域，相邻色域的过渡效果平滑自然；根据蓝天的统计信息，自适应限制蓝天场景增强的色域范围。增强的幅度在色域的边界平滑过渡。
绿植场景对应的增强算法：利用绿植识别结果，有效解决白平衡统计中绿植对光源的信息干扰，提升白平衡的准确性。白平衡统计值色度空间中难于普遍性地区分绿植还是光源对应的数据，而深度学习对绿植的识别会利用除颜色之外的更多信息。利用识别后的绿植作为记忆色的先验知识优化白平衡算法对当前光源的色度坐标估计，大幅提升各种光照环境下绿植场景的白平衡准确性。对绿植色域进行色彩增强，依据亮度、色调和饱和度的差异对色域进行增强控制。低饱和度和低亮度的色域，增强后更鲜艳，而高饱和度的色域增强后色彩不溢出，色彩层次仍在。整体增强后色彩鲜艳细腻，富有层次。
夜景场景对应的增强算法：针对夜景场景的亮度特点，专门优化HDR模式下的合成算法和细分算法控制参；HDR算法处理高动态场景利用场景的先验知识，区别于统一的处理策略。优化合成帧数及合成帧的曝光策略，提升暗部的亮度和细节，控制过曝区域，同时增强对比度。合成的图像通透，高动态范围。进一步的，还可细分夜景，优化夜空的噪声和场景的整体对比度；针对夜景中有夜空的这一子类场景，专门优化亮度和对比度等控制参数，使得夜空干净，整体通透，突出夜景下主体部分，烘托出浓浓的夜的氛围。
可以理解的是，本申请实施例中在按照识别出的场景对图像信号进行增强处理时所采用的增强算法可以包括对图像信号进行增强前处理的算法，也可以包括对图像信号进行增强后处理的算法，还可以包括对图像信号进行增强前处理和增强后处理的算法。该增强算法可以由图像信号处理器201执行，也可以由运算处理器202执行，还可以由图像信号处理器201和运算处理器202共同执行。具体的，若增强算法包括对图像信号进行增强前处理和增强后处理的算法，且拍照或录制功能控制模块集成在运算处理器202中，则可由图像信号处理器201执行增强前处理，由运算处理器202执行增强后处理。若增强算法包括对图像信号进行增强前处理和增强后处理的算法，且拍照或录制功能控制模块集成在图像信号处理器201中，则图像信号处理器201可包括执行前处理的功能模块以及进行后处理的拍照或录制功能控制模块，图像信号处理器201执行增强前处理和增强后处理。其中，图像信号处理器201中包括的用于执行前处理的功能模块可以采用软件、硬件或软件与硬件结合的方式实现。若增强算法包括对图像信号进行增强后处理的算法，且拍照或录制功能控制模块集成在运算处理器202中，则可由运算处理器202执行增强后处理。
本申请实施例中，在按照识别出的场景对图像信号进行增强处理时，可采用与神经网络运算处理器203识别出图像信号所属的场景对应的增强算法，对图像信号进行增强处理。例如，应用本申请实施例提供的图像信号处理方法进行拍摄照片或录制视频时，神经网络运算处理器203识别出图像信号所属的场景后，运算处理器202确认神经网络运算处理器203识别出的场景是准确的，可以将该识别准确的场景信息发送给图像信号处理器201中用于执行前处理的功能模块，图像信号处理器201中用于执行前处理的功能模块采用增强前处理的算法对图像信号进行拍摄照片或录制视频的前处理。运算处理器202还可将该识别准确的场景信息发送给集成在图像信号处理器201中的拍照或录制功能控制模块，进行拍摄照片或录制视频的后处理。其中，图像信号处理器201中的拍照或录制功能控制模块进行增强后处理时可以是对图像信号处理器201中用于执行前处理的功能模块进行前处理后的图像信号进行增强后处理。
本申请实施例中，运算处理器202控制拍照或录制功能控制模块进行拍摄照片或录制视频的后处理可针对不同的场景设置不同的优化策略，例如可采用如下表2的方式设置优化策略：
表2
Figure GDA0002632544220000101
S105：若确定利用神经网络识别出的场景是不准确的，则按照原有的处理方式对图像信号进行处理。其中，S105为可选步骤。
本申请实施例，通过上述神经网络运算处理器203可以识别出图像信号的场景，并且通过运算处理器202以及图像信号处理器201可辅助判断神经网络运算处理器203识别出的场景的准确性，提高了场景识别准确度。
可以理解的是，在本发明实施例提到的一种示意性的图像信号处理设备中，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本申请中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的技术方案的范围。
本申请实施例可以根据上述方法示例对图像信号处理设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在采用集成的单元的情况下，图5示出了本申请实施例提供的一种图像信号处理装置300的结构示意图，该图像信号处理装置300可用于执行上述图像信号处理设备200的功能。参阅图5所示，图像信号处理装置300包括获取单元301、神经网络识别单元302和图像信号处理单元303。其中，获取单元301可用于执行上述方法实施例中涉及的获取图像信号的执行步骤。其中，该图像信号可以是通过图像信号处理单元303对图像传感器采集的传感器信号进行处理得到的图像信号。图5中的各个单元可以采用软件、硬件或软件与硬件结合的方式实现。
神经网络识别单元302可用于执行上述方法实施例中涉及的神经网络运算处理器203识别图像信号所属场景的执行步骤，例如利用神经网络识别出所述获取单元301获取的图像信号所属的场景。
图像信号处理单元303，用于利用图像信号的属性信息确定神经网络识别单元302识别的场景是否准确，若确定神经网络识别单元302识别的场景是准确的，则按照神经网络识别单元302识别的场景对图像信号进行增强处理，以生成增强后的图像信号。其中，该图像信号的属性信息可以是通过图像信号处理单元303对图像传感器采集的传感器信号进行处理得到的图像信号的属性信息。图像信号的属性信息可以包括光强度信息和前景位置信息中的至少一项。
一种可能的实施方式中，图像信号处理单元303可根据光强度信息判断图像信号的光强度是否在预设的光强度阈值范围内，以确定神经网络识别单元302识别的场景是否准确。
另一种可能的实施方式中，图像信号处理单元303可根据前景位置信息判断图像信号的前景位置是否在预设的距离阈值范围内，以确定神经网络识别单元302识别的场景是否准确。
具体的，本申请实施例中可预设场景对应的图像处理增强算法，图像信号处理单元303按照神经网络识别单元302识别的场景对图像信号进行增强处理时可采用与神经网络识别单元302识别的场景对应的增强算法，对图像信号进行增强处理。
进一步的，本申请实施例中图像信号处理单元303可以为上述实施例中涉及的图像信号处理器201和运算处理器202中的至少一个。故，本申请实施例中上述涉及的增强处理可在图像信号处理器201和运算处理器202中的至少一个处理器中进行。更进一步的，本申请实施例中上述涉及的利用图像信号的属性信息，确定神经网络识别单元302识别的场景是否准确的执行过程，也可由图像信号处理器201和运算处理器202中的至少一个处理器执行。
需要说明的是，本申请实施例提供的图像信号处理装置300具有实现上述方法实施例中涉及的图像信号处理方法执行过程中的所有功能，其具体实现过程可参阅上述实施例及附图的相关描述，在此不再赘述。
本申请实施例提供的图像信号处理方法、装置及设备，利用神经网络初步识别出场景，然后利用图像信号的属性信息对初步识别的场景的准确性进行辅助判断，可以提高场景识别准确率，进而提高图像信号处理的质量。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得计算机执行上述实施例涉及的图像信号处理方法。
本申请实施例还提供一种包含指令的计算机程序产品，当所述包含指令的计算机程序产品在计算机上运行时，使得计算机执行上述实施例涉及的图像信号处理方法。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (17)

1.一种图像信号处理方法，其特征在于，所述方法包括：
获取图像信号，所述图像信号来源于图像传感器采集的传感器信号；
利用神经网络识别出所述图像信号所属的场景；
利用所述图像信号的属性信息确定所述场景是否准确；
若确定所述场景是准确的，则按照所述场景对所述图像信号进行增强处理，以生成增强后的图像信号；
其中，所述图像信号的属性信息包括所述图像信号所包含的光强度信息和前景位置信息中的至少一项。
2.根据权利要求1所述的方法，其特征在于，所述图像信号的属性信息包括所述光强度信息；
所述利用所述图像信号的属性信息确定所述场景是否准确，包括：
根据所述光强度信息判断所述图像信号的光强度是否在预设的光强度阈值范围内，以确定所述场景是否准确。
3.根据权利要求1所述的方法，其特征在于，所述图像信号的属性信息包括所述前景位置信息；
所述利用所述图像信号的属性信息确定所述场景是否准确，包括：
根据所述前景位置信息判断所述图像信号的前景位置是否在预设的距离阈值范围内，以确定所述场景是否准确。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述图像信号是通过图像信号处理器对所述传感器信号进行处理得到的图像信号；
所述图像信号的属性信息是通过图像信号处理器对所述传感器信号进行处理得到的图像信号的属性信息。
5.根据权利要求1至3任一项所述的方法，其特征在于，按照所述场景对所述图像信号进行增强处理，包括：
采用与所述场景对应的增强算法，对所述图像信号进行增强处理。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述增强处理在图像信号处理器和运算处理器中的至少一个处理器中进行。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述利用所述图像信号的属性信息确定所述场景是否准确由图像信号处理器和运算处理器中的至少一个处理器执行。
8.一种图像信号处理装置，其特征在于，包括：
获取单元，用于获取图像信号，所述图像信号来源于图像传感器采集的传感器信号；
神经网络识别单元，用于利用神经网络识别出所述获取单元获取的图像信号所属的场景；
图像信号处理单元，用于利用所述图像信号的属性信息确定所述神经网络识别单元识别的场景是否准确，若确定所述场景是准确的，则按照所述场景对所述图像信号进行增强处理，以生成增强后的图像信号；
其中，所述图像信号的属性信息包括所述图像信号所包含的光强度信息和前景位置信息中的至少一项。
9.根据权利要求8所述的装置，其特征在于，所述图像信号的属性信息包括所述光强度信息；
所述图像信号处理单元具体用于采用如下方式利用所述图像信号的属性信息确定所述场景是否准确：
根据所述光强度信息判断所述图像信号的光强度是否在预设的光强度阈值范围内，以确定所述场景是否准确。
10.根据权利要求8所述的装置，其特征在于，所述图像信号的属性信息包括所述前景位置信息；
所述图像信号处理单元具体用于采用如下方式利用所述图像信号的属性信息确定所述场景是否准确：
根据所述前景位置信息判断所述图像信号的前景位置是否在预设的距离阈值范围内，以确定所述场景是否准确。
11.根据权利要求8至10任一项所述的装置，其特征在于，所述图像信号是通过所述图像信号处理单元对所述传感器信号进行处理得到的图像信号；
所述图像信号的属性信息是通过图像信号处理单元对所述传感器信号进行处理得到的图像信号的属性信息。
12.根据权利要求8至10任一项所述的装置，其特征在于，所述图像信号处理单元，具体用于采用与所述场景对应的增强算法，对所述图像信号进行增强处理。
13.一种图像信号处理设备，其特征在于，包括图像信号处理器、运算处理器和神经网络运算处理器，其中：
所述神经网络运算处理器，用于获取图像信号，所述图像信号来源于所述图像传感器采集的传感器信号，利用神经网络识别出所述图像信号所属的场景；
所述图像信号处理器和所述运算处理器中的至少一个，用于利用所述图像信号的属性信息确定所述神经网络运算处理器识别的场景是否准确，若确定所述场景是准确的，则按照所述场景对所述图像信号进行增强处理，以生成增强后的图像信号；
其中，所述图像信号的属性信息包括所述图像信号所包含的光强度信息和前景位置信息中的至少一项。
14.根据权利要求13所述的图像信号处理设备，其特征在于，所述图像信号的属性信息包括所述光强度信息；
所述图像信号处理器和所述运算处理器中的至少一个，具体用于：根据所述光强度信息判断所述图像信号的光强度是否在预设的光强度阈值范围内，以确定所述场景是否准确。
15.根据权利要求13所述的图像信号处理设备，其特征在于，所述图像信号的属性信息包括所述前景位置信息；
所述图像信号处理器和所述运算处理器中的至少一个，具体用于：根据所述前景位置信息判断所述图像信号的前景位置是否在预设的距离阈值范围内，以确定所述场景是否准确。
16.根据权利要求13至15任一项所述的图像信号处理设备，其特征在于，所述图像信号处理器，还用于对所述图像传感器采集的传感器信号进行处理得到所述图像信号和所述图像信号的属性信息。
17.根据权利要求13至15任一项所述的图像信号处理设备，其特征在于，所述图像信号处理器和所述运算处理器中的至少一个，具体用于采用与所述场景对应的增强算法，对所述图像信号进行增强处理。
CN201710952413.3A 2017-10-13 2017-10-13 一种图像信号处理方法、装置及设备 Active CN109688351B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710952413.3A CN109688351B (zh) 2017-10-13 2017-10-13 一种图像信号处理方法、装置及设备
PCT/CN2018/104678 WO2019072057A1 (zh) 2017-10-13 2018-09-07 一种图像信号处理方法、装置及设备
EP18867060.8A EP3674967B1 (en) 2017-10-13 2018-09-07 Image signal processing method, apparatus and device
US16/844,115 US11430209B2 (en) 2017-10-13 2020-04-09 Image signal processing method, apparatus, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710952413.3A CN109688351B (zh) 2017-10-13 2017-10-13 一种图像信号处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN109688351A CN109688351A (zh) 2019-04-26
CN109688351B true CN109688351B (zh) 2020-12-15

Family

ID=66101232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710952413.3A Active CN109688351B (zh) 2017-10-13 2017-10-13 一种图像信号处理方法、装置及设备

Country Status (4)

Country Link
US (1) US11430209B2 (zh)
EP (1) EP3674967B1 (zh)
CN (1) CN109688351B (zh)
WO (1) WO2019072057A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7242903B2 (ja) * 2019-05-14 2023-03-20 ドルビー ラボラトリーズ ライセンシング コーポレイション 畳み込みニューラルネットワークに基づく発話源分離のための方法および装置
KR20210000013A (ko) * 2019-06-24 2021-01-04 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20210010133A (ko) * 2019-07-19 2021-01-27 삼성전자주식회사 음성 인식 방법, 음성 인식을 위한 학습 방법 및 그 장치들
CN110677635B (zh) * 2019-10-07 2020-10-30 董磊 数据参数现场设置系统
CN115984083B (zh) * 2020-09-16 2023-09-29 华为技术有限公司 电子装置和电子装置的图像处理方法
CN113051990B (zh) * 2020-11-04 2022-11-18 泰州程顺制冷设备有限公司 站位姿态标准程度分析平台及方法
TWI762055B (zh) * 2020-11-30 2022-04-21 鴻海精密工業股份有限公司 卷積神經網路、運算優化方法、裝置、電子設備及介質
KR20220078109A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 색공간 변환 방법 및 장치
CN112446880B (zh) * 2021-02-01 2021-04-30 安翰科技(武汉)股份有限公司 图像处理方法、电子设备及可读存储介质
EP4297397A4 (en) * 2021-04-26 2024-04-03 Huawei Technologies Co., Ltd. ELECTRONIC DEVICE AND IMAGE PROCESSING METHOD OF AN ELECTRONIC DEVICE
CN114119412A (zh) * 2021-11-25 2022-03-01 Oppo广东移动通信有限公司 图像处理方法与装置、终端及可读存储介质
CN114697548B (zh) * 2022-03-21 2023-09-29 迈克医疗电子有限公司 显微图像拍摄对焦方法及装置
CN117197260A (zh) * 2022-05-30 2023-12-08 北京小米移动软件有限公司 图像处理方法、装置、电子设备、存储介质及芯片
CN115908190B (zh) * 2022-12-08 2023-10-13 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统
CN117115799B (zh) * 2023-09-11 2024-07-16 广东西克智能科技有限公司 基于激光线扫3d相机的轮胎字符识别方法
CN118354211B (zh) * 2024-06-20 2024-10-15 北京威睛光学技术有限公司 计算成像图像增强方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555165B2 (en) * 2003-11-13 2009-06-30 Eastman Kodak Company Method for semantic scene classification using camera metadata and content-based cues
US8194992B2 (en) * 2008-07-18 2012-06-05 Xerox Corporation System and method for automatic enhancement of seascape images
CN106416217A (zh) * 2014-04-17 2017-02-15 索尼公司 照相机的深度辅助场景识别
CN105224984B (zh) * 2014-05-31 2018-03-13 华为技术有限公司 一种基于深度神经网络的数据类别识别方法及装置
CN106534707A (zh) * 2015-09-14 2017-03-22 中兴通讯股份有限公司 拍摄的方法及装置
CN105302872A (zh) * 2015-09-30 2016-02-03 努比亚技术有限公司 图像处理装置和方法
CN105678278A (zh) * 2016-02-01 2016-06-15 国家电网公司 一种基于单隐层神经网络的场景识别方法
US20170293837A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Multi-Modal Driving Danger Prediction System for Automobiles
CN106250866A (zh) * 2016-08-12 2016-12-21 广州视源电子科技股份有限公司 基于神经网络的图像特征提取建模、图像识别方法及装置
CN107040726B (zh) * 2017-04-19 2020-04-07 宇龙计算机通信科技(深圳)有限公司 双摄像头同步曝光方法及系统
CN107194318B (zh) * 2017-04-24 2020-06-12 北京航空航天大学 目标检测辅助的场景识别方法

Also Published As

Publication number Publication date
EP3674967A1 (en) 2020-07-01
WO2019072057A1 (zh) 2019-04-18
US20200234044A1 (en) 2020-07-23
EP3674967A4 (en) 2020-11-18
EP3674967B1 (en) 2023-01-18
CN109688351A (zh) 2019-04-26
US11430209B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
CN109688351B (zh) 一种图像信号处理方法、装置及设备
US20220207680A1 (en) Image Processing Method and Apparatus
CN113129312B (zh) 一种图像处理方法、装置与设备
CN111179282B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN109961453B (zh) 一种图像处理方法、装置与设备
CN106664351A (zh) 使用块匹配的镜头阴影颜色校正的方法和系统
CN112887582A (zh) 一种图像色彩处理方法、装置及相关设备
CN103716529B (zh) 阈值设定装置、被摄体检测装置、阈值设定方法
CN111770282B (zh) 图像处理方法及装置、计算机可读介质及终端设备
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
CN109784327B (zh) 边界框确定方法、装置、电子设备及存储介质
WO2023015997A1 (zh) 视频编辑方法和视频编辑装置
CN114096994A (zh) 图像对齐方法及装置、电子设备、存储介质
CN103065290A (zh) 在照片中进行肤色校正的装置和方法
WO2023005870A1 (zh) 一种图像处理方法及相关设备
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113011328B (zh) 图像处理方法、装置、电子设备及存储介质
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN114945087B (zh) 基于人脸特征的图像处理方法、装置、设备及存储介质
WO2023005882A1 (zh) 拍摄方法、拍摄参数训练方法、电子设备及存储介质
CN113538226A (zh) 图像纹理增强方法、装置、设备及计算机可读存储介质
CN111026893A (zh) 智能终端、图像处理方法及计算机可读存储介质
RU2794062C2 (ru) Устройство и способ обработки изображения и оборудование
RU2791810C2 (ru) Способ, аппаратура и устройство для обработки и изображения
CN116668838B (zh) 图像处理方法与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant