CN112258401B - 一种图像增强方法及装置 - Google Patents
一种图像增强方法及装置 Download PDFInfo
- Publication number
- CN112258401B CN112258401B CN202011043263.2A CN202011043263A CN112258401B CN 112258401 B CN112258401 B CN 112258401B CN 202011043263 A CN202011043263 A CN 202011043263A CN 112258401 B CN112258401 B CN 112258401B
- Authority
- CN
- China
- Prior art keywords
- user
- vision
- image enhancement
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims description 133
- 230000000875 corresponding effect Effects 0.000 claims description 56
- 230000014509 gene expression Effects 0.000 claims description 55
- 238000003062 neural network model Methods 0.000 claims description 27
- 230000002596 correlated effect Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000004438 eyesight Effects 0.000 claims description 10
- 230000006735 deficit Effects 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 7
- 208000010415 Low Vision Diseases 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 6
- 230000004303 low vision Effects 0.000 description 6
- 230000004064 dysfunction Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
Images
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请公开了一种图像增强方法，所述方法获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及所述当前用户所处场景的超特征；根据所述历史数据、所述拍摄内容、所述超特征以及目标推荐算法模型得到目标图像增强调整操作；对所述当前助视设备的图像增强方案进行所述目标图像增强调整操作。在本申请的技术方案中，通过将历史数据、拍摄内容、超特征输入至目标推荐算法模型得到目标图像增强调整操作，然后对当前助视设备的图像增强方案进行目标图像增强调整操作的方式，达到了自动对助视设备的图像增强方案进行调整的目的，无需人工调整，提高了用户的使用体验。
Description
技术领域
本申请涉及图像增强技术领域，尤其涉及一种图像增强方法及装置。
背景技术
目前，低视力人群会使用助视设备进行生活或工作，助视设备可以预设多种工作模式和功能供用户选择，例如包括多种图像增强算法，其中图像增强算法可以为图像亮度增强、图像对比度增强、色彩增强和边缘增强等。当用户所处的场景发生变化，而助视设备的预设参数不能满足用户的使用要求时，需要用户主动使用参数调节手柄进行修正，然而本身就患有视觉功能障碍的用户可能难以迅速而准确的作出调整，从而影响用户的使用体验。
发明内容
本申请提供一种图像增强方法及装置，以达到自动对助视设备的图像增强方案进行调整的目的，无需人工调整，提高了用户的使用体验。
第一方面，本申请提供了一种图像增强方法，所述方法包括：
获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及所述当前用户所处场景的超特征；
根据所述历史数据、所述拍摄内容、所述超特征以及目标推荐算法模型得到目标图像增强调整操作；
对所述当前助视设备的图像增强方案进行所述目标图像增强调整操作。
可选的，所述超特征包括所述当前用户所处的地理位置、当前时间、所述当前用户的性别、所述当前用户的年龄和/或所述当前用户的视力障碍指标。
可选的，所述目标推荐算法模型的训练过程，包括：
采集多个用户的助视设备使用记录作为训练集，其中，每个用户的助视设备使用记录包括该用户所处场景的超特征、该用户的助视设备在不同场景类型下所拍摄到的预设时间段内的视频序列以及用户在所述预设时间段内对助视设备的图像增强方案进行的调整操作；
针对所述训练集包含的每个用户的助视设备使用记录，从该助视设备使用记录中选取预设时间点之前该用户对助视设备的图像增强方案进行的所有调整操作作为用户使用历史训练样本输入至预设用户嵌入子模型中，得到所述用户使用历史训练样本对应的用户嵌入表达，其中，所述预设用户嵌入子模型用于使得用户使用历史训练样本与对应的用户嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的助视设备拍摄内容作为拍摄内容训练样本输入至预设图像/视频嵌入子模型中，得到所述拍摄内容训练样本对应的图像/视频嵌入表达，其中，所述图像/视频嵌入子模型用于使得拍摄内容训练样本与对应的图像/视频嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的该用户所处场景的超特征，从该助视设备使用记录中确定所述预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作，将所选取的超特征、所述用户嵌入表达和所述图像/视频嵌入表达作为训练样本，将所述训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练，得到目标推荐算法模型，其中，所述目标推荐算法模型用于使得训练样本与对应的调整操作相互关联。
可选的，所述预设用户嵌入子模型为深度神经网络模型、循环神经网络模型或者一维卷积神经网络模型；
所述预设图像/视频嵌入子模型为二维卷积神经网络模型、循环卷积神经网络模型或者三维卷积神经网络模型；
所述初始参数预测子模型为深度神经网络模型。
可选的，各个子模型所使用的损失函数模型为分类损失函数训练模型或者回归损失函数训练模型。
可选的，所述图像增强方案包括图像增强策略、图像增强算法和图像增强参数。
第二方面，本申请提供了一种图像增强装置，所述装置包括：
获取模块，用于获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及所述当前用户所处场景的超特征；
目标图像增强调整操作确定模块，用于根据所述历史数据、所述拍摄内容、所述超特征以及目标推荐算法模型得到目标图像增强调整操作；
调整模块，用于对所述当前助视设备的图像增强方案进行所述目标图像增强调整操作。
可选的，所述超特征包括所述当前用户所处的地理位置、当前时间、所述当前用户的性别、所述当前用户的年龄和/或所述当前用户的视力障碍指标。
可选的，还包括模型训练模块，所述模型训练模块用于训练得到所述目标推荐算法模型，所述模型训练模块，包括：
采集子模块，用于采集多个用户的助视设备使用记录作为训练集，其中，每个用户的助视设备使用记录包括该用户所处场景的超特征、该用户的助视设备在不同场景类型下所拍摄到的预设时间段内的视频序列以及用户在所述预设时间段内对助视设备的图像增强方案进行的调整操作；
训练子模块，用于针对所述训练集包含的每个用户的助视设备使用记录，从该助视设备使用记录中选取预设时间点之前该用户对助视设备的图像增强方案进行的所有调整操作作为用户使用历史训练样本输入至预设用户嵌入子模型中，得到所述用户使用历史训练样本对应的用户嵌入表达，其中，所述预设用户嵌入子模型用于使得用户使用历史训练样本与对应的用户嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的助视设备拍摄内容作为拍摄内容训练样本输入至预设图像/视频嵌入子模型中，得到所述拍摄内容训练样本对应的图像/视频嵌入表达，其中，所述图像/视频嵌入子模型用于使得拍摄内容训练样本与对应的图像/视频嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的该用户所处场景的超特征，从该助视设备使用记录中确定所述预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作，将所选取的超特征、所述用户嵌入表达和所述图像/视频嵌入表达作为训练样本，将所述训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练，得到目标推荐算法模型，其中，所述目标推荐算法模型用于使得训练样本与对应的调整操作相互关联。
可选的，所述预设用户嵌入子模型为深度神经网络模型、循环神经网络模型或者一维卷积神经网络模型；
所述预设图像/视频嵌入子模型为二维卷积神经网络模型、循环卷积神经网络模型或者三维卷积神经网络模型；
所述初始参数预测子模型为深度神经网络模型。
可选的，各个子模型所使用的损失函数模型为分类损失函数训练模型或者回归损失函数训练模型。
可选的，所述图像增强方案包括图像增强策略、图像增强算法和图像增强参数。
第三方面，本申请提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。
第四方面，本申请提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
由上述技术方案可以看出，本申请可以获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征，然后根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作，最后对当前助视设备的图像增强方案进行目标图像增强调整操作。在本申请的技术方案中，通过将历史数据、拍摄内容、超特征输入至目标推荐算法模型得到目标图像增强调整操作，然后对当前助视设备的图像增强方案进行目标图像增强调整操作的方式，达到了自动对助视设备的图像增强方案进行调整的目的，无需人工调整，提高了用户的使用体验。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一种图像增强方法的流程示意图；
图2为本申请一实施例提供的通过目标推荐算法模型得到目标图像增强调整操作的流程示意图；
图3为本申请一实施例提供的一种车辆底盘控制装置的结构示意图；
图4为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中，当用户所处的场景发生变化，而助视设备的预设参数不能满足用户的使用要求时，需要用户主动使用参数调节手柄进行修正，然而本身就患有视觉功能障碍的用户可能难以迅速而准确的作出调整，从而影响用户的使用体验的问题。
本申请提供了一种图像增强方法，在本方法中，可以获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征，然后根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作，最后对当前助视设备的图像增强方案进行目标图像增强调整操作。在本申请的技术方案中，通过将历史数据、拍摄内容、超特征输入至目标推荐算法模型得到目标图像增强调整操作，然后对当前助视设备的图像增强方案进行目标图像增强调整操作的方式，达到了自动对助视设备的图像增强方案进行调整的目的，无需人工调整，提高了用户的使用体验。
下面结合附图，详细说明本申请的各种非限制性实施方式。
参见图1，示出了本申请实施例中的一种图像增强方法。在本实施例中，所述方法应用于电子设备，所述电子设备可以为助视设备，所述方法例如可以包括以下步骤：
S101：获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征。
低视力人群因具有视觉功能障碍，在生活中时常会遇到各式各样的不方便，甚至难以找到能够胜任的工作，进而影响社会和谐稳定。为了帮助低视力人群更好地生活、工作并积极融入社会，长期以来商家提供的各种类型的助视器械和装备，只能够通过光学或电子放大等方式，在一定程度上缓解视觉功能障碍的影响。近年来，随着小型化可穿戴电子设备的发展以及图像处理和分析算法的迅猛发展，实时演算的针对低视力人群的图像增强算法和设备不断涌现，更好地服务了低视力人群。
以一种现有产品为例，其算法载体是头戴设备，算法软件预设了多种工作模式和功能可供用户选择，包括不同的分屏模式(如单窗、双窗)，不同的图像增强算法(如图像亮度、图像对比度、图像大小、色彩增强、边缘增强等)，以及要求录像、补光、用语音播放从图像中识别出的文字等。该产品能预设一组图像增强策略、算法和参数，当环境变化预设参数不再满足要求时，则需要用户主动使用参数调节手柄进行修正。在实际情况中，本身就患有视觉功能障碍的用户，可能难以迅速而准确地作出调整，从而影响使用体验。
因此，为了可以在用户所处的场景发生变化可以自动对助视设备的图像增强方案进行调整，需要获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征。
示例性的，当前用户所处场景可以包括室内场景、室外场景、雨天场景、雾天场景、强阳光场景中的至少两种，当前用户所处场景的超特征可以包括当前用户所处的地理位置、当前时间、当前用户的性别、当前用户的年龄和/或当前用户的视力障碍指标。
当前用户对助视设备的图像增强方案进行调整的历史数据可以为当前用户曾经对使用过的助视设备的图像增强方案进行调整的调整操作，此处的助视设备可以为当前助视设备。
示例性的，图像增强方案包括图像增强策略、图像增强算法和图像增强参数。对图像增强方案进行调整的调整操作，就是对图像增强策略、图像增强算法和/或图像增强参数进行调整的调整的调整操作。
S102：根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作。
为了能够迅速的对助视设备的图像增强方案进行调整，在获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征后，即可根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作。
示例性的，目标推荐算法模型的训练过程，可以包括：
采集多个用户的助视设备使用记录作为训练集，其中，每个用户的助视设备使用记录包括该用户所处场景的超特征、该用户的助视设备在不同场景类型下所拍摄到的预设时间段内的视频序列以及用户在预设时间段内对助视设备的图像增强方案进行的调整操作；
针对训练集包含的每个用户的助视设备使用记录，从该助视设备使用记录中选取预设时间点之前该用户对助视设备的图像增强方案进行的所有调整操作作为用户使用历史训练样本输入至预设用户嵌入子模型中，得到用户使用历史训练样本对应的用户嵌入表达，其中，预设用户嵌入子模型用于使得用户使用历史训练样本与对应的用户嵌入表达相互关联；从该助视设备使用记录中选取预设时间点对应的助视设备拍摄内容作为拍摄内容训练样本输入至预设图像/视频嵌入子模型中，得到拍摄内容训练样本对应的图像/视频嵌入表达，其中，图像/视频嵌入子模型用于使得拍摄内容训练样本与对应的图像/视频嵌入表达相互关联；从该助视设备使用记录中选取预设时间点对应的该用户所处场景的超特征，从该助视设备使用记录中确定预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作，将所选取的超特征、用户嵌入表达和图像/视频嵌入表达作为训练样本，将训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练，得到目标推荐算法模型，其中，目标推荐算法模型用于使得训练样本与对应的调整操作相互关联。
在本发明实施例中，目标推荐算法模型的训练过程中包含三个子模型，分别为预设用户嵌入子模型、预设图像/视频嵌入子模型和初始参数预测子模型。
在训练模型之前，需要采集多个用户的助视设备使用记录作为训练集，每个用户的助视设备使用记录包括该用户在多种不同场景类型中正常使用的情况下，在一段连续的时间内，该用户所使用的助视设备所拍摄到的视频序列，该用户相对应实时作出的图像增强的策略、算法和参数的调整操作，以及其它超特征。
可见每个用户的助视设备使用记录包括该用户所处场景的超特征、该用户的助视设备在不同场景类型下所拍摄到的预设时间段内的视频序列以及用户在预设时间段内对助视设备的图像增强方案进行的调整操作。
在得到训练集后，即可针对训练集包含的每个用户的助视设备使用记录，从该助视设备使用记录中选取预设时间点之前该用户对助视设备的图像增强方案进行的所有调整操作作为用户使用历史训练样本输入至预设用户嵌入子模型中，得到用户使用历史训练样本对应的用户嵌入表达。
其中，预设用户嵌入子模型用于使得用户使用历史训练样本与对应的用户嵌入表达相互关联，预设时间点可以为任意一个时间节点。
由于预设用户嵌入子模型可能需要处理用户所选择的图像增强方案，即可表达成一维向量表达的图像增强的策略、算法和参数，所以预设用户嵌入子模型可以是深度神经网络。
由于预设用户嵌入子模型还可能需要处理用户的可表达成随时间变化的一维向量表达的整个手动调整过程，所以预设用户嵌入子模型也可以是处理序列数据的循环神经网络或者一维卷积神经网络。
循环神经网络擅长逐帧推理，相比于深度神经网络在序列数据上更容易实现实时推荐，一维卷积神经网络是处理序列数据的另一种选择，视具体情况可能精度更高，即预设用户嵌入子模型可以为深度神经网络模型、循环神经网络模型或者一维卷积神经网络模型。
由此，通过将用户使用历史训练样本输入至预设用户嵌入子模型中的方式，将用户使用历史训练样本转化成特征表达，即用户嵌入表达。
然后从该助视设备使用记录中选取预设时间点对应的助视设备拍摄内容作为拍摄内容训练样本输入至预设图像/视频嵌入子模型中，得到拍摄内容训练样本对应的图像/视频嵌入表达。
其中，图像/视频嵌入子模型用于使得拍摄内容训练样本与对应的图像/视频嵌入表达相互关联，预设时间点对应的助视设备拍摄内容可以为助视设备在预设时间点拍摄的图像或者助视设备在预设时间之前一段时间内拍摄的视频序列。
由于预设图像/视频嵌入子模型需要处理助视设备拍摄内容，因此，预设图像/视频嵌入子模型可以是处理图像的二维卷积神经网络，二维卷积神经网络视具体应用的需求直接处理针对单幅图像的任务或者将视屏序列当作单幅图像处理，优点是学术和工业领域研究投入较多，目前存在很多高效的模型。
预设图像/视频嵌入子模型也可以是处理序列数据的循环卷积神经网络，循环卷积神经网络考虑帧间连续性并擅长逐帧推理。或者预设图像/视频嵌入子模型也可以是三维卷积神经网络，三维卷积神经网络是考虑帧间连续性的另一种选择，即预设图像/视频嵌入子模型为二维卷积神经网络模型、循环卷积神经网络模型或者三维卷积神经网络模型。
由此，通过将拍摄内容训练样本输入至预设图像/视频嵌入子模型中的方式，将拍摄内容转化为特征表达即图像/视频嵌入表达。
最后从该助视设备使用记录中选取预设时间点对应的该用户所处场景的超特征以及从该助视设备使用记录中确定预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作。
由于用户的手动调整是一个动态而连续的过程，需要一段时间的手动调整，才能达到满意的效果，也就是说用户需要调整一段时间后，助视设备的图像增强方案才会达到用户的需求，此时，用户就不再进行调整，助视设备的图像增强方案不再改变。因此，需要从该助视设备使用记录中确定预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作。
然后将所选取的超特征、用户嵌入表达和图像/视频嵌入表达作为训练样本，将训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练，得到目标推荐算法模型，其中，目标推荐算法模型用于使得训练样本与对应的调整操作相互关联。
初始参数预测子模型可以是深度神经网络模型，深度神经网络可以处理“用户嵌入”表达、“图像嵌入”表达以及超特征等一维向量。三个子模型作为一个整体，进行端到端的训练。
由此，通过将用户嵌入表达和图像/视频嵌入表达两者与所选取的超特征串联作为训练样本，将训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练的方式，得到目标推荐算法模型。
由于图像增强策略、图像增强算法和图像增强参数的选择形式多样，因此，训练时所使用的损失函数通常是多任务的，每个任务根据需要可以分别使用分类损失函数训练模型，例如：如需要模型推荐是否打开边缘增强，或者使用回归损失函数训练模型，例如：如需要模型推荐调高亮度的程度。即各个子模型所使用的损失函数模型为分类损失函数训练模型或者回归损失函数训练模型。
根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作可以包括：
将历史数据、拍摄内容、超特征输入至目标推荐算法模型得到目标图像增强调整操作。
为了便于理解，结合图2对将历史数据、拍摄内容、超特征输入至目标推荐算法模型得到目标图像增强调整操作的过程进行介绍，图2为通过目标推荐算法模型得到目标图像增强调整操作的流程示意图。
参见图2，将历史数据输入至预设用户嵌入子模型中，得到历史数据对应的用户嵌入表达，将拍摄内容输入至预设图像/视频嵌入子模型中，得到拍摄内容对应的图像/视频嵌入表达，将超特征、用户嵌入表达和图像/视频嵌入表达输入至预设参数预测子模型得到目标图像增强调整操作。
由上述内容可知，目标推荐算法模型不将用户的身份信息直接作为网络输入，而是输入历史数据、拍摄内容和超特征，并且用户在使用本发明实施例提供的图像增强方法时也不依赖于用户的身份信息，所以未被纳入上述训练集的新用户也可以正常使用本发明实施例提供的图像增强方法，当图像增强方法作为软件安装至助视设备时，未被纳入上述训练集的新用户即可正常使用加载了图像增强方法的助视设备。
S103：对当前助视设备的图像增强方案进行目标图像增强调整操作。
在得到目标图像增强调整操作后，即可对当前助视设备的图像增强方案进行目标图像增强调整操作。
综上可见，本申请提供的一种图像增强方法，可以获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征，然后根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作，最后对当前助视设备的图像增强方案进行目标图像增强调整操作。在本申请的技术方案中，通过将历史数据、拍摄内容、超特征输入至目标推荐算法模型得到目标图像增强调整操作，然后对当前助视设备的图像增强方案进行目标图像增强调整操作的方式，达到了自动对助视设备的图像增强方案进行调整的目的，无需人工调整，提高了用户的使用体验。
并且，由于是获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征，然后根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作，也就是所获取的是当前用户的历史数据，因此，针对每位用户的视力障碍情况可以得到针对该用户的目标图像增强调整操作，达到个性化的调整助视设备的图像增强方案的目的。
以及，通过本发明实施例提供的图像增强方法，全程无需人为参与，实现了低主动交互甚至零主动交互的目的，提升了用户的使用体验。
以及，通过本发明实施例提供的图像增强方法，可以根据周围场景的变化，实时地调整图像增强的策略、算法和参数。
如图3所示，为本申请所述图像增强装置的一个具体实施例。本实施例所述装置，即用于执行上述实施例所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：
获取模块301，用于获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及所述当前用户所处场景的超特征；
目标图像增强调整操作确定模块302，用于根据所述历史数据、所述拍摄内容、所述超特征以及目标推荐算法模型得到目标图像增强调整操作；
调整模块303，用于对所述当前助视设备的图像增强方案进行所述目标图像增强调整操作。
本申请提供的装置可以获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及当前用户所处场景的超特征，然后根据历史数据、拍摄内容、超特征以及目标推荐算法模型得到目标图像增强调整操作，最后对当前助视设备的图像增强方案进行目标图像增强调整操作。在本申请的技术方案中，通过将历史数据、拍摄内容、超特征输入至目标推荐算法模型得到目标图像增强调整操作，然后对当前助视设备的图像增强方案进行目标图像增强调整操作的方式，达到了自动对助视设备的图像增强方案进行调整的目的，无需人工调整，提高了用户的使用体验。
在一种实现方式中，所述超特征包括所述当前用户所处的地理位置、当前时间、所述当前用户的性别、所述当前用户的年龄和/或所述当前用户的视力障碍指标。
在一种实现方式中，上述装置还包括模型训练模块，所述模型训练模块用于训练得到所述目标推荐算法模型，所述模型训练模块，包括：
采集子模块，用于采集多个用户的助视设备使用记录作为训练集，其中，每个用户的助视设备使用记录包括该用户所处场景的超特征、该用户的助视设备在不同场景类型下所拍摄到的预设时间段内的视频序列以及用户在所述预设时间段内对助视设备的图像增强方案进行的调整操作；
训练子模块，用于针对所述训练集包含的每个用户的助视设备使用记录，从该助视设备使用记录中选取预设时间点之前该用户对助视设备的图像增强方案进行的所有调整操作作为用户使用历史训练样本输入至预设用户嵌入子模型中，得到所述用户使用历史训练样本对应的用户嵌入表达，其中，所述预设用户嵌入子模型用于使得用户使用历史训练样本与对应的用户嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的助视设备拍摄内容作为拍摄内容训练样本输入至预设图像/视频嵌入子模型中，得到所述拍摄内容训练样本对应的图像/视频嵌入表达，其中，所述图像/视频嵌入子模型用于使得拍摄内容训练样本与对应的图像/视频嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的该用户所处场景的超特征，从该助视设备使用记录中确定所述预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作，将所选取的超特征、所述用户嵌入表达和所述图像/视频嵌入表达作为训练样本，将所述训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练，得到目标推荐算法模型，其中，所述目标推荐算法模型用于使得训练样本与对应的调整操作相互关联。
在一种实现方式中，所述预设用户嵌入子模型为深度神经网络模型、循环神经网络模型或者一维卷积神经网络模型；
所述预设图像/视频嵌入子模型为二维卷积神经网络模型、循环卷积神经网络模型或者三维卷积神经网络模型；
所述初始参数预测子模型为深度神经网络模型。
在一种实现方式中，各个子模型所使用的损失函数模型为分类损失函数训练模型或者回归损失函数训练模型。
在一种实现方式中，所述图像增强方案包括图像增强策略、图像增强算法和图像增强参数。
图4是本申请实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。
在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成车辆底盘控制装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本申请任一实施例中提供的图像增强方法。
上述如本申请图1所示实施例提供的图像增强装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
图4提供的电子设备可以为助视设备。在电子设备为助视设备时，可以实现低主动交互甚至是零主动交互的助视设备。能够自动调整图像增强的策略、算法和参数的助视设备，理想情况下完全不需要用户的主动交互，因而有望使低视力人群在生活工作中获得与正常视力人群更接近的体验。
本申请实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本申请任一实施例中提供的图像增强方法。
前述各个实施例中所述的电子设备可以为计算机。
本领域内的技术人员应明白，本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种图像增强方法，其特征在于，包括：
获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及所述当前用户所处场景的超特征；
根据所述历史数据、所述拍摄内容、所述超特征以及目标推荐算法模型得到目标图像增强调整操作；
对所述当前助视设备的图像增强方案进行所述目标图像增强调整操作；
所述目标推荐算法模型的训练过程，包括：
采集多个用户的助视设备使用记录作为训练集，其中，每个用户的助视设备使用记录包括该用户所处场景的超特征、该用户的助视设备在不同场景类型下所拍摄到的预设时间段内的视频序列以及用户在所述预设时间段内对助视设备的图像增强方案进行的调整操作；
针对所述训练集包含的每个用户的助视设备使用记录，从该助视设备使用记录中选取预设时间点之前该用户对助视设备的图像增强方案进行的所有调整操作作为用户使用历史训练样本输入至预设用户嵌入子模型中，得到所述用户使用历史训练样本对应的用户嵌入表达，其中，所述预设用户嵌入子模型用于使得用户使用历史训练样本与对应的用户嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的助视设备拍摄内容作为拍摄内容训练样本输入至预设图像/视频嵌入子模型中，得到所述拍摄内容训练样本对应的图像/视频嵌入表达，其中，所述图像/视频嵌入子模型用于使得拍摄内容训练样本与对应的图像/视频嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的该用户所处场景的超特征，从该助视设备使用记录中确定所述预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作，将所选取的超特征、所述用户嵌入表达和所述图像/视频嵌入表达作为训练样本，将所述训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练，得到目标推荐算法模型，其中，所述目标推荐算法模型用于使得训练样本与对应的调整操作相互关联。
2.根据权利要求1所述的方法，其特征在于，所述超特征包括所述当前用户所处的地理位置、当前时间、所述当前用户的性别、所述当前用户的年龄和/或所述当前用户的视力障碍指标。
3.根据权利要求1所述的方法，其特征在于，所述预设用户嵌入子模型为深度神经网络模型、循环神经网络模型或者一维卷积神经网络模型；
所述预设图像/视频嵌入子模型为二维卷积神经网络模型、循环卷积神经网络模型或者三维卷积神经网络模型；
所述初始参数预测子模型为深度神经网络模型。
4.根据权利要求1所述的方法，其特征在于，各个子模型所使用的损失函数模型为分类损失函数训练模型或者回归损失函数训练模型。
5.根据权利要求1所述的方法，其特征在于，所述图像增强方案包括图像增强策略、图像增强算法和图像增强参数。
6.一种图像增强装置，其特征在于，包括：
获取模块，用于获取当前用户对助视设备的图像增强方案进行调整的历史数据、当前助视设备所拍摄的拍摄内容以及所述当前用户所处场景的超特征；
目标图像增强调整操作确定模块，用于根据所述历史数据、所述拍摄内容、所述超特征以及目标推荐算法模型得到目标图像增强调整操作；
调整模块，用于对所述当前助视设备的图像增强方案进行所述目标图像增强调整操作；
所述装置还包括模型训练模块，所述模型训练模块用于训练得到所述目标推荐算法模型，所述模型训练模块，包括：
采集子模块，用于采集多个用户的助视设备使用记录作为训练集，其中，每个用户的助视设备使用记录包括该用户所处场景的超特征、该用户的助视设备在不同场景类型下所拍摄到的预设时间段内的视频序列以及用户在所述预设时间段内对助视设备的图像增强方案进行的调整操作；
训练子模块，用于针对所述训练集包含的每个用户的助视设备使用记录，从该助视设备使用记录中选取预设时间点之前该用户对助视设备的图像增强方案进行的所有调整操作作为用户使用历史训练样本输入至预设用户嵌入子模型中，得到所述用户使用历史训练样本对应的用户嵌入表达，其中，所述预设用户嵌入子模型用于使得用户使用历史训练样本与对应的用户嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的助视设备拍摄内容作为拍摄内容训练样本输入至预设图像/视频嵌入子模型中，得到所述拍摄内容训练样本对应的图像/视频嵌入表达，其中，所述图像/视频嵌入子模型用于使得拍摄内容训练样本与对应的图像/视频嵌入表达相互关联；从该助视设备使用记录中选取所述预设时间点对应的该用户所处场景的超特征，从该助视设备使用记录中确定所述预设时间点之后该用户对助视设备的图像增强方案调整至不再改变时的调整操作，将所选取的超特征、所述用户嵌入表达和所述图像/视频嵌入表达作为训练样本，将所述训练样本和所确定的调整操作为模型训练数据对初始参数预测子模型进行训练，得到目标推荐算法模型，其中，所述目标推荐算法模型用于使得训练样本与对应的调整操作相互关联。
7.根据权利要求6所述的装置，其特征在于，所述超特征包括所述当前用户所处的地理位置、当前时间、所述当前用户的性别、所述当前用户的年龄和/或所述当前用户的视力障碍指标。
8.一种电子设备，其特征在于，包括：处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011043263.2A CN112258401B (zh) | 2020-09-28 | 2020-09-28 | 一种图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011043263.2A CN112258401B (zh) | 2020-09-28 | 2020-09-28 | 一种图像增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258401A CN112258401A (zh) | 2021-01-22 |
| CN112258401B true CN112258401B (zh) | 2022-09-16 |
Family
ID=74234412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011043263.2A Active CN112258401B (zh) | 2020-09-28 | 2020-09-28 | 一种图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258401B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108519676A (zh) * | 2018-04-09 | 2018-09-11 | 杭州瑞杰珑科技有限公司 | 一种头戴式助视装置 |
| CN109691074A (zh) * | 2016-09-23 | 2019-04-26 | 苹果公司 | 用于增强的用户交互的图像数据 |
| CN109685206A (zh) * | 2018-09-30 | 2019-04-26 | 上海联影医疗科技有限公司 | 生成用于图像处理的神经网络模型的系统和方法 |
| CN110109535A (zh) * | 2019-03-18 | 2019-08-09 | 国网浙江省电力有限公司信息通信分公司 | 增强现实生成方法及装置 |
| CN110619661A (zh) * | 2019-09-18 | 2019-12-27 | 王伟乾 | 一种基于增强现实的测量室外料场原料体积的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10958828B2 (en) * | 2018-10-10 | 2021-03-23 | International Business Machines Corporation | Advising image acquisition based on existing training sets |
-
2020
- 2020-09-28 CN CN202011043263.2A patent/CN112258401B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109691074A (zh) * | 2016-09-23 | 2019-04-26 | 苹果公司 | 用于增强的用户交互的图像数据 |
| CN108519676A (zh) * | 2018-04-09 | 2018-09-11 | 杭州瑞杰珑科技有限公司 | 一种头戴式助视装置 |
| CN109685206A (zh) * | 2018-09-30 | 2019-04-26 | 上海联影医疗科技有限公司 | 生成用于图像处理的神经网络模型的系统和方法 |
| CN110109535A (zh) * | 2019-03-18 | 2019-08-09 | 国网浙江省电力有限公司信息通信分公司 | 增强现实生成方法及装置 |
| CN110619661A (zh) * | 2019-09-18 | 2019-12-27 | 王伟乾 | 一种基于增强现实的测量室外料场原料体积的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258401A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
| TWI709091B (zh) | 圖像處理方法和裝置 | |
| RU2762142C1 (ru) | Способ и устройство для определения ключевой точки лица, компьютерное устройство и носитель данных | |
| CN107833197B (zh) | 图像处理的方法、装置、计算机可读存储介质和电子设备 | |
| CN110956679B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110572573A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN109002796B (zh) | 一种图像采集方法、装置和系统以及电子设备 | |
| CN112000226B (zh) | 一种人眼视线估计方法、装置及视线估计系统 | |
| CN110677592B (zh) | 主体对焦方法、装置、计算机设备和存储介质 | |
| CN107424117B (zh) | 图像美颜方法、装置、计算机可读存储介质和计算机设备 | |
| CN112906609B (zh) | 基于双路交叉注意力网络的视频重要区域预测方法和装置 | |
| Yang et al. | Personalized exposure control using adaptive metering and reinforcement learning | |
| US20140029806A1 (en) | Object searching apparatus, object searching method and computer-readable recording medium | |
| CN108765346B (zh) | 一种辅助对焦方法、装置和可读介质 | |
| CN112449115B (zh) | 拍摄方法、装置和电子设备 | |
| CN111726526B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN112258401B (zh) | 一种图像增强方法及装置 | |
| JP7403995B2 (ja) | 情報処理装置、制御方法およびプログラム | |
| CN113014876A (zh) | 视频监控方法、装置、电子设备及可读存储介质 | |
| US20170163852A1 (en) | Method and electronic device for dynamically adjusting gamma parameter | |
| US20230066331A1 (en) | Method and system for automatically capturing and processing an image of a user | |
| CN112887531B (zh) | 摄像机视频处理方法、装置、系统和计算机设备 | |
| CN113393494A (zh) | 模型训练及目标跟踪方法、装置、电子设备和存储介质 | |
| CN113538462A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN115037869A (zh) | 自动对焦方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |