CN109218603A

CN109218603A - 一种拍照控制方法和装置

Info

Publication number: CN109218603A
Application number: CN201810611838.2A
Authority: CN
Inventors: 马聪; 徐辉; 张海鹏; 刘东琴
Original assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Current assignee: Samsung Electronics China R&D Center; Samsung Electronics Co Ltd
Priority date: 2018-06-14
Filing date: 2018-06-14
Publication date: 2019-01-15

Abstract

本申请公开了一种拍照控制方法和装置，方法包括：拍照设备确定取景框中需要进行轮廓检测的对象；对对象进行轮廓检测后，显示对象和其轮廓；确定对该对象的处理模式；处理模式为去除模式时，触发从取景框图像中去除对象，将结果作为取景预览子画面全屏显示，检测到用户的拍照触发指令时，拍摄取景框中的取景预览子画面，保存拍摄结果；处理模式为非去除模式时，对对象进行反失真处理，将处理结果作为取景预览子画面全屏显示，对象是非规则图像时，根据用户设置的背景处理策略，对取景预览子画面进行背景处理；检测到拍照触发指令时，对取景预览子画面进行拍摄，保存拍摄结果。采用本发明，能够使得用户拍摄的照片中只存在用户感兴趣的内容。

Description

一种拍照控制方法和装置

技术领域

本发明涉及拍摄技术，特别是涉及一种拍照控制方法和装置。

背景技术

随着数码相机、具有拍摄功能的手机、平板电脑等具有照相功能的电子设备的广泛应用，拍照成为了一种非常普及的信息记录方式。尤其是，手机便于携带，利用拍照代替文字的记录非常方便快捷。

现有电子设备的拍摄方案中，用户提交了拍摄指令后，所生成的照片中的图像通常和取景框中的一致。而在一些拍摄场景下，用户可能更希望拍摄的画面中仅有所需要的内容，不拍摄到不关心的人或物等。而在实际应用中，可能会由于拍摄时间短无法准确调整取景框大小、需要拍摄的图像和不需要拍摄的图像无法通过取景框的调整进行分离等原因，使得用户无法确保取景框中的内容全部为需要摄入的内容。这样，用户在日常拍照时往往会把不想要的物体纳入取景框，从而无法满足用户的上述拍摄需求。例如，在开会时拍摄PPT，会有除了PPT之外的景物的干扰；旅游景区拍照片时候，常常会拍到除了自己之外别的游客，回来洗照片经常需要通过修图把多余的人去除。

针对上述需求，虽然可以通过图像的后期处理对拍摄内容进行有选择的取舍，但是该方法需要用户掌握复杂的图像处理专业技术，另外后期处理操作复杂，当照片数量多时会存在操作繁琐、人力和时间开销大等问题。而且，用户对拍摄的照片进行后期处理得到想要的照片时，往往会存在失真，像素降低等问题。

并且，现有拍摄方案的存储格式单一，仅为照片格式。当被拍摄的对象是照片外的其他格式的内容时，则无法通过现有的拍摄方案获得与被拍摄对象格式一致的结果。例如，如果拍摄对象是PPT则通过拍摄获得PPT格式的文档。这样，当用户需要对拍摄结果进行编辑时就会存在很大的难度。

目前尚未提出一种拍摄方案，能够确保用户的拍摄结果中不存在其不感兴趣的内容。

发明内容

有鉴于此，本发明的主要目的在于提供一种拍摄方法和装置，能够使得用户的拍摄结果中不存在其不感兴趣的内容。

为了达到上述目的，本发明提出的技术方案为：

一种拍照控制方法，包括：

拍照设备确定取景框中需要进行轮廓检测的对象；对所述对象进行轮廓检测后，显示所述对象和其轮廓；

根据用户的选择，确定对所述对象的处理模式，所述处理模式包括去除模式和非去除模式；

当所述处理模式为去除模式时，触发从取景框的图像中去除所述对象的处理，并将处理结果作为取景预览子画面进行全屏显示，当检测到用户的拍照触发指令时，对当前取景框中的所述取景预览子画面进行拍摄，保存拍摄结果；

当所述处理模式为非去除模式时，对所述对象进行反失真处理，将处理结果作为取景预览子画面进行全屏显示，并在所述对象是非规则图像时，根据用户设置的背景处理策略，对该取景预览子画面进行相应的背景处理；当检测到用户的拍照触发指令时，对当前取景框中的所述取景预览子画面进行拍摄，保存拍摄结果。

一种拍照控制装置，包括：

对象选择单元，用于确定拍照设备取景框中需要进行轮廓检测的对象；对所述对象进行轮廓检测后，显示所述对象和其轮廓；

模式确定单元，用于根据用户的选择，确定对所述对象的处理模式，所述处理模式包括去除模式和非去除模式；

去除处理单元，用于当所述处理模式为去除模式时，触发从取景框的图像中去除所述对象的处理，并将处理结果作为取景预览子画面进行全屏显示，当检测到用户的拍照触发指令时，对当前取景框中的所述取景预览子画面进行拍摄，保存拍摄结果；

非去除处理单元，用于当所述处理模式为非去除模式时，对所述对象进行反失真处理，将处理结果作为取景预览子画面进行全屏显示，并在所述对象是非规则图像时，根据用户设置的背景处理策略，对该取景预览子画面进行相应的背景处理；当检测到用户的拍照触发指令时，对当前取景框中的所述取景预览子画面进行拍摄，保存拍摄结果。

综上所述，本发明提出的一种拍摄方法和装置，在进行拍摄时，实时地对场景中用户指定的景物进行轮廓检测，并对其进行去除或非去除处理，得到用户感兴趣的景物图像或者去除用户不感兴趣的景物。如此，能够确保用户拍摄的照片中不存在不感兴趣的内容，不需要用户后期进行额外操作，并减少了重新拍照的操作，提高了用户的拍照体验。

附图说明

图1为本发明实施例的方法流程示意图；

图2为基于DeepLearning方法的图像去除过程示意图；

图3为基于GAN模型进行反失真处理过程示意图；

图4为场景二的实施效果示意图；

图5为场景三的实施效果示意图；

图6为场景四的实施效果示意图；

图7为场景五的实施效果示意图；

图8为本发明实施例的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

图1为本发明实施例的方法流程示意图，如图1所示，该实施例实现的拍照控制方法主要包括：

步骤101、拍照设备确定取景框中需要进行轮廓检测的对象；对所述对象进行轮廓检测后，显示所述对象和其轮廓。

本步骤，用于确定拍照时需要关注的对象，对该对象进行轮廓检测，并显示给用户。这样，用户可以根据显示轮廓的对象，进一步选择相应的处理模式，以实现最后获得的照片中不存在不感兴趣对象的目的。

所述拍照设备具体可以为手机、相机、移动平板等设备。

较佳地，为了增加对象选择的灵活性，可以采用下述方法确定取景框中需要进行轮廓检测的对象：

当用户预设的轮廓检测选择方式为自动模式时，将所述取景框内面积达到预设比例的对象确定为进行轮廓检测的对象。

当用户预设的轮廓检测选择方式为手动模式时，将用户当前手动选择的对象确定为进行轮廓检测的对象。

在实际应用中，可以根据采用基于边缘检测算法进行轮廓检测，例如， canny算法和sobel算法，但不限于上述方法。

当采用基于边缘检测的算法进行轮廓检测时，可以采用下述步骤实现：

a1、照相功能的电子设备对实时景物进行聚焦；

a2、对目前取景框内的景物进行静态图像获取；

a3、获取用户点击等操作的景物；

a4、根据用户的选择在静态图像中采用基于边缘检测算法进行轮廓检测，并将轮廓显示出；

a5、获取静态图片中轮廓的位置；

a6、在相机实时画面的对应位置显示出该轮廓。

采用上述步骤101当用户打开照相机并选择本实施例的照相方案，根据用户的选择可以是手动或者是自动进行轮廓检测，如果采用自动模式，对取景框内的面积较大的物体自动进行轮廓检测，并全屏显示；如果用户选择手动模式，例如在手机屏幕取景框内点击物品，则对用户选择的景物进行轮廓检测，并进行全屏显示。

步骤102、根据用户的选择，确定对所述对象的处理模式，所述处理模式包括去除模式和非去除模式。

考虑到实际应用中，用户不感兴趣的内容可能是步骤101所确定出的对象的背景，也可能是该对象本身，由于不同情况下处理的方式不同，因此，这里需要区别处理模式，分别进行处理，以确保将用户不感兴趣的内容从最终拍摄得到的照片中去除。

本步骤中，用于为步骤101中所确定出的对象确定处理模式。在实际应用中，当需要进行轮廓检测的对象被显示后，用户可以进一步为其选择相应的处理模式。这样，当拍照设备检测到用户所选择的处理模式时，便可确定当前需要执行的处理模式，从而可以在后续步骤中进一步根据所选择的处理模式进行相应的处理。

步骤103、当所述处理模式为去除模式时，触发从取景框的图像中去除所述对象的处理，并将处理结果作为取景预览子画面进行全屏显示，当检测到用户的拍照触发指令时，对当前取景框中的所述取景预览子画面进行拍摄，保存拍摄结果；当所述处理模式为非去除模式时，对所述对象进行反失真处理，将处理结果作为取景预览子画面进行全屏显示，并在所述对象是非规则图像时，根据用户设置的背景处理策略，对该取景预览子画面进行相应的背景处理；当检测到用户的拍照触发指令时，对当前取景框中的所述取景预览子画面进行拍摄，保存拍摄结果。

步骤103，用于区分不同处理模式，基于步骤101所确定出的对象进行不同的处理。

具体地，当处理模式为去除模式时将会触发从取景框的图像中去除所述对象的处理，当需要拍摄时，直接对当前取景框中经过去除处理的画面进行拍摄，这样，就可以确保所拍摄的照片中不存在用户不感兴趣的内容。

较佳地，可以采用下述方法从取景框的图像中去除所述对象的处理：

对所述对象进行标记；基于深度学习方法，从取景框的图像中去除所述对象，并将经过所述去除后的图像进行修复。

上述去除对象的处理过程如图2所示。

较佳地，可以基于encoder-decoder模型、Attention模型等深度学习方法进行图像去除和修复。

当处理模式为非去除模式时，则需要对所述对象进行反失真处理，以确保照片的清晰度。

较佳地，可以基于深度学习方法，对所述对象进行反失真处理。进一步地，可以采用GAN算法、SRResNet等进行反失真处理，但也不限于上述方法，只要能使得图像更加清晰即可。图3给出了基于GAN模型的反失真处理过程示意图。

当处理模式为非去除模式时，对对象进行反失真处理后，如果该对象是非规则图像，还需要考虑根据用户设置的背景处理策略，为其进行背景的替换，这样，对于不规则的图片可以实时更换背景。

在实际应用中，所述背景处理策略可由用户预先设置，或者是拍照时实时设置。

较佳地，可以采用下述方法根据用户设置的背景处理策略，对该取景预览子画面进行相应的背景处理：

当所述背景处理策略设置背景为非透明背景时，根据所述背景处理策略设置的背景对取景预览子画面进行相应的背景替换。而当背景处理策略设置的背景为透明背景时，则不需要进行背景替换。

较佳地，为了确保图像的实时性，当检测到新的对焦指令时，则需要重新执行相应的处理操作，具体如下：

当所述处理模式为去除模式时，在检测到用户的拍照触发指令之前，如果检测到新的对焦指令时，重新执行所述去除模式下的处理操作；

当所述处理模式为非去除模式时，在检测到用户的拍照触发指令之前，如果检测到新的对焦指令时，重新执行所述非去除模式下的处理操作。

较佳地，为了进一步提高照片的画面质量，使得图像得到加强并且显示更加清晰，可以在进行保存拍摄结果之前，可以对拍摄结果进行校正、去噪和加强等处理。

较佳地，为了方便用户对拍摄结果的浏览，可以根据用户的需求，对所拍摄的照片进行文档生成处理，以获得用户所需要的文档，而不再仅限于图片格式，具体可以采用下述方法实现这一目的：

当所述拍照设备检测到用户的文档生成指令时，按照所述文档生成指令指示的文档格式，对所述文档生成指令指示的照片进行处理，生成相应格式的文件并保存。这样，可以基于用户连续拍摄的多张照片生成一个文档进行保存，比如用户在开会时候，选择文档模式拍摄了30张照片，最终将这30 张照片处理完生成一个PDF，供用户后期查阅；再比如，可以对图像进行锐化等操作，最终生成扫描图像。

在实际应用中，可以设置不同的保存模式，该保存模式用户可以预先设置，也可以在输入文档生成指令中携带所要求的保存模式，接收到文档生成指令后，拍照设备将根据用户指定的保存模式生成相应格式的文档。所述保存模式可以根据实际需要进行设置，例如可以为：文档模式、扫描模式、图片模式等但不限于此。

较佳地，最终生成的文档格式包括但不限于下述格式：

word格式、WPS格式、PPT格式、PDF格式和/或图片格式。

较佳地，考虑到采用连拍模式进行拍摄时，会得到多张照片，此时，可以对这些照片进行合成，得到有运动轨迹的画面。具体地可以采用下述方法实现这一目的：

当所述拍照触发指令为连拍模式的触发指令时，可以采用下述方法保存拍摄结果：

将当前所述取景预览子画面对应的所有拍摄照片进行照片合成处理，将处理后得到的一张合成照片保存。

下面通过几个不同场景下的具体实施例对上述拍照方法做进一步阐述：

场景一：

用户在开会，打算用相机记录会议内容播放的PPT，选择的文档保存模式为文档模式：

1.打开相机，进入取景框预览画面

2.取景框预览画面通过轮廓识别出现会议播放PPT，并显示出该PPT的预览子画面

3.用户点击该PPT的预览子画面，全屏显示预览子画面

4.用户输入拍照触发指令，对取景框中全屏显示的取景预览子画面进行拍摄

5.对于拍摄图片进行校正、去噪等处理

6.在文档模式下，用步骤1～5的方法拍摄十几张照片

7.根据用户的文档生成指令，将这十几张照片进行存储，例如存储成一个 PDF或者PPT

场景二：

如图4所示，用户进行摩托车比赛拍摄，想要拍摄运动轨迹

1.打开相机，进入取景框预览画面

2.用户点击选取人物，取景框预览画面通过轮廓识别出人物

3.选择连拍模式，连续地拍摄不同的时间的多张照片

4.最后将生成一张运动轨迹的照片

场景三：

如图5所示，用户拍证件或证书时候，想要得到扫描件，可以启动扫描模式

1.打开相机，进入取景框预览画面

2.取景框预览画面通过轮廓识别出证件或证书，并显示出该证件或证书画像的预览子画面

3.用户点击该证件或证书画像的预览子画面，全屏显示预览子画面

5.对于拍摄图片进行锐化等处理

6.根据选择的保存模式进行存储，例如扫描模式进行存储

场景四：

如图6所示，用户用照相机拍摄照片时，想去除其中一个人物

1.打开相机，进入取景框预览画面

2.用户点击选择想要去除的景物

3.取景框预览画面通过轮廓识别出该景物

4.取景框将该景物移除取景框，同时补充背景色，将效果呈现给用户

5.用户输入拍照触发指令，对取景框中预览子画面进行拍摄

6.照片进行存储

场景五：

如图7所示，用户在室内跑步机上跑步，想要变换实时背景

1.打开相机，进入取景框预览画面

2.用户点击选取人物，取景框预览画面通过轮廓识别出人物

3.进行实时背景的更换，选择海边，将换背景后的图片全屏显示给用户

5.对图片进行处理，并进行保存

图8为与上述方法相对应的拍照控制装置结构示意图，如图8所示，该装置主要包括：

较佳地，所述模式确定单元，用于当用户预设的轮廓检测选择方式为自动模式时，将所述取景框内面积达到预设比例的对象确定为进行轮廓检测的对象；当用户预设的轮廓检测选择方式为手动模式时，将用户当前手动选择的对象确定为进行轮廓检测的对象。

较佳地，所述去除处理单元，用于对所述对象进行标记；基于深度学习方法，从取景框的图像中去除所述对象，并将经过所述去除后的图像进行修复。

较佳地，所述去除处理单元，进一步用于当所述处理模式为去除模式时，在检测到用户的拍照触发指令之前，如果检测到新的对焦指令时，重新执行所述去除模式下的处理操作；

所述非去除处理单元，进一步用于当所述处理模式为非去除模式时，在检测到用户的拍照触发指令之前，如果检测到新的对焦指令时，重新执行所述非去除模式下的处理操作。

较佳地，所述非去除处理单元，用于基于深度学习方法，对所述对象进行反失真处理。

较佳地，所述去除处理单元，进一步用于在保存本单元得到的所述保存拍摄结果之前，对所述拍摄结果进行校正、去噪和加强处理；

所述非去除处理单元，进一步用于在保存本单元得到的所述保存拍摄结果之前，对所述拍摄结果进行校正、去噪和加强处理。

较佳地，所述装置进一步包括：

文档生成单元，用于当所述拍照设备检测到用户的文档生成指令时，按照所述文档生成指令指示的文档格式，对所述文档生成指令指示的照片进行处理，生成相应格式的文件并保存。

较佳地，所述文档格式包括：

word格式、WPS格式、PPT格式、PDF格式和/或图片格式。

较佳地，所述去除处理单元，用于当所述处理模式为去除模式且所述拍照触发指令为连拍模式的触发指令时，将当前所述取景预览子画面对应的所有拍摄照片进行照片合成处理，得到一张合成照片并保存；

所述非去除处理单元，用于当所述处理模式为非去除模式且所述拍照触发指令为连拍模式的触发指令时，将当前所述取景预览子画面对应的所有拍摄照片进行照片合成处理，得到一张合成照片并保存。

较佳地，所述非去除处理单元，用于当所述背景处理策略设置背景为非透明背景时，根据所述背景处理策略设置的背景对取景预览子画面进行相应的背景替换。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种拍照控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定取景框中需要进行轮廓检测的对象包括：

当用户预设的轮廓检测选择方式为自动模式时，将所述取景框内面积达到预设比例的对象确定为进行轮廓检测的对象；

3.根据权利要求1所述的方法，其特征在于，所述从取景框的图像中去除所述对象的处理包括：

对所述对象进行标记；

基于深度学习方法，从取景框的图像中去除所述对象，并将经过所述去除后的图像进行修复。

4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

5.根据权利要求1所述的方法，其特征在于，基于深度学习方法，对所述对象进行反失真处理。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

在进行所述保存之前，对所述拍摄结果进行校正、去噪和加强处理。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

当所述拍照设备检测到用户的文档生成指令时，按照所述文档生成指令指示的文档格式，对所述文档生成指令指示的照片进行处理，生成相应格式的文件并保存。

8.根据权利要求1所述的方法，其特征在于，所述文档格式包括：

word格式、WPS格式、PPT格式、PDF格式和/或图片格式。

9.根据权利要求1所述的方法，其特征在于，当所述拍照触发指令为连拍模式的触发指令时，所述保存拍摄结果包括：

10.根据权利要求1所述的方法，其特征在于，根据用户设置的背景处理策略，对该取景预览子画面进行相应的背景处理包括：

当所述背景处理策略设置背景为非透明背景时，根据所述背景处理策略设置的背景对取景预览子画面进行相应的背景替换。

11.一种拍照控制装置，其特征在于，包括：

12.根据权利要求11所述的装置，其特征在于，所述模式确定单元，用于当用户预设的轮廓检测选择方式为自动模式时，将所述取景框内面积达到预设比例的对象确定为进行轮廓检测的对象；当用户预设的轮廓检测选择方式为手动模式时，将用户当前手动选择的对象确定为进行轮廓检测的对象。

13.根据权利要求11所述的装置，其特征在于，所述去除处理单元，用于对所述对象进行标记；基于深度学习方法，从取景框的图像中去除所述对象，并将经过所述去除后的图像进行修复。

14.根据权利要求11所述的装置，其特征在于，所述去除处理单元，进一步用于当所述处理模式为去除模式时，在检测到用户的拍照触发指令之前，如果检测到新的对焦指令时，重新执行所述去除模式下的处理操作；

15.根据权利要求11所述的装置，其特征在于，所述非去除处理单元，用于基于深度学习方法，对所述对象进行反失真处理。

16.根据权利要求11所述的装置，其特征在于，所述去除处理单元，进一步用于在保存本单元得到的所述保存拍摄结果之前，对所述拍摄结果进行校正、去噪和加强处理；

17.根据权利要求12所述的装置，其特征在于，所述装置进一步包括：

18.根据权利要求12所述的装置，其特征在于，所述文档格式包括：

word格式、WPS格式、PPT格式、PDF格式和/或图片格式。

19.根据权利要求12所述的装置，其特征在于，所述去除处理单元，用于当所述处理模式为去除模式且所述拍照触发指令为连拍模式的触发指令时，将当前所述取景预览子画面对应的所有拍摄照片进行照片合成处理，得到一张合成照片并保存；

20.根据权利要求12所述的装置，其特征在于，所述非去除处理单元，用于当所述背景处理策略设置背景为非透明背景时，根据所述背景处理策略设置的背景对取景预览子画面进行相应的背景替换。