CN107493428A - 拍摄控制方法和装置 - Google Patents
拍摄控制方法和装置 Download PDFInfo
- Publication number
- CN107493428A CN107493428A CN201710676497.2A CN201710676497A CN107493428A CN 107493428 A CN107493428 A CN 107493428A CN 201710676497 A CN201710676497 A CN 201710676497A CN 107493428 A CN107493428 A CN 107493428A
- Authority
- CN
- China
- Prior art keywords
- hand
- information
- user
- shooting
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种拍摄控制方法和装置，其中，方法包括：向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像；解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息；根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势相匹配；若判断获知手部3D信息与预设的触发手势匹配成功，则根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。由此，丰富了拍摄方式，提高了拍摄的灵活性。
Description
技术领域
本发明涉及拍摄技术领域，尤其涉及一种拍摄控制方法和装置。
背景技术
随着终端设备技术的不断发展，终端设备中的拍摄功能中的拍摄功能越来越丰富，用户也越来越习惯于使用终端设备进行拍摄。然而，随着终端设备的拍摄功能的丰富，拍摄预览界面上的功能键也越来越多，用户需要在多个功能键中找到并触发相关的功能键，以满足用户的拍摄需求，操作繁琐，灵活度不高。
发明内容
本发明提供一种拍摄控制方法和装置，以解决现有技术中，拍摄操作繁琐灵活度不高的技术问题。
本发明实施例提供一种拍摄控制方法，包括：向当前用户的手部投射结构光源，并拍摄所述结构光源经过所述手部调制的结构光图像；解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述手部的景深信息；根据所述景深信息生成手部3D信息，并判断所述手部3D信息是否与预设的触发手势相匹配；若判断获知所述手部3D信息与预设的触发手势匹配成功，则根据预设的与所述触发手势对应的控制指令进行相应的拍摄控制操作。
本发明另一实施例提供一种拍摄控制装置，包括：拍摄模块，用于向当前用户的手部投射结构光源，并拍摄所述结构光源经过所述手部调制的结构光图像；生成模块，用于解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述手部的景深信息；匹配模块，用于根据所述景深信息生成手部3D信息，并判断所述手部3D信息是否与预设的触发手势相匹配；所述拍摄模块，还用于在判断获知所述手部3D信息与预设的触发手势匹配成功时，根据预设的与所述触发手势对应的控制指令进行相应的拍摄控制操作。
本发明又一实施例提供一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本发明上述实施例所述的拍摄控制方法。
本发明还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明上述实施例所述的拍摄控制方法。
本发明实施例提供的技术方案可以包括以下有益效果：
向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息，根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势相匹配，若判断获知手部3D信息与预设的触发手势匹配成功，则根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。由此，丰富了拍摄方式，提高了拍摄的灵活性。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的拍摄控制方法的流程图；
图2(a)是根据本发明一个实施例的结构光测量的场景示意图一；
图2(b)是根据本发明一个实施例的结构光测量的场景示意图二；
图2(c)是根据本发明一个实施例的结构光测量的场景示意图三；
图2(d)是根据本发明一个实施例的结构光测量的场景示意图四；
图2(e)是根据本发明一个实施例的结构光测量的场景示意图五；
图3(a)是根据本发明一个实施例的准直分束元件的局部衍射结构示意图；
图3(b)是根据本发明另一个实施例的准直分束元件的局部衍射结构示意图；
图4是根据本发明另一个实施例的拍摄控制方法的流程图；
图5是根据本发明一个实施例的拍摄控制装置的结构框图；
图6是根据本发明另一个实施例的拍摄控制装置的结构框图；
以及
图7是本发明一实施例提出的终端设备中的图像处理电路的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
为了解决现有技术中，拍摄不够灵活的技术问题，本发明提出一种智能拍摄控制方法，该方法丰富了拍摄方式，提高了拍摄的灵活性。
下面参考附图描述本发明实施例的拍摄控制方法和装置。
图1是根据本发明一个实施例的拍摄控制方法的流程图。如图1所示，该拍摄控制方法包括：
步骤101，向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像。
步骤102，解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息。
具体地，在本发明的实施例中，为了提高对拍摄控制的灵活性，基于用户的手部动作进行拍摄控制。
需要说明的是，根据具体应用场景的不同，可采用不同的实现方式实现对用户手部动作的识别，作为一种可能的实现方式，为了提高对用户手部动作识别的准确度，基于结构光获取手部的景深信息。
在本实施例中，为了使得本领域的技术人员更加清楚的了解，如何根据结构光来获取手部的景深信息，下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理，其中，光栅投影技术属于广义上的面结构光。
在使用面结构光投影的时候，如图2(a)所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用CCD相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定，包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定，否则很可能产生误差或者误差耦合。因为系统外部参数不标定则不可能由相位计算出正确的高度信息。
具体而言，第一步，编程产生正弦条纹图，因为后续要利用变形条纹图获取相位，比如采用四步移相法获取相位，因此这里产生四幅相位差pi/2的条纹，然后将该四幅条纹分时投影到被测物(面具)上，采集到如图2(b)左边的图，同时要采集如图2(b)右边所示的参考面的条纹。
第二步，进行相位恢复，由采集到的四幅受调制条纹图计算出被调制相位，这里得到的相位图是截断相位图，因为四步移相算法得到的结果是由反正切函数计算所得，因而被限制在[-pi,pi]之间，也就是说每当其值超过该范围，其又会重新开始。得到的相位主值如图2(c)所示。
其中，在第二个步骤下，需要消跳变，即将截断相位恢复为连续相位，如图2(d)所示，左边为受调制的连续相位，右边是参考连续相位。
第三步，将受调制的连续相位和参考连续相位相减得到相位差，该相位差则表征了被测物相对参考面的高度信息，再代入相位与高度转化公式(其中相应参数经过标定)，得到如图2(e)所示的待测物体的三维模型。
应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述光栅之外，还可是其他任意图案。
其中，需要强调的是，作为一种可能的实现方式，本发明使用散斑结构光进行用户的手部信息的采集，从而可根据散斑结构光中根据预设算法设置的散乱的斑点，在投射到用户手部后产生的位移(相当于调制)还原出用户手部的相关景深信息。
在本实施例中，可以使用基本为平板的衍射元件，该衍射元件具有特定相位分布的浮雕的衍射结构，横截面为具有两个或多个凹凸的台阶浮雕结构，或多个凹凸的台阶浮雕结构，基片的厚度大致为l微米，各个台阶的高度不均匀，为0.7微米-0.9微米。图3(a)为本实施例的准直分束元件的局部衍射结构，图3(b)为沿截面A-A的剖面侧视图，横坐标和纵坐标的单位均为微米。
从而，由于普通的衍射元件对光束进行衍射后得到多束衍射光，但每束衍射光光强差别大，对人眼伤害的风险也大，即便是对衍射光进行二次衍射，得到的光束的均匀性也较低，利用此类光束在图像信息处理装置中对物体进行投影，投影效果较差。
本实施例中的准直分束元件不仅具有对非准直光束进行准直的作用，还具有分光的作用，即经反射镜反射的非准直光经过准直分束元件后往不同角度出射多束准直光束，且出射的多束准直光束的截面面积近似相等，能量通量近似相等，进而使得利用该光束衍射后的散点光进行图像处理或投影的效果更好，同时，激光出射光分散至每一束光，进一步降低了伤害人眼的风险，且由于是散斑结构光，相对于其他排布均匀的结构光，达到同样的采集效果时，所消耗的电能更低。
基于上述描述，在本实施例中，向当前用户的手部投射结构光源，并拍摄所述结构光源经过手部调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息。
步骤103，根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势相匹配。
步骤104，若判断获知手部3D信息与预设的触发手势匹配成功，则根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。
其中，本发明实施例的3D信息包括图像的景深信息、像素位置信息等。
可以理解，预先针对拍摄控制控制动作的控制指令录制触发手势的3D信息，并将该触发手势进行存储，从而用户可通过执行该触发手势作实现对拍摄的快速控制。
其中，触发手势可以包括V形手势，心形手势等，该触发手势可以是系统根据终端设备的硬件配置设置的，也可以是用户根据个人操作习惯设置的，另外，上述拍摄控制操作可以包括对前置摄像头和后置摄像头的切换动作，对摄像头角度按照预设角度进行旋转操作，或者，对拍摄功能进行开启或者关闭操作等。
具体地，根据景深信息生成手部3D信息，将根据景深信息生成手部3D信息与预存的触发手势相匹配，如果匹配成功则根据预设的与根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作，由此，用户仅仅通过实施相关的动作就可实现拍摄控制，操作方便灵活。
举例而言，如果预存的对前置摄像头和后置摄像头进行切换操作对应的控制指令的触发手势为V型手势，则向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像后，解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息，根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势匹配，如果判断获知手部3D信息与V型手势相匹配，则触发摄像头进行前置摄像头和后置摄像头的切换动作。
需要强调的是，为了便于说明和描述，本发明实施例的触发手势以V形手势等静态手势进行说明，然而，在实际使用时，为了避免误判，还可基于触发动作进行拍摄控制，比如预设由几个连续的触发手势组成的触发动作，并针对该触发动作预设拍摄控制动作。
从而，在预设时间内，向用户的手部投射结构光，根据解调的结构光图像中变形位置像素对应的相位生成的手部的景深信息，判断用户是否实施预设的触发动作，如果用户实施的触发动作为预设的触发动作，则根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。
综上所述，本发明实施例的拍摄控制方法，向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息，根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势相匹配，若判断获知手部3D信息与预设的触发手势匹配成功，则根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。由此，丰富了拍摄方式，提高了拍摄的灵活性。
基于以上实施例，应当理解的是，在根据用户的手部的景深信息进行解锁时，采集用户的手部的景深信息的相关装置由于位置相对固定，因而，采集的范围是有限的，如果用户的手部相对相关装置的方向处于其采集范围之外，则无法获取到用户的手部的景深信息，或者，获取不全用户的手部的景深信息，此时用户无法获知解锁失败的原因，体验较差。
因此，在本发明的实施例中，为了避免上述技术问题，控制用户在采集用户的手部的景深信息的相关装置的有效采集范围内，实施相关手部动作。
具体而言，图4是根据本发明另一个实施例的拍摄控制方法的流程图，如图4所示，在上述步骤101之前，该拍摄控制方法包括：
步骤201，检测当前应用是否满足预设的自动控制触发条件。
其中，根据具体应用场景的不同，预设的自动控制控制触发条件不同，比如，可以包括检测用户是否打开拍照应用且点击自动控制拍照的触发控件，又比如，检测在拍照应用程序开启时，手部是否较长时间内处于距离终端设备的屏幕一定距离范围内，比如处于距离终端设备的屏幕5CM-10CM的距离范围内。
步骤202，若满足预设的自动控制触发条件，则在屏幕界面的目标区域显示控制区域。
其中，上述目标区域可以是根据应用需要自行设定的，也可以是系统标定的，其位置以及形状都可以根据应用需要的不同进行设置。
具体地，当满足预设的自动控制触发条件后，在屏幕界面的目标区域显示控制区域，该显示控制区域用以指示用户实施手部动作的正确位置，从而，增加和用户的互动，用户可以较为直观的观测到其实施手部动作的位置是否合适。
步骤203，启动摄像头在控制区域显示预览画面，并检测用户手部是否处于预览画面中。
具体地，启动摄像头在控制区域显示预览画面，并通过检测用户的手部是否处于预览画面中，以确定用户的手部位置是否合适。
需要说明的是，根据应用场景的不同，检测用户手部是否处于预览画面中的方式不同，举例说明如下：
第一种示例：
通过轮廓识别技术，识别预览画面中是否包含手部轮廓，且手部轮廓较为完整，如果用户手部轮廓存在于预览画面中，且手部轮廓较为完整，则确定检测用户的手部处于预览画面。
第二种示例：
通过红外识别技术，识别预览画面中是否包含手部，且手部较为完整，如果用户手部轮廓存在于预览画面中，且手部轮廓较为完整，则确定检测用户的手部处于预览画面。
步骤204，若检测获知用户手部处于预览画面中，则向用户手部投射结构光源。
具体地，如果检测获知用户的手部处于预览画面中，则向用户手部投射结构光源，实施上述步骤101-步骤104以进行执行本发明实施例的拍摄控制方法。
步骤205，若检测获知用户手部没有处于预览画面中，则向当前用户语音输出移动信息，以使当前用户根据移动信息调整手部与摄像头之间的位置。
具体地，如果检测获知用户手部没有处于预览画面中，则向当前用户语音输出移动信息，比如移动方位以及移动距离信息，以使当前用户根据移动信息调整手部与摄像头之间的位置，使得用户的手部处于结构光源投射的有效范围内。
其中，为了更加直观的指示用户的位置，还可结合其他技术手段指示用户进行手部位置的调整，比如，在拍照应用界面显示相关移动方向的箭头等。
综上所述，本发明实施例的拍摄控制方法，在终端设备上的显示控制区域中直观的显示用户手部，根据显示情况，进手部位置的调整，避免由于用户的手部相对终端设备位置的不合适，导致拍摄控制失败，提高了识别效率，提升了用户体验。
为了实现上述实施例，本发明还提出一种拍摄控制装置，图5是根据本发明一个实施例的拍摄控制装置的结构框图，如图5所示，该拍摄控制装置包括拍摄模块100、生成模块200和匹配模块300。
其中，拍摄模块100，用于向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像。
生成模块200，用于解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息。
匹配模块300，用于根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势相匹配。
在本发明的一个实施例中，拍摄模块100，还用于在判断获知手部3D信息与预设的触发手势匹配成功时，根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。
上述拍摄控制装置中各个模块的划分仅用于举例说明，在其他实施例中，可将拍摄控制装置按照需要划分为不同的模块，以完成上述拍摄控制装置的全部或部分功能。
需要说明的是，本发明实施例的拍摄控制方法也适用于本发明实施例的拍摄控制装置，其实现原理类似，在此不再赘述。
综上所述，本发明实施例的拍摄控制装置，向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息，根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势相匹配，若判断获知手部3D信息与预设的触发手势匹配成功，则根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。由此，丰富了拍摄方式，提高了拍摄的灵活性。
图6是根据本发明另一个实施例的拍摄控制装置的结构框图，如图6所示，在如图5所示的基础上，该拍摄控制装置还包括第一检测模块400、显示模块500、第二检测模块600和输出模块700。
其中，第一检测模块400，用于检测当前应用是否满足预设的自动控制触发条件。
显示模块500，用于在满足预设的自动控制触发条件时，在屏幕界面的目标区域显示控制区域。
第二检测模块600，用于启动摄像头在控制区域显示预览画面，并检测用户手部是否处于预览画面中。
在本实施例中，拍摄模块100，还用于在检测获知用户手部处于预览画面中，向用户手部投射结构光源。
在本发明的一个实施例中，输出模块700，用于在检测获知用户手部没有处于预览画面中时，向当前用户语音输出移动信息，以使当前用户根据移动信息调整手部与摄像头之间的位置。
上述拍摄控制装置中各个模块的划分仅用于举例说明，在其他实施例中，可将拍摄控制装置按照需要划分为不同的模块，以完成上述拍摄控制的全部或部分功能。
需要说明的是，本发明实施例的拍摄控制方法也适用于本发明实施例的拍摄控制装置，其实现原理类似，在此不再赘述。
综上所述，本发明实施例的拍摄控制装置，在终端设备上的显示控制区域中直观的显示用户手部，根据显示情况，进手部位置的调整，避免由于用户的手部相对终端设备位置的不合适，导致拍摄控制失败，提高了识别效率，提升了用户体验。
为实现上述目的，本发明还提出一种终端设备。上述终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图7是本发明一实施例提出的终端设备中的图像处理电路的结构示意图。如图7所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图7所示，图像处理电路110包括成像设备1110、ISP处理器1130和控制逻辑器1140。成像设备1110可包括具有一个或多个透镜1112、图像传感器1114的照相机和结构光投射器1116。结构光投射器1116将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器1114捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器1130，由ISP处理器1130对结构光图像进行解调获取被测物的深度信息。同时，图像传感器1114也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器1114分别捕捉被测物的结构光图像和色彩信息。其中，以散斑结构光为例，ISP处理器1130对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器1130接收到图像传感器1114捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器1130对图像数据进行分析以获取可用于确定成像设备1110的一个或多个控制参数的图像统计信息。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1130处理的一组原始图像数据。
ISP处理器1130按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1130可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1130还可从图像存储器1120接收像素数据。图像存储器1120可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(DirectMemory Access，直接存储器存取)特征。
当接收到原始图像数据时，ISP处理器1130可进行一个或多个图像处理操作。
在ISP处理器1130获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。
三维图像的图像数据可发送给图像存储器1120，以便在被显示之前进行另外的处理。ISP处理器1130从图像存储器1120接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1130的输出还可发送给图像存储器1120，且显示器1160可从图像存储器1120读取图像数据。在一个实施例中，图像存储器1120可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1130的输出可发送给编码器/解码器1150，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1160设备上之前解压缩。编码器/解码器1150可由CPU或GPU或协处理器实现。
ISP处理器1130确定的图像统计信息可发送给控制逻辑器1140单元。控制逻辑器1140可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备1110的控制参数。
以下为运用图7中图像处理技术实现拍摄控制方法的步骤：
步骤101’，向当前用户的手部投射结构光源，并拍摄所述结构光源经过所述手部调制的结构光图像。
步骤102’，解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述手部的景深信息。
步骤103’，根据所述景深信息生成手部3D信息，并判断所述手部3D信息是否与预设的触发手势相匹配。
步骤104’，若判断获知所述手部3D信息与预设的触发手势匹配成功，则根据预设的与所述触发手势对应的控制指令进行相应的拍摄控制操作。
需要说明的是，前述对拍摄控制方法实施例的解释说明也适用于本实施例的终端设备，其实现原理类似，此处不再赘述。
综上所述，本发明实施例的终端设备，向当前用户的手部投射结构光源，并拍摄结构光源经过手部调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成手部的景深信息，根据景深信息生成手部3D信息，并判断手部3D信息是否与预设的触发手势相匹配，若判断获知手部3D信息与预设的触发手势匹配成功，则根据预设的与触发手势对应的控制指令进行相应的拍摄控制操作。由此，丰富了拍摄方式，提高了拍摄的灵活性。
本发明实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的拍摄控制方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种拍摄控制方法，其特征在于，包括：
向当前用户的手部投射结构光源，并拍摄所述结构光源经过所述手部调制的结构光图像；
解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述手部的景深信息；
根据所述景深信息生成手部3D信息，并判断所述手部3D信息是否与预设的触发手势相匹配；
若判断获知所述手部3D信息与预设的触发手势匹配成功，则根据预设的与所述触发手势对应的控制指令进行相应的拍摄控制操作。
2.如权利要求1所述的方法，其特征在于，所述结构光源的结构特征，包括：
激光条纹、格雷码、正弦条纹、均匀散斑、或者，非均匀散斑。
3.如权利要求1所述的方法，其特征在于，所述向当前用户的手部投射结构光源之前，还包括：
检测当前应用是否满足预设的自动控制触发条件；
若满足预设的自动控制触发条件，则在屏幕界面的目标区域显示控制区域；
启动摄像头在所述控制区域显示预览画面，并检测所述用户手部是否处于预览画面中；
若检测获知所述用户手部处于预览画面中，则向所述用户手部投射结构光源。
4.如权利要求3所述的方法，其特征在于，还包括：
若检测获知所述用户手部没有处于预览画面中，则向当前用户语音输出移动信息，以使当前用户根据所述移动信息调整手部与所述摄像头之间的位置。
5.如权利要求1所述的方法，其特征在于，所述根据预设的与所述触发手势对应的控制指令进行相应的拍摄控制操作，包括：
对前置摄像头和后置摄像头进行切换操作；或者，
对摄像头角度按照预设角度进行旋转操作；或者，
对拍摄功能进行开启或者关闭操作。
6.一种拍摄控制装置，其特征在于，包括：
拍摄模块，用于向当前用户的手部投射结构光源，并拍摄所述结构光源经过所述手部调制的结构光图像；
生成模块，用于解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述手部的景深信息；
匹配模块，用于根据所述景深信息生成手部3D信息，并判断所述手部3D信息是否与预设的触发手势相匹配；
所述拍摄模块，还用于在判断获知所述手部3D信息与预设的触发手势匹配成功时，根据预设的与所述触发手势对应的控制指令进行相应的拍摄控制操作。
7.如权利要求6所述的装置，其特征在于，还包括：
第一检测模块，用于检测当前应用是否满足预设的自动控制触发条件；
显示模块，用于在满足预设的自动控制触发条件时，在屏幕界面的目标区域显示控制区域；
第二检测模块，用于启动摄像头在所述控制区域显示预览画面，并检测所述用户手部是否处于预览画面中；
所述拍摄模块，还用于在检测获知所述用户手部处于预览画面中，向所述用户手部投射结构光源。
8.如权利要求7所述的装置，其特征在于，还包括：
输出模块，用于在检测获知所述用户手部没有处于预览画面中时，向当前用户语音输出移动信息，以使当前用户根据所述移动信息调整手部与所述摄像头之间的位置。
9.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1-5任一所述的拍摄控制方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一所述的拍摄控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710676497.2A CN107493428A (zh) | 2017-08-09 | 2017-08-09 | 拍摄控制方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710676497.2A CN107493428A (zh) | 2017-08-09 | 2017-08-09 | 拍摄控制方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107493428A true CN107493428A (zh) | 2017-12-19 |
Family
ID=60644697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710676497.2A Pending CN107493428A (zh) | 2017-08-09 | 2017-08-09 | 拍摄控制方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107493428A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108227935A (zh) * | 2018-02-11 | 2018-06-29 | 北京光年无限科技有限公司 | 一种基于虚拟人的手势交互方法及系统 |
| CN108259722A (zh) * | 2018-02-27 | 2018-07-06 | 厦门美图移动科技有限公司 | 成像方法、装置及电子设备 |
| CN108268134A (zh) * | 2017-12-30 | 2018-07-10 | 广州本元信息科技有限公司 | 拿放商品的手势识别装置及方法 |
| CN108334858A (zh) * | 2018-02-27 | 2018-07-27 | 上海摩象网络科技有限公司 | 一种利用动作控制智能设备拍摄的方法及系统 |
| CN108335276A (zh) * | 2018-03-05 | 2018-07-27 | 广东欧珀移动通信有限公司 | 图像美颜方法、装置和终端设备 |
| CN108510471A (zh) * | 2018-03-05 | 2018-09-07 | 广东欧珀移动通信有限公司 | 图像牙齿矫正方法、装置和终端设备 |
| CN109991859A (zh) * | 2017-12-29 | 2019-07-09 | 青岛有屋科技有限公司 | 一种手势指令控制方法及智能家居控制系统 |
| CN110162204A (zh) * | 2018-10-09 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 触发设备功能的方法、装置以及控制进行图像捕获的方法 |
| CN110415062A (zh) * | 2018-04-28 | 2019-11-05 | 香港乐蜜有限公司 | 基于服饰试穿的信息处理方法和装置 |
| WO2019218521A1 (en) * | 2018-05-14 | 2019-11-21 | Boe Technology Group Co., Ltd. | Gesture recognition apparatus, control method thereof, and display apparatus |
| WO2020221188A1 (zh) * | 2019-04-30 | 2020-11-05 | 深圳市光鉴科技有限公司 | 基于同步ToF离散点云的3D成像装置及电子设备 |
| CN112492211A (zh) * | 2020-12-01 | 2021-03-12 | 咪咕文化科技有限公司 | 一种拍摄方法、电子设备及存储介质 |
| CN112825013A (zh) * | 2019-11-20 | 2021-05-21 | 百度在线网络技术（北京）有限公司 | 终端设备的控制方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101742114A (zh) * | 2009-12-31 | 2010-06-16 | 上海量科电子科技有限公司 | 通过手势识别来决定拍摄操作的方法及装置 |
| CN103167230A (zh) * | 2011-12-17 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 电子设备及其根据手势控制拍照的方法 |
| CN103237172A (zh) * | 2013-04-28 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种延时拍摄方法及装置 |
| CN103324274A (zh) * | 2012-03-22 | 2013-09-25 | 联想(北京)有限公司 | 一种人机交互方法和装置 |
| CN105320929A (zh) * | 2015-05-21 | 2016-02-10 | 维沃移动通信有限公司 | 拍照的同步美化方法及其拍照装置 |
| CN106060383A (zh) * | 2016-05-27 | 2016-10-26 | 广东欧珀移动通信有限公司 | 一种图像获取的方法及系统 |
| CN106454071A (zh) * | 2016-09-09 | 2017-02-22 | 捷开通讯(深圳)有限公司 | 终端及其基于手势进行自动拍摄的方法 |
| CN106547337A (zh) * | 2015-09-17 | 2017-03-29 | 富泰华工业（深圳）有限公司 | 使用手势的拍照方法、系统与电子装置 |
| CN106657455A (zh) * | 2016-10-25 | 2017-05-10 | 深圳奥比中光科技有限公司 | 一种带可旋转摄像头的电子设备 |
| CN106774850A (zh) * | 2016-11-24 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种移动终端及其交互控制方法 |
-
2017
- 2017-08-09 CN CN201710676497.2A patent/CN107493428A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101742114A (zh) * | 2009-12-31 | 2010-06-16 | 上海量科电子科技有限公司 | 通过手势识别来决定拍摄操作的方法及装置 |
| CN103167230A (zh) * | 2011-12-17 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 电子设备及其根据手势控制拍照的方法 |
| CN103324274A (zh) * | 2012-03-22 | 2013-09-25 | 联想(北京)有限公司 | 一种人机交互方法和装置 |
| CN103237172A (zh) * | 2013-04-28 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种延时拍摄方法及装置 |
| CN105320929A (zh) * | 2015-05-21 | 2016-02-10 | 维沃移动通信有限公司 | 拍照的同步美化方法及其拍照装置 |
| CN106547337A (zh) * | 2015-09-17 | 2017-03-29 | 富泰华工业（深圳）有限公司 | 使用手势的拍照方法、系统与电子装置 |
| CN106060383A (zh) * | 2016-05-27 | 2016-10-26 | 广东欧珀移动通信有限公司 | 一种图像获取的方法及系统 |
| CN106454071A (zh) * | 2016-09-09 | 2017-02-22 | 捷开通讯(深圳)有限公司 | 终端及其基于手势进行自动拍摄的方法 |
| CN106657455A (zh) * | 2016-10-25 | 2017-05-10 | 深圳奥比中光科技有限公司 | 一种带可旋转摄像头的电子设备 |
| CN106774850A (zh) * | 2016-11-24 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种移动终端及其交互控制方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109991859A (zh) * | 2017-12-29 | 2019-07-09 | 青岛有屋科技有限公司 | 一种手势指令控制方法及智能家居控制系统 |
| CN108268134B (zh) * | 2017-12-30 | 2021-06-15 | 广州正峰电子科技有限公司 | 拿放商品的手势识别装置及方法 |
| CN108268134A (zh) * | 2017-12-30 | 2018-07-10 | 广州本元信息科技有限公司 | 拿放商品的手势识别装置及方法 |
| CN108227935A (zh) * | 2018-02-11 | 2018-06-29 | 北京光年无限科技有限公司 | 一种基于虚拟人的手势交互方法及系统 |
| CN108334858A (zh) * | 2018-02-27 | 2018-07-27 | 上海摩象网络科技有限公司 | 一种利用动作控制智能设备拍摄的方法及系统 |
| CN108259722A (zh) * | 2018-02-27 | 2018-07-06 | 厦门美图移动科技有限公司 | 成像方法、装置及电子设备 |
| CN108510471A (zh) * | 2018-03-05 | 2018-09-07 | 广东欧珀移动通信有限公司 | 图像牙齿矫正方法、装置和终端设备 |
| CN108335276A (zh) * | 2018-03-05 | 2018-07-27 | 广东欧珀移动通信有限公司 | 图像美颜方法、装置和终端设备 |
| CN110415062A (zh) * | 2018-04-28 | 2019-11-05 | 香港乐蜜有限公司 | 基于服饰试穿的信息处理方法和装置 |
| WO2019218521A1 (en) * | 2018-05-14 | 2019-11-21 | Boe Technology Group Co., Ltd. | Gesture recognition apparatus, control method thereof, and display apparatus |
| US11314334B2 (en) | 2018-05-14 | 2022-04-26 | Boe Technology Group Co., Ltd. | Gesture recognition apparatus, control method thereof, and display apparatus |
| CN110162204A (zh) * | 2018-10-09 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 触发设备功能的方法、装置以及控制进行图像捕获的方法 |
| WO2020221188A1 (zh) * | 2019-04-30 | 2020-11-05 | 深圳市光鉴科技有限公司 | 基于同步ToF离散点云的3D成像装置及电子设备 |
| CN112825013A (zh) * | 2019-11-20 | 2021-05-21 | 百度在线网络技术（北京）有限公司 | 终端设备的控制方法和装置 |
| CN112492211A (zh) * | 2020-12-01 | 2021-03-12 | 咪咕文化科技有限公司 | 一种拍摄方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107493428A (zh) | 拍摄控制方法和装置 | |
| CN107368730B (zh) | 解锁验证方法和装置 | |
| CN107480613B (zh) | 人脸识别方法、装置、移动终端和计算机可读存储介质 | |
| CN107025635B (zh) | 基于景深的图像饱和度的处理方法、处理装置和电子装置 | |
| CN107623817B (zh) | 视频背景处理方法、装置和移动终端 | |
| CN107797664B (zh) | 内容显示方法、装置及电子装置 | |
| CN107734267B (zh) | 图像处理方法和装置 | |
| CN107734264B (zh) | 图像处理方法和装置 | |
| CN107610080B (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN107564050B (zh) | 基于结构光的控制方法、装置和终端设备 | |
| CN107464280B (zh) | 用户3d建模的匹配方法和装置 | |
| CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
| CN107483845B (zh) | 拍照方法及其装置 | |
| CN107483815B (zh) | 运动物体的拍摄方法和装置 | |
| CN107481317A (zh) | 人脸3d模型的面部调整方法及其装置 | |
| CN107610127B (zh) | 图像处理方法、装置、电子装置和计算机可读存储介质 | |
| CN107452034B (zh) | 图像处理方法及其装置 | |
| CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| CN107705278B (zh) | 动态效果的添加方法和终端设备 | |
| CN107623832A (zh) | 视频背景替换方法、装置和移动终端 | |
| CN107491744B (zh) | 人体身份识别方法、装置、移动终端和存储介质 | |
| CN107509043B (zh) | 图像处理方法、装置、电子装置及计算机可读存储介质 | |
| CN106991378B (zh) | 基于深度的人脸朝向检测方法、检测装置和电子装置 | |
| EP3680857A1 (en) | Image processing method and apparatus, electronic device and computer-readable storage medium | |
| CN107592490A (zh) | 视频背景替换方法、装置和移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171219 |