CN103312971A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法，在摄影了增强现实标记的图像内重叠显示虚拟对象时，能使虚拟对象容易地显示于用户所希望的朝向。CPU（1）从映在摄像元件（17B）上的现实图像之中确定AR标记的朝向作为摄影方向，以虚拟对象的正面朝向对AR标记预先决定的基准方向（例如正面）的状态为基准，以虚拟对象的正面朝向摄影方向的方式使虚拟对象旋转并重叠显示于触摸输入显示部（16）。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及对摄影的现实图像内的增强现实标记进行识别并将虚拟对象重叠显示在现实图像上的图像处理装置及图像处理方法。

背景技术

一般，智能手机等便携式终端装置的多功能化在发展，搭载着相机功能（摄像功能）之外，还搭载着AR（Augmented Reality：增强现实）这样的图像处理功能等。通过该功能，将三维的虚拟对象（例如角色图像等）重叠显示在使用相机功能摄影的图像内的规定位置上。即，在被摄体的位置或其附近配置着由打印物构成的增强现实标记（AR标记：在正方形的黑框内绘画了白图形的标记）的状态下，当该被摄体通过摄像功能被摄影时，便携式终端装置通过分析该摄影图像而识别其中所含的AR标记，在该AR标记的位置上重叠显示虚拟对象。这样一来，在AR标记的位置上重叠显示虚拟对象的现有技术中，根据AR标记的图形的大小、倾斜来检测设置了标记的三维的位置及方向，据此决定摄影的图像上的虚拟对象的显示位置及显示方向（参照日本特开平2005－234757号公报）。

但是，在识别摄影图像内的AR标记的情况下，对应于构成AR标记的黑框内的白图形来判断AR标记的规定方向（例如正面），决定虚拟对象的显示方向为该AR标记的正面。图6是例示了虚拟对象（角色）的正面（脸）朝向与AR标记的正面相同的方向进行显示的情况的图。在该例子中，AR标记是在正方形的黑框内配置了任意形状的白区域的图形的构成，黑的区域和白的区域为规定比例。

这种情况下，便携式终端装置分析摄影的图像（现实图像），着眼于其中的AR标记的黑框部分来检测AR标记的区域（黑框的区域）之后，通过确定在AR标记内绘画的白区域的图形来识别AR标记。另外，根据白区域的图形形状判断AR标记的正面，虚拟对象朝向与该正面相同的方向地在图像上的AR标记的位置上重叠显示三维的虚拟对象。

但是，如上所述，由于以三维的虚拟对象的正面朝向与AR标记的正面相同的方向的方式，对虚拟对象进行旋转控制并重叠显示，例如，摄影者的位置离开AR标记的正面，而从AR标记的背面方向进行摄影的情况下，朝向后面的虚拟对象被显示。而且，从AR标记的侧面方向进行摄影的情况下，朝向侧面的虚拟对象被显示。其结果，从AR标记的正面方向进行的摄影困难的情况下，用户只能看到朝向后面的虚拟对象或横朝向的虚拟对象。

发明内容

本发明要解决的问题是，在拍摄了增强现实标记的图像内重叠显示虚拟对象的情况下，能使虚拟对象容易地显示在用户所希望的朝向。

根据本发明，提供一种图像处理装置，其特征在于，包括：

摄像部,具备摄像元件；

检测部，从映在上述摄像元件上的现实图像之中检测增强现实标记；

识别部，对由上述检测部检测出的增强现实标记进行识别；

摄影方向确定部，在由上述识别部识别出增强现实标记的情况下，确定摄影方向；及

显示控制部，以对上述增强现实标记预先决定的基准方向为基准，根据由上述摄影方向确定部确定的摄影方向，以虚拟对象朝向规定方向的方式进行控制并重叠显示。

附图说明

图1是示出附带相机功能的多功能型便携式电话机1和观测植物的培育环境的观测装置2的图。

图2是示出将本发明作为图像处理装置适用的附带相机功能的多功能型便携式电话机1的基本的构成要件的方框图。

图3A、图3B是用于说明增强现实标记（AR标记）的朝向和针对AR标记的视点方向的图。

图4A～图4C是示出虚拟对象（角色图像）的显示例的图。

图5是用于说明对应于增强现实感摄影模式的切换而开始执行的增强现实感处理的流程图。

图6是用于说明现有技术的图，是例示出虚拟对象（角色）的正面（脸）朝向与增强现实标记（AR标记）的正面相同的方向进行显示的情况的图。

具体实施方式

以下，参照图1～图5说明本发明的实施方式。

本实施方式是将本发明作为图像处理装置适用的附带相机功能的多功能型便携式电话机（智能手机）。图1是示出附带相机功能的多功能型便携式电话机1和观测植物的培育环境的观测装置2的图。

该多功能型便携式电话机1为具备通话功能、电子邮件功能、因特网连接功能、相机功能的基本功能之外，还具备在使用相机功能而摄影的现实图像内合成规定的虚拟对象（例如角色图像）进行显示的增强现实感处理功能、及能与观测装置2之间通过近距离通信进行数据的收发的近距离通信功能等的构成。

观测装置2具备对树木、花草等植物的生长环境（土壤的水分量，周围温度等）进行检测的各种传感器之外，还具备能与多功能型便携式电话机1之间通过近距离通信进行数据的收发的近距离通信功能等。另外，该框体整体形成细长状的中空的棒体。另外，该棒体形成为尖端越来越细状，为将其下部埋入花盆3的土壤内的（插入）构成，在其下部侧的表面形成多个细孔2a用作通气、通水，而且，在上端面打印配置用于显示虚拟对象的增强现实标记（AR标记）2b。而且，AR标记不限于直接打印到观测装置2，也可以将打印着AR标记的贴纸贴在观测装置2的上端面。而且，在观测装置2的上端的一侧部突出形成（一体成型）弧状的把手2c。

图2是示出该附带相机功能的多功能型便携式电话机1的基本的构成要件的方框图。

CPU11是如下中央运算处理装置：通过从具有二次电池（省略图示）的电源部12来的电力供给进行动作，对应于保存部13内的各种程序来控制该便携式电话机1的全体动作。在保存部13中，设有程序存储器M1、工作存储器M2等。程序存储器M1容纳用于对应于图5所示的动作次序来实现本实施方式的程序和各种应用等之外，还保存其所需要的信息等。工作存储器M2是暂时保存便携式电话机1动作所要的各种信息（例如与摄影的图像、标志、计时器等有关的信息）的工作区域。而且，保存部13可以是包含例如SD卡、IC卡等装卸自如的可移动型存储器（记录介质）的构成，而且，也可以是其一部分包含未图示的规定的外部服务器的区域。

无线通信部14是在声音通话功能、电子邮件功能、因特网连接功能时使用的广域通信部，在通话功能动作时经由声音信号处理部15从通话用扬声器SP进行声音输出，而且，从声音信号处理部5取入来自通话用麦克风MC的输入声音数据后进行发信输出。触摸输入显示部16是如下装置：具有显示部16A和触摸输入部16B的构成，通过在高精细的显示部16A的前面配置触摸输入部16B，分配并配置软件键（触摸键）显示其功能名，或者感知手指等进行的触摸操作来输入与该触摸操作相对应的数据。显示部16A是高精细液晶显示器等，是将使用相机功能时摄影的图像作为实时取景图像（监视图像）进行显示的取景窗画面。

摄像部17是构成能对被摄体高精细地摄影的相机部的构件。具备具有变焦透镜和聚焦透镜（省略图示）等的透镜部17A、CCD或CMOS等摄像元件17B、及具有照度计等各种传感器的传感器部17C。是还具有模拟处理电路17D和数字信号处理电路17E的构成，其中，模拟处理电路17D对用摄像元件17B进行了光电变换的图像信号（模拟值的信号），进行色分离、RGB的每种色成分的增益调整等变换成数字值的数据，数字信号处理电路17E对通过该模拟处理电路17D进行了数字变换的图像数据实施颜色插值处理（去马赛克处理）等。而且，在本实施方式中，例如，能切换成夜景摄影模式、夕阳摄影模式、增强现实感摄影模式等各种摄影模式。该增强现实感摄影模式是使用增强现实感处理功能进行摄影的摄影模式。而且，用户在增强现实感处理功能启动时，通过摄像部17包含观测装置2的上端面（AR标记）地进行扩大摄影。

图3A和图3B是用于说明增强现实标记（AR标记）的朝向和针对该AR标记的视点方向的图。

在图中，箭头方向表示用户看AR标记的视点方向（摄影方向），图3A是从正面（预先决定的基准方向：默认朝向）看AR标记的情况，图3B是从背面看AR标记的情况。在本实施方式中，从映在摄像元件17B上的现实图像之中检测出AR标记之后，识别AR标记来检测该AR标记的位置、大小、姿势（姿势检测部），对应于该位置、大小、姿势来确定虚拟对象的显示尺寸，显示位置、显示方向（朝向）。

另外，以虚拟对象的正面朝向与AR标记的正面相同的方向的方式，在现实图像内的AR标记的位置上重叠显示该虚拟对象。这种情况下，在二维的现实图像内绘画三维的虚拟对象。而且，将如上所述以虚拟对象的正面朝向AR标记的正面的方式显示虚拟对象的模式称作默认方向显示模式。

图4A是示出在上述默认方向显示模式下，从图3A的方向即AR标记的正面（默认朝向）看的情况（摄影的情况）下的虚拟对象的显示例的图。在此，虚拟对象例示了将植物（球根）拟人化（角色化）的对象，在上述默认方向显示模式中，虚拟对象（角色图像）的脸（正面）朝向与AR标记的正面相同的方向地进行显示，所以其脸（正面）朝向摄影方向。图4B是示出在默认方向显示模式中，从图3B的方向、AR标记的背面看的情况（摄影的情况）下的虚拟对象的显示例的图。在此，虚拟对象以其脸（正面）朝向与AR标记的正面相同的方向的方式进行显示，所以之后身影（背面）朝向摄影方向。

在本实施方式中，能从上述默认方向显示模式任意地切换成摄影方向显示模式。在该摄影方向显示模式中，从AR标记的姿势（标记的朝向等）确定摄影者的位置方向（摄影方向）。是以虚拟对象的正面朝向AR标记的正面（默认朝向）的状态为基准，虚拟对象的正面朝向摄影方向地使虚拟对象旋转并重叠显示的模式（视点朝向显示模式）。即，为了几何学地匹配现实图像和虚拟对象，通过现实图像内的AR标记的位置、姿势来推测用户（摄影者）的位置，姿势，但在默认方向显示模式和摄影方向显示模式中，改变现实图像和虚拟对象的校正方法。

其结果，在摄影方向显示模式中，计算在映在摄像元件17B上的现实图像内中AR标记的正面（默认朝向）无论是怎样的朝向，虚拟对象的正面都正对摄影者地使该虚拟对象旋转的旋转角度（计算从AR标记的默认朝向（正面）到摄影方向为止的角度），在使该虚拟对象旋转该角度之后在现实图像内的AR标记的位置重叠显示。

图4C是示出在切换成摄影方向显示模式的时点，从AR标记的背面看的情况（摄影的情况）下的虚拟对象的显示例的图。如图所示，即使在从AR标记的背面摄影的情况下，虚拟对象的脸（正面）也朝向摄影方向。同样，即使从AR标记的右侧面、左侧面等看AR标记的情况（摄影的情况）下，虚拟对象的脸（正面）也朝向摄影方向。而且，当解除摄影方向显示模式并切换成上述默认方向显示模式时，回到虚拟对象以其脸（正面）朝向与AR标记的正面相同的方向的方式进行显示的显示状态。

接着，参照图5所示的流程图来说明本实施方式的多功能型便携式电话机的动作概念。在此，该流程图所记述的各功能，以可读取的程序代码的形态容纳，逐次执行与该程序代码相对应的动作。而且，能逐次执行经由网络等传输媒体传输来的与上述程序代码相对应的动作。而且，图5是示出多功能型便携式电话机的全体动作之中的本实施方式的特征部分的动作概要的流程图，从该图5的流程退出时，返回示出多功能型便携式电话机的全体动作的主流程（省略图示）。

图5是用于说明对应于增强现实感摄影模式的切换而开始执行的增强现实感处理的流程图。

首先，CPU11在通过用户操作等切换成增强现实感摄影模式时，使增强现实感摄影应用（增强现实感处理功能）启动（步骤S1），之后，取得映在摄像元件17B上的图像（现实图像）（步骤S2），将该取得的现实图像对应于其亮度而灰度级化（步骤S3）。另外，对该灰度级的图像进行了二值化处理，例如，基于适应型二值化法的二值化处理（步骤S4）之后，根据该二值化图像进行检测AR标记的区域的处理（步骤S5）（检测部）。这种情况下，例如，将正方形的黑框作为AR标记的区域检测。

在这样检测AR标记的区域之后，进行识别AR标记的处理（步骤S6）（识别部）。这种情况下，确定被绘画在AR标记内的白区域的图形，将该白区域的图像分割成多个区域之后，用0～255的数值进行数据化（图形文件化）。另外，进行与登录的图形（默认的图形）比较的模板匹配并进行AR标记的识别。其结果，若不能识别AR标记（在步骤S7中为“否”），则返回上述步骤S2取得下一帧的现实图像。正常地识别AR标记的动作完成时（在步骤S7中为“是”），使用由旋转成分和并行成分构成的4行4列的矩阵（变换矩阵）进行从标记坐标系变换为相机坐标系的处理（步骤S8）。

另外，调查显示切换按钮（切换部）（省略图示）是否被操作（步骤9）。在此，显示切换按钮是从虚拟对象的正面朝向与AR标记的正面相同的方向（默认朝向）地显示虚拟对象的显示模式（默认方向显示模式），向虚拟对象的正面朝向摄影方向地显示虚拟对象的显示模式（摄影方向显示模式）切换的按钮。若显示切换按钮未被操作，保持原样的默认方向显示模式（在步骤S9中为“否”），则确定被绘画在AR标记内的白区域的图形，检测该图形部分的位置、大小、姿势（步骤S10）。

接着，将虚拟对象的朝向决定为与AR标记的正面相同的方向（默认朝向）（步骤S11）。之后，转移到步骤S14，对上述相机坐标系适用射影矩阵（projection matrix）而变换成具有纵深感的clip（片段）坐标系。进而变换成屏幕坐标系进行将三维的虚拟对象重叠显示在现实图像内的AR标记的位置上的三维绘画处理（步骤S15）。这种情况下，绘画的虚拟对象成为与上述标记图形的大小成比例，虚拟对象的正面朝向与AR标记的正面相同的方向。

现在，虽然在从AR标记的正面进行了摄影的情况下，如图4A所示，虚拟对象的脸（正面）朝向摄影方向，但在从AR标记的背面进行了摄影的情况下，如图4B所示，虚拟对象的背面变成朝向摄影方向。另外，调查是否通过用户操作指示了增强现实感处理的结束（步骤S16），在指示了该结束时（在步骤S16中为“是”），从图5的流程退出，但若没有指示增强现实感处理的结束（在步骤S16中为“否”），则返回上述步骤S2。

另一方面，在显示切换按钮被操作时，即，在从默认方向显示模式切换成摄影方向显示模式时（在步骤S9中为“是”），确定被绘画在AR标记内的白区域的图形，检测该图形部分的位置、大小、姿势（步骤S12）。这种情况下，以增强现实标记的正面（默认朝向）为基准，与映在摄像元件7B上的现实图像内的标记的形状及其倾斜相对应的标记的朝向，为摄影者的位置方向（摄影方向）（摄影方向确定部）。

另外，计算从AR标记的默认朝向（正面）到标记的当前的朝向（摄影方向）为止的旋转角度，决定虚拟对象的朝向（步骤S13）。之后，在上述相机坐标系中使用射影矩阵，变换成具有纵深感的clip（片段）坐标系（步骤S14）。进而变换成屏幕坐标系进行将三维的虚拟对象重叠在现实图像内的AR标记的位置上进行合成显示的三维绘画处理（步骤S15）（显示控制部）。这样一来，在摄影方向显示模式中，在从AR标记的背面进行摄影的情况下，如图4C所示，虚拟对象的脸（正面）朝向摄影方向。另外，在指示了增强现实感处理的结束时（在步骤S16中为“是”），从图5的流程退出，但若未指示该结束（在步骤S16中为“否”），则返回上述步骤S2。

如上所述，在本实施方式中，多功能型便携式电话机1以虚拟对象的正面朝向对AR标记预先决定的基准方向（例如正面）的状态为基准，以虚拟对象的正面朝向摄影方向的方式使虚拟对象旋转并重叠显示。因此，在本实施方式中，能使虚拟对象容易地显示在用户所希望的朝向。通过该构成，用户能不改变摄影的位置（视点位置）地看希望的朝向的虚拟对象。

而且，在本实施方式中，能从默认方向显示模式向摄影方向显示模式切换，所以能从虚拟对象的正面朝向AR标记的正面地重叠显示的状态，切换成虚拟对象的正面朝向摄影方向地使虚拟对象旋转并重叠显示的状态。这样一来，默认方向显示模式和摄影方向显示模式中，通过改变现实图像和虚拟对象的校正方法，能进行与用户的希望相对应的显示。

而且，计算从AR标记的默认朝向（正面）到标记的当前的朝向（摄影方向）为止的旋转角度来决定虚拟对象的朝向，使虚拟对象旋转该角度并重叠显示。其结果，能以AR标记的朝向为基准来控制虚拟对象的朝向。

而且，AR标记安装在对花盆内的植物的生长环境进行观测的观测装置2中，在该观测装置2安装的AR标记被摄影时，从映在摄像元件17B上的现实图像之中检测AR标记，所以对于植物用的观测装置2是有效的。即，在观测装置2被插入花盆内的土壤中的状态下，若为了改变AR标记的朝向而重插调换观测装置2，或转动观测装置2，则与土壤的接触状态变化，生长环境改变。这样的情况，用户不动观测装置2（不改变AR标记的朝向），就能看到希望的朝向的虚拟对象。而且，在花盆设置于窗边的情况（摄影方向被限制的情况）下，不改变摄影的位置（视点位置）就能看到希望的朝向的虚拟对象。

而且，在上述实施方式中，计算从AR标记的默认朝向（正面）到标记的当前的朝向（摄影方向）为止的旋转角度，据此决定虚拟对象的朝向。也可以取代计算旋转角度，例如使用附带方位计（电子罗盘）的加速度传感器（省略图示），检测多功能型便携式电话机1的框体（装置本体）的姿势，根据该装置本体的姿势来决定虚拟对象的朝向。在这种情况下，仅通过改变图5的流程的该部分也能实现同样的处理，也可以将图5的步骤S13的“计算旋转角度来决定虚拟对象的朝向”，替换成“根据附带电子罗盘的加速度传感器的检测结果（装置本体的姿势）来决定虚拟对象的朝向”。即，通过根据附带电子罗盘的加速度传感器的检测结果（装置本体的姿势）使登录的默认的图形旋转来变更虚拟对象的朝向即可。

这样一来，若根据附带电子罗盘的加速度传感器的检测结果（装置本体的姿势）来决定虚拟对象的朝向，则能不对摄影的图像进行图形文件化，而根据附带电子罗盘的加速度传感器的检测结果（装置本体的姿势），仅使登录的默认的图形文件三维旋转就能改变虚拟对象的朝向，所以不需要摄影的图像的图形文件化，不存在附加噪声的可能性，能正确地变更虚拟对象的朝向。

而且，在上述实施方式中，在默认方向显示模式下，虚拟对象的脸（正面）朝向与AR标记的正面相同的方向进行显示，但也可以朝向与AR标记的背面相同的方向进行显示，AR标记的默认朝向是任意的。

而且，在上述实施方式中，在摄影方向显示模式下，虚拟对象的脸（正面）朝向摄像方向进行显示，但不限于此，左右都可以，而且背面也可以。还有，也可以是通过角度进行设定等规定朝向。另外虚拟对象的方向也可以由用户指定。

而且，在上述实施方式中，将AR标记安装在对花盆内的植物的生长环境进行观测的观测装置2的上表面，但也可以安装在植物的根部、花盆的外侧等，当然不限于与植物有关的AR标记。

而且，在上述实施方式中，虚拟对象例示了将植物（球根）角色化的对象，但当然不限于此。而且，也可以对应于AR标记的种类预先保存多种虚拟对象，显示与通过标记识别而被确定的AR标记对应关联的虚拟对象。

而且，在上述实施方式中，例示了适用于附带相机功能的多功能型便携式电话机（智能手机）中的情况，但不限于此，也可以使附带相机功能的个人计算机、PDA（个人便携式型信息通信机器）、音乐播放器、电子游戏机等，当然也可以是数字相机本身。

而且，在上述实施方式中所示的所谓“装置”、“部”也可以按功能分离成多个框体，不限于单一框体。而且，上述流程图中记述的各步骤不限于时间序列的处理，也可以并行处理多个步骤，或单个独立处理。

以上，对本发明的实施方式进行了说明，但本发明不限于此，包括权利要求书记载的发明及其等同的范围。

Claims (8)

1.一种图像处理装置，其特征在于，包括：

摄像部,具备摄像元件；

检测部，从映在上述摄像元件上的现实图像之中检测增强现实标记；

识别部，对由上述检测部检测出的增强现实标记进行识别；

摄影方向确定部，在由上述识别部识别出增强现实标记的情况下，确定摄影方向；及

显示控制部，以对上述增强现实标记预先决定的基准方向为基准，根据由上述摄影方向确定部确定的摄影方向，以虚拟对象朝向规定方向的方式进行控制并重叠显示。

2.根据权利要求1所记载的图像处理装置，其中，

在由上述识别部识别出增强现实标记的情况下，上述摄影方向确定部将上述增强现实标记的朝向确定为摄影方向。

3.根据权利要求1所记载的图像处理装置，其中，

还具备切换部，该切换部在由上述识别部识别出增强现实标记的情况下，对以虚拟对象的正面朝向与该增强现实标记的正面相同的方向的方式使虚拟对象重叠显示的状态、与以虚拟对象的规定方向朝向由上述摄影方向确定部确定的摄影方向的方式使虚拟对象旋转并重叠显示的状态进行切换。

4.根据权利要求1所记载的图像处理装置，其中，

上述显示控制部计算从对上述增强现实标记预先决定的基准方向到由上述摄影方向确定部确定的摄影方向为止的角度，使虚拟对象旋转该角度并重叠显示。

5.根据权利要求1所记载的图像处理装置，其中，

还设有姿势检测部，该姿势检测部检测上述图像处理装置的姿势；

上述显示控制部根据通过上述姿势检测部检测出的姿势，以虚拟对象的正面朝向由上述摄影方向确定部确定的摄影方向的方式，使虚拟对象旋转并重叠显示。

6.根据权利要求1所记载的图像处理装置，其中，

上述规定方向是用户设定的方向。

7.根据权利要求1所记载的图像处理装置，其中，

上述增强现实标记安装于对花盆内的植物的生长环境进行观测的观测装置；

在通过上述摄像部摄影了上述观测装置所安装的增强现实标记时，上述检测部从映在上述摄像元件上的现实图像之中检测增强现实标记。

8.一种图像处理方法，其特征在于，包括如下步骤：

检测步骤，从映在摄像元件上的现实图像之中检测增强现实标记；

识别步骤，对上述检测出的增强现实标记进行识别；

摄影方向确定步骤，在识别了上述增强现实标记的情况下确定摄影方向；

显示控制步骤，以对上述增强现实标记预先决定的基准方向为基准，根据上述确定的摄影方向，以虚拟对象朝向规定方向的方式进行控制并重叠显示。

Images