CN104243807A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN104243807A
CN104243807A CN201410268323.9A CN201410268323A CN104243807A CN 104243807 A CN104243807 A CN 104243807A CN 201410268323 A CN201410268323 A CN 201410268323A CN 104243807 A CN104243807 A CN 104243807A
Authority
CN
China
Prior art keywords
appearance
mark
mirror
image processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410268323.9A
Other languages
English (en)
Other versions
CN104243807B (zh
Inventor
半田哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN104243807A publication Critical patent/CN104243807A/zh
Application granted granted Critical
Publication of CN104243807B publication Critical patent/CN104243807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)

Abstract

本发明涉及图像处理装置及图像处理方法，能够利用一个标记进行不同的多种显示。图像处理装置(1)CPU(10)根据来自摄像机(16)的摄像图像，识别AR标记(5)入镜到了显示部(14)的画面内的情况，并且识别该AR标记(5)入镜的方向，使显示部(14)进行与AR标记(5)入镜的方向对应的规定显示。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置及图像处理方法。
背景技术
近年来，增强现实感系统(AR(Augmented Reality：增强现实)系统)已经得到实际应用，该系统采用了使虚拟物体如同存在于实际空间内那样进行叠加的增强现实技术。例如，公知有这样的增强现实感系统：在拍摄包含AR用标记的图像时，对应该标记的种类及所配置的位置，将虚拟物体图像合成在摄影图像中进行显示。
但是，在使用了标记的增强现实感系统中，分别需要与想要显示的虚拟物体图像的种类等对应的标记。因此，例如在专利文献1中记载了这样的技术：将多种标记和虚拟物体图像建立对应地存储在标记登载用便携式终端中，并在标记登载用便携式终端显示用户选择的标记，由此即使不随身携带多个标记的印刷物等，也能够从多种虚拟物体中选择要显示的虚拟物体。
【现有技术文献】
【专利文献】
【专利文献1】日本特开2005－250950号公报
但是，在专利文献1中也是，与一个AR标记建立对应的虚拟物体图像为一个，为了进行其他显示，需要由用户进行选择操作来切换在标记登载用便携式终端显示的标记的种类。
发明内容
本发明的课题是能够利用一个标记进行不同的多种显示。
为了解决上述课题，技术方案1所记载的发明的图像处理装置中，具有：摄像部；显示部，显示由所述摄像部取得的摄像图像；入镜识别部，识别规定的标记入镜到了所述显示部的画面内的情况；入镜方向识别部，识别所述标记入镜的方向；以及控制部，使所述显示部进行与所述标记入镜的方向对应的规定显示。
技术方案3所记载的发明的图像处理装置中，具有：摄像部；显示部，显示由所述摄像部取得的摄像图像；入镜识别部，识别规定的标记入镜到了所述显示部的画面内的情况；出镜识别部，识别所述标记从所述显示部的画面出镜了的情况；出镜方向识别部，识别所述标记出镜的方向；存储部，存储所述标记出镜的方向；以及控制部，当在识别出所述标记的出镜后识别出所述标记的入镜时，使所述显示部进行与在所述存储部中存储的所述标记出镜的方向对应的规定显示。
技术方案8所记载的发明的图像处理装置中，具有：摄像单元；显示单元，显示由所述摄像单元取得的摄像图像；标记识别单元，在所述显示单元的画面内识别规定的标记；出镜方向识别单元，识别所述标记出镜的方向；以及控制单元，使所述显示单元进行与所述标记出镜的方向对应的规定显示。
技术方案9所记载的发明的图像处理方法在具备摄像部和显示由所述摄像部取得的摄像图像的显示部的图像处理装置中使用，其中，该图像处理方法包括：入镜识别步骤，识别规定的标记入镜到了所述显示部的画面内的情况；入镜方向识别步骤，识别所述标记入镜的方向；以及控制步骤，使所述显示部进行与所述标记入镜的方向对应的规定显示。
技术方案10所记载的发明的图像处理方法在具备摄像部和显示由所述摄像部取得的摄像图像的显示部的图像处理装置中使用，其中，该图像处理方法包括：入镜识别步骤，识别规定的标记入镜到了所述显示部的画面内的情况；出镜识别步骤，识别所述标记从所述显示部的画面出镜了的情况；出镜方向识别步骤，识别所述标记出镜的方向；存储步骤，存储所述标记出镜的方向；以及控制步骤，当在识别出所述标记的出镜后识别出所述标记的入镜时，使所述显示部进行与在所述存储步骤中存储的所述标记出镜的方向对应的规定显示。
技术方案11所记载的发明的图像处理方法在具备摄像部和显示由所述摄像部取得的摄像图像的显示部的图像处理装置中使用，其中，该图像处理方法包括：标记识别步骤，在所述显示部的画面内识别规定的标记；出镜方向识别步骤，识别所述标记出镜的方向；以及控制步骤，使所述显示部进行与所述标记出镜的方向对应的规定显示。
发明效果
根据本发明，能够利用一个标记进行不同的多种显示。
附图说明
图1是表示本实施方式的图像处理装置的功能结构的框图。
图2是表示入镜/出镜(frame-in/frame-out)信息存储部的数据存储例的图。
图3是表示动作模式数据库的数据存储例的图。
图4是表示由图1的CPU执行的显示控制处理的流程图。
图5是用于说明识别AR标记入镜的方向及出镜的方向的方法的图。
图6A是表示显示控制处理的显示动作的一例的图。
图6B是表示显示控制处理的显示动作的一例的图。
图6C是表示显示控制处理的显示动作的一例的图。
图6D是表示显示控制处理的显示动作的一例的图。
图6E是表示显示控制处理的显示动作的一例的图。
图6F是表示显示控制处理的显示动作的一例的图。
图7是表示在手持式的移动型终端中的入镜、出镜的操作方法的图。
图8是表示在眼镜型HMD中的入镜、出镜的操作方法的图。
标号说明
1图像处理装置；10CPU；11 RAM；111入镜/出镜信息存储部；12存储部；121程序存储部；122动作模式数据库；13通信部；14显示部；15操作部；16摄像机；17当前时刻取得部。
具体实施方式
下面，参照附图详细说明本发明的优选实施方式。另外，本发明不限于图示例。
<图像处理装置1的结构>
首先，说明本实施方式的图像处理装置1的结构。
作为图像处理装置1，例如能够采用智能电话、平板终端、笔记本PC(Personal Computer：个人计算机)、手持终端等移动型终端。
在图1中示出了图像处理装置1的功能结构例。如图1所示，图像处理装置1构成为具有CPU(Central Processing Unit：中央处理单元)10、RAM(Random Access Memory：随机存取存储器)11、存储部12、通信部13、显示部14、操作部15、摄像机16、当前时刻取得部17等，各部分通过总线18相连接。
CPU 10读出在存储部12中存储的程序并展开到RAM 11的工作区中，按照所展开的程序执行以后述的显示控制处理为首的各种处理。CPU 10通过执行显示控制处理而作为入镜识别单元、入镜方向识别单元、出镜识别单元、出镜方向识别单元、标记识别单元、控制单元发挥作用。
RAM 11是易失性的存储器，具有存储由CPU 10执行的各种程序和有关这些各种程序的数据等的工作区。
并且，RAM 11具有入镜/出镜信息存储部111，该入镜/出镜信息存储部111用于存储AR(Augmented Reality：增强现实)标记5(参照图6)入镜的方向及出镜的方向的履历信息。
在此，AR标记5是指用于规定在显示部14的画面上显示的信息(例如虚拟物体图像等)的图像。所谓入镜(frame-in)是指在将由摄像机16取得的摄像图像显示于显示部14的画面上的情况下，AR标记5从AR标记5不在该画面上的状态进入到该画面上。所谓出镜(frame-out)是指在将由摄像机16取得的摄像图像显示于显示部14的画面上的情况下，使原来显示于显示部14的画面上的AR标记5从该画面上消失(出去)。
图2表示入镜/出镜信息存储部111的数据保存例。如图2所示，入镜/出镜信息存储部111例如具有“序号”、“动作内容”、“方向”这些字段。“序号”用于保存动作被进行的顺序。“动作内容”用于保存表示动作是入镜还是出镜的信息。“方向”用于保存表示入镜或者出镜的方向的信息。
存储部12由HDD(Hard Disk Drive：硬盘驱动)、半导体的非易失性存储器等构成。例如，如图1所示，在存储部12设有程序存储部121、动作模式数据库122。
在程序存储部121中存储有由CPU 10执行的系统程序和各种处理程序、执行这些程序所需要的数据等。例如，在程序存储部121中存储有AR标记应用程序。这些程序以计算机能够读取的程序码的形式被保存在程序存储部121中。CPU 10按照该程序码逐次执行动作。
如图3所示，在动作模式数据库122中，将AR标记5的入镜/出镜的一系列的动作模式的信息、和与该动作模式对应的显示信息(表示与该动作模式相应地显示于显示部14的内容的信息)建立对应地保存。动作模式的信息包括构成一系列的动作的各动作的内容(入镜或出镜)、序号及其方向(例如从左、从右、从上、从下)。另外，出镜是在进行入镜后进行的动作，因而奇数序号的动作表示入镜，偶数序号的动作表示出镜。另外，在动作模式数据库122中，将仅由来自各方向的第一次入镜构成的动作模式、和与各自的入镜的方向的动作对应的显示信息建立对应地保存。
另外，在存储部12存储有表示AR标记5的图像图案的图案文件。
通信部13由LAN(Local Area Network：局域网)适配器和路由器等构成，经由LAN等通信网络与外部装置进行通信连接，并进行数据发送及接收。
显示部14由LCD(Liquid Crystal Display：等离子显示器)等构成，是按照来自CPU 10的显示控制信号在画面上进行各种显示的显示单元。
操作部15具有光标键、各种功能键、快门键，接受用户对各键的按下输入，并将其操作信息输出给CPU 10。并且，操作部15具有以覆盖显示部14的表面的方式将透明电极配置成网格状的触摸屏等，检测被手指和触摸笔等按下的位置，将其位置信息作为操作信息输出给CPU 10。
摄像机16具有镜头、光圈、CCD(Charge Coupled Device：电荷耦合装置)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件，摄像机16是在摄像元件上成像被摄体的光学像，将该像作为电气信号输出给CPU 10的摄像单元。
当前时刻取得部17由RTC(Real Time Clock：实时时钟)等构成，测定当前时间并输出给CPU 10。
<图像处理装置1的动作>
下面，说明本实施方式的图像处理装置1的动作。
图4表示由图像处理装置1执行的显示控制处理的流程图。显示控制处理是在通过操作部15指示了AR标记应用的起动时通过CPU 10与在程序存储部121中存储的AR标记应用程序的协作动作来执行的。
首先，CPU 10使摄像机16起动(步骤S1)。另外，在摄像机16起动后，在显示控制处理的执行过程中，摄像机16每隔规定的时间取得摄像图像。CPU 10将由摄像机16取得的摄像图像与来自当前时刻取得部17的当前时刻建立对应地存储在RAM 11中并且大致实时地显示在显示部14的画面上。
接着，CPU 10等待识别出AR标记5的入镜(步骤S2)。具体地讲，CPU 10对由摄像机16每隔规定的时间而取得的摄像图像进行基于图像处理的AR标记5的识别处理。AR标记5的识别处理能够利用公知的方法来进行。例如，从摄像图像中识别被黑框包围的矩形区域，将被黑框包围的该区域内的图像图案和在存储部12中存储的AR标记5的图案文件进行比较，在一致率为规定的阈值以上的情况下，识别出AR标记5。在从识别出AR标记5的状态成为未识别出AR标记5的状态时，CPU 10识别为AR标记5已入镜。
在识别出AR标记5的入镜时(步骤S2：是)，CPU 10根据在识别出AR标记5的入镜以后从摄像机16取得的多个摄像图像，取得AR标记5的坐标的轨迹，并根据所取得的轨迹识别AR标记5入镜的方向(步骤S3)。
具体地讲，首先CPU 10在摄像图像上设定X轴、Y轴及坐标的原点O(0,0)。然后，如图5所示，根据处于识别出AR标记5的状态的摄像图像、以及之后按照规定的时间间隔由摄像机16取得的n张摄像图像，分别求出AR标记5的中心坐标P1(X，Y)、P2(X，Y)…Pn(X，Y)，对所求出的中心坐标组引划回归曲线L。并且，将在距离处于AR标记5被识别出的状态的摄像图像的中心坐标P1(X，Y)最近的位置处与回归曲线L相交的边E(显示部14的画面框的边)识别为AR标记5入镜的边，将AR标记5入镜的边的方向识别为AR标记5入镜的方向。例如，如果AR标记5入镜的边是左边，则将AR标记5入镜的方向识别为“从左”。
接着，CPU 10在入镜/出镜信息存储部111中存储AR标记5入镜的方向的履历信息(步骤S4)。
接着，CPU 10判定在动作模式数据库122中是否存储有与在RAM 11的入镜/出镜信息存储部111中存储的履历一致的动作模式(步骤S5)。
当判定为在动作模式数据库122中存储有与在入镜/出镜信息存储部111中存储的履历一致的动作模式的情况下(步骤S5：是)，CPU 10根据在动作模式数据库122中与该一致的动作模式建立对应地存储的显示信息，使显示部14进行显示(步骤S6)。即，使显示部14进行与AR标记入镜的方向及出镜的方向的履历对应的规定显示。例如，在被显示于显示部14的摄像图像中的AR标记5的位置处合成显示与动作模式对应的虚拟物体图像。
当判定为在动作模式数据库122中没有存储与在入镜/出镜信息存储部111中存储的履历一致的动作模式的情况下(步骤S5：否)，CPU 10进入步骤S7的处理。即，依旧持续当前显示中的信息的显示。
另外，如上所述，在动作模式数据库122中，将仅由来自各方向的第一次入镜构成的动作模式、和与各自的入镜的方向对应的显示信息建立对应地进行存储。因此，在从初始状态初次识别出入镜时，进行与AR标记5入镜的方向对应的规定显示。
接着，CPU 10等待识别出AR标记5的出镜(步骤S7)。在此期间，CPU 10对由摄像机16每隔规定的时间而取得的摄像图像进行上述的AR标记5的识别处理，在AR标记5变得不被识别出的情况下，识别为AR标记5已出镜。
在识别出AR标记5的出镜时(步骤S7：是)，CPU 10利用内部时钟开始计时(步骤S8)。并且，CPU 10根据AR标记5的出镜被识别出的紧前段时间从摄像机16取得的多个摄像图像，取得AR标记5的坐标的轨迹，根据该取得的轨迹识别AR标记5出镜的方向(步骤S9)。具体地讲，如图5所示，CPU 10根据在RAM 11中存储的、AR标记5变为不被识别出的紧前段时间的n张摄像图像求出AR标记5的中心坐标P11(X，Y)、P12(X，Y)…P1n(X，Y)，对所求出的中心坐标组引划回归曲线L。然后，将在距离AR标记5变为不被识别出的最跟前(即AR标记5最后被识别出)的中心坐标P11(X，Y)最近的位置处与回归曲线L相交的边E(显示部14的画面框的边)识别为AR标记5出镜的边，将AR标记5出镜的边的方向识别为AR标记5出镜的方向。例如，在识别出AR标记5出镜的边是左边的情况下，将AR标记5出镜的方向识别为“从左”。
接着，CPU 10在RAM 11的入镜/出镜信息存储部111中存储所出镜的方向的履历信息(步骤S10)。
接着，CPU 10对出镜后的摄像图像进行AR标记5的识别处理，判定是否识别出AR标记5的入镜(步骤S11)。在判定为识别出AR标记5的入镜的情况下(步骤S11：是)，CPU 10返回步骤S3的处理，反复执行步骤S3～步骤S11的处理。
在判定为未识别出AR标记5的入镜的情况下(步骤S11：否)，CPU 10判定从计时开始起(即从出镜起)是否经过了规定的时间(步骤S12)。
在判定为从计时开始起(即从出镜起)未经过规定的时间的情况下(步骤S12：否)，处理返回步骤S11。
在判定为从计时开始起(即从出镜起)已经过规定的时间的情况下(步骤S12：是)，CPU 10重置(删除)在RAM 11中存储的摄像图像和在入镜/出镜信息存储部111中存储的履历信息(步骤S13)。由此，成为初始状态。
反复执行步骤S2～步骤S13的处理，直到从操作部15输入了AR标记应用的结束指示。在从操作部15输入了AR标记应用的结束指示时(步骤S14：是)，CPU 10使显示控制处理结束。
在此，关于上述的显示控制处理的显示动作，列举图6所示的具体例进行说明。
例如，在图6A所示的初始状态下，在使图像处理装置1向左移动时，如图6B所示，AR标记5从左边入镜。在此，从初始状态起截止到此的动作履历(从左边入镜)如图3所示与在动作模式数据库122中存储的动作模式一致，因而根据与该动作模式建立对应的显示信息(兔子)，在AR标记5的位置显示兔子的图像。
接着，在使图像处理装置1向右移动时，如图6C所示，AR标记5从左边出镜。在使图像处理装置1从此处向左移动时，如图6D所示，AR标记5从左边入镜。在此，从初始状态起截止到此的动作履历(从左边入镜→从左边出镜→从左边入镜)没有存储在动作模式数据库122中。因此，在AR标记5上继续显示兔子。
接着，在使图像处理装置1向上移动时，如图6E所示，AR标记5从下边出镜。在使图像处理装置1从此处向下移动时，如图6F所示，AR标记5从下边入镜。在此，从初始状态起截止到此的动作履历(从左边入镜→从左边出镜→从左边入镜→从下边出镜→从下边入镜)与在动作模式数据库122中存储的动作模式一致，因而根据与该动作模式建立对应的显示信息(猫)，在AR标记5的位置显示猫的图像。
这样，如图7所示，仅仅使图像处理装置1上下左右移动，使AR标记5按照在动作模式数据库122中登记的动作模式而入镜/出镜，即可在显示部14进行与其动作对应的期望的显示。
如以上说明的那样，根据本实施方式的图像处理装置1，CPU 10根据来自摄像机16的摄像图像，识别AR标记5入镜了在显示部14的画面内，并且识别该AR标记5入镜的方向，使显示部14进行与AR标记5入镜的方向对应的规定显示。
因此，即使是同一个AR标记5，也能够根据AR标记5入镜的方向，使显示部14进行不同的多种显示。其结果是，不需要进行用于选择AR标记的种类的选择操作，便利性提高。
另外，CPU 10预先将AR标记5入镜的方向及出镜的方向的履历信息存储在入镜/出镜信息存储部111中，在识别出AR标记5的入镜时，使显示部14进行与在入镜/出镜信息存储部111中存储的AR标记5入镜的方向及出镜的方向的履历对应的规定显示。
因此，即使是同一个AR标记5，也能够根据AR标记5入镜的方向及出镜的方向的一系列的动作，使显示部14进行不同的多种显示。其结果是，不需要进行用于选择AR标记的种类的选择操作，便利性提高。
另外，CPU 10利用图像处理技术进行AR标记5入镜的方向及出镜的方向的识别，因而不需搭载加速度传感器等硬件而能够利用简单的装置结构来实现。
另外，上述实施方式中的记述内容是图像处理装置的优选的一例，但不限于此。
例如，在上述实施方式中，以图像处理装置1是智能电话等手持式的移动型终端的情况为例进行了说明，但也可以是眼镜型HMD(HeadMounted Display：头戴式显示器)等。在这种情况下，如图8所示，能够通过摇头动作进行标记的入镜、出镜，因而能够解放双手地切换在显示部14的显示。
另外，在上述实施方式中，预先将显示信息相对于来自各方向的入镜及出镜进行组合的动作模式建立对应，但也可以是，例如将显示信息与仅入镜的动作模式(例如，从右边入镜→从左边入镜→从上边入镜…等)建立对应地进行存储。并且，也可以是，在识别出AR标记5的入镜时，CPU10判定AR标记5入镜的方向的履历是否与预先存储的动作模式一致，在一致的情况下，根据与该动作模式对应的显示信息进行显示部14的显示。另外，也可以是，例如将显示信息与仅出镜的动作模式(例如，从右边出镜→从左边出镜→从上边出镜…等)建立对应地进行存储。并且，也可以是，在识别出AR标记5的入镜时，CPU 10判定截止到此AR标记5出镜的方向的履历是否与预先存储的动作模式一致，在一致的情况下，根据与该动作模式对应的显示信息进行显示部14的显示。
另外，在上述实施方式中，在从初始状态起的入镜及出镜的一系列的动作履历与在动作模式数据库122中存储的动作模式一致的情况下，进行与该动作模式对应的显示，但不限于此。
例如，也可以是，在存储部12中预先将入镜的方向和与其对应的显示信息建立对应地进行存储，CPU 10每当识别出AR标记5入镜的方向时，根据与所识别出的入镜的方向预先建立对应的显示信息，使显示部14进行与AR标记5入镜的方向对应的规定显示。
另外，例如也可以是，在存储部12中预先将出镜的方向和与其对应的显示信息建立对应地进行存储，CPU 10在识别出AR标记5出镜的方向时，将该识别出的方向存储在RAM 11中，在识别出AR标记5的入镜时，根据与此前刚刚识别出的出镜的方向预先建立对应的显示信息，使显示部14进行与AR标记5此前刚刚出镜的方向对应的规定显示。
另外，例如也可以是，在存储部12中预先将出镜的方向和与其对应的显示信息建立对应地进行存储，CPU 10在识别出AR标记5出镜的方向时，显示与该出镜的方向建立对应的显示信息。此时，以标记5的出镜为触发来显示显示信息，因而即使以后标记5不入镜也能够显示显示信息。
这样，也与上述实施方式相同地，即使是同一个AR标记5，也能够根据AR标记5入镜的方向或出镜的方向，使显示部14进行不同的多种显示。
另外，在上述实施方式中，利用图像处理技术来识别AR标记5入镜的方向及出镜的方向，但如果是搭载了加速度传感器或陀螺仪传感器的图像处理装置1，也可以利用这些传感器识别入镜的方向及出镜的方向。
另外，在上述实施方式中，对基于一个AR标记5的显示进行了说明，但AR标记的种类也可以是多种。在该情况下，动作模式数据库122按照AR标记的每个种类分别存储有多个，使用与识别出的AR标记的种类对应的动作模式数据库进行显示控制处理。
另外，不限于AR标记5入镜的方向及出镜的方向，也可以将从入镜到出镜的时间也作为用于控制显示内容的参数。
另外，作为保存了用于执行上述各处理的程序的计算机可读的介质，除ROM和硬盘等以外，也能够采用闪存等非易失性存储器、CD-ROM等可移动式记录介质。另外，作为经由规定的通信线路提供程序的数据的介质，也可以采用载波(carrier wave)。
另外，关于构成图像处理装置的各装置的具体结构及具体动作，能够在不脱离发明的宗旨的范围内适当变更。
以上说明了本发明的几个实施方式，但本发明的范围不限于上述的实施方式，包括权利要求书所记载的发明的范围及其等同的范围。

Claims (11)

1.一种图像处理装置，其中，具有：
摄像部；
显示部，显示由所述摄像部取得的摄像图像；
入镜识别部，识别规定的标记入镜到了所述显示部的画面内的情况；
入镜方向识别部，识别所述标记入镜的方向；以及
控制部，使所述显示部进行与所述标记入镜的方向对应的规定显示。
2.根据权利要求1所述的图像处理装置，其中，
还具有：
出镜识别部，识别所述标记从所述显示部的画面出镜了的情况；
出镜方向识别部，识别所述标记出镜的方向；以及
存储部，存储所述标记入镜的方向及出镜的方向的履历信息，
所述控制部当在识别出所述标记的出镜后识别出所述标记的入镜时，使所述显示部进行与在所述存储部中存储的所述标记入镜的方向及出镜的方向的履历对应的规定显示。
3.一种图像处理装置，其中，具有：
摄像部；
显示部，显示由所述摄像部取得的摄像图像；
入镜识别部，识别规定的标记入镜到了所述显示部的画面内的情况；
出镜识别部，识别所述标记从所述显示部的画面出镜了的情况；
出镜方向识别部，识别所述标记出镜的方向；
存储部，存储所述标记出镜的方向；以及
控制部，当在识别出所述标记的出镜后识别出所述标记的入镜时，使所述显示部进行与在所述存储部中存储的所述标记出镜的方向对应的规定显示。
4.根据权利要求1所述的图像处理装置，其中，
所述入镜方向识别部根据在识别出所述标记的入镜以后从所述摄像部取得的多个摄像图像，取得识别出所述标记的入镜后的所述标记的坐标的轨迹，并根据该取得的轨迹识别所述标记入镜的方向。
5.根据权利要求2所述的图像处理装置，其中，
所述入镜方向识别部根据在识别出所述标记的入镜以后从所述摄像部取得的多个摄像图像，取得识别出所述标记的入镜后的所述标记的坐标的轨迹，并根据该取得的轨迹识别所述标记入镜的方向。
6.根据权利要求2所述的图像处理装置，其中，
所述出镜方向识别部根据在识别出所述标记的出镜的紧前段时间从所述摄像部取得的多个摄像图像，取得识别出所述标记的出镜的紧前段时间的所述标记的坐标的轨迹，并根据该取得的轨迹识别所述标记出镜的方向。
7.根据权利要求3所述的图像处理装置，其中，
所述出镜方向识别部根据在识别出所述标记的出镜的紧前段时间从所述摄像部取得的多个摄像图像，取得识别出所述标记的出镜的紧前段时间的所述标记的坐标的轨迹，并根据该取得的轨迹识别所述标记出镜的方向。
8.一种图像处理装置，该图像处理装置具有：
摄像单元；
显示单元，显示由所述摄像单元取得的摄像图像；
标记识别单元，在所述显示单元的画面内识别规定的标记；
出镜方向识别单元，识别所述标记出镜的方向；以及
控制单元，使所述显示单元进行与所述标记出镜的方向对应的规定显示。
9.一种图像处理方法，在具备摄像部和显示由所述摄像部取得的摄像图像的显示部的图像处理装置中使用，其中，
该图像处理方法包括：
入镜识别步骤，识别规定的标记入镜到了所述显示部的画面内的情况；
入镜方向识别步骤，识别所述标记入镜的方向；以及
控制步骤，使所述显示部进行与所述标记入镜的方向对应的规定显示。
10.一种图像处理方法，在具备摄像部和显示由所述摄像部取得的摄像图像的显示部的图像处理装置中使用，其中，
该图像处理方法包括：
入镜识别步骤，识别规定的标记入镜到了所述显示部的画面内的情况；
出镜识别步骤，识别所述标记从所述显示部的画面出镜了的情况；
出镜方向识别步骤，识别所述标记出镜的方向；
存储步骤，存储所述标记出镜的方向；以及
控制步骤，当在识别出所述标记的出镜后识别出所述标记的入镜时，使所述显示部进行与在所述存储步骤中存储的所述标记出镜的方向对应的规定显示。
11.一种图像处理方法，在具备摄像部和显示由所述摄像部取得的摄像图像的显示部的图像处理装置中使用，其中，
该图像处理方法包括：
标记识别步骤，在所述显示部的画面内识别规定的标记；
出镜方向识别步骤，识别所述标记出镜的方向；以及
控制步骤，使所述显示部进行与所述标记出镜的方向对应的规定显示。
CN201410268323.9A 2013-06-20 2014-06-16 图像处理装置及图像处理方法 Active CN104243807B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013129368A JP6155893B2 (ja) 2013-06-20 2013-06-20 画像処理装置、及びプログラム
JP2013-129368 2013-06-20

Publications (2)

Publication Number Publication Date
CN104243807A true CN104243807A (zh) 2014-12-24
CN104243807B CN104243807B (zh) 2018-01-26

Family

ID=52110547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410268323.9A Active CN104243807B (zh) 2013-06-20 2014-06-16 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (1) US20140375689A1 (zh)
JP (1) JP6155893B2 (zh)
CN (1) CN104243807B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6202980B2 (ja) * 2013-10-18 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2019016044A (ja) 2017-07-04 2019-01-31 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
US20080024392A1 (en) * 2004-06-18 2008-01-31 Torbjorn Gustafsson Interactive Method of Presenting Information in an Image
JP2011060254A (ja) * 2009-09-11 2011-03-24 Toru Kikuchi 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN104111812A (zh) * 2013-04-22 2014-10-22 富士通株式会社 显示控制方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5321237B2 (ja) * 2009-05-18 2013-10-23 株式会社ニコン 撮像装置、および撮影プログラム
JP5776255B2 (ja) * 2011-03-25 2015-09-09 ソニー株式会社 端末装置、物体識別方法、プログラム及び物体識別システム
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2013105346A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
US20080024392A1 (en) * 2004-06-18 2008-01-31 Torbjorn Gustafsson Interactive Method of Presenting Information in an Image
JP2011060254A (ja) * 2009-09-11 2011-03-24 Toru Kikuchi 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN104111812A (zh) * 2013-04-22 2014-10-22 富士通株式会社 显示控制方法和装置

Also Published As

Publication number Publication date
CN104243807B (zh) 2018-01-26
JP6155893B2 (ja) 2017-07-05
JP2015005088A (ja) 2015-01-08
US20140375689A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
US9373195B2 (en) Display control device, display control method, and program
JP5480777B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
EP2533533A1 (en) Display Control Device, Display Control Method, Program, and Recording Medium
US20230316529A1 (en) Image processing method and apparatus, device and storage medium
US10306196B2 (en) Pixel mixing device and method for controlling operation of same
US20200013373A1 (en) Computer system, screen sharing method, and program
CN112434546A (zh) 人脸活体检测方法及装置、设备、存储介质
CN108460354B (zh) 无人机控制方法、装置、无人机及系统
US20130076909A1 (en) System and method for editing electronic content using a handheld device
JP6374849B2 (ja) ユーザ端末、色彩補正システム及び色彩補正方法
CN102542251A (zh) 被摄体检测装置以及被摄体检测方法
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
US20140149872A1 (en) Communication connection method, communication connection apparatus, and communication connection program
CN104243807A (zh) 图像处理装置及图像处理方法
US20120327118A1 (en) Display control apparatus, display control method and program
CN112106347A (zh) 一种图像生成方法、设备、可移动平台及存储介质
JP2017188787A (ja) 撮像装置、画像合成方法、および画像合成プログラム
CN104871532B (zh) 拍摄装置及其动作控制方法
WO2016147589A1 (ja) 情報コード画像表示システム、情報コード画像表示端末、情報コード画像表示プログラム、サーバ及び情報コード画像生成プログラム
US20060104631A1 (en) Method of taking a picture by composing images
CN114979458A (zh) 一种图像的拍摄方法及电子设备
JP6369604B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN101378456B (zh) 电子影像感测装置及其遥控控制方法
KR20140086415A (ko) 동영상을 이용한 데이터 통신장치 및 동영상을 이용한 데이터 통신방법
JP2014022921A (ja) 電子機器およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant