CN101641718A

CN101641718A - 图像处理装置、图像处理方法和图像处理系统

Info

Publication number: CN101641718A
Application number: CN200880008161A
Authority: CN
Inventors: 佐古曜一郎; 鹤田雅明; 尾崎望; 河上达; 细田育英; 飞鸟井正道; 伊藤大二; 杉野彰信; 关泽英彦; 佐野茜; 海老泽观
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-03-12
Filing date: 2008-02-18
Publication date: 2010-02-03
Anticipated expiration: 2028-02-18
Also published as: WO2008111363A1; CN101641718B; JP5162928B2; EP2120212A1; BRPI0808435A2; KR20090118974A; US20100091139A1; JP2008227813A; EP2120212A4

Abstract

替换区域被设置在利用捕获图像数据表现的图像内。例如，具有可在不大量变更全部图像内容的情况下被处理的图像内容的像素区域可被指定为替换区域。通过执行用于利用插入图像数据来替换替换区域中的全部或部分像素数据的处理，来生成替换图像数据。插入图像数据是包含文本、图形等的图像数据，例如广告、消息或翻译。因此，可在替换图像数据中提供各种类型的信息，可在替换图像数据中结合来自用户的消息，或者可通过替换图像数据确保更好的用户便利性。

Description

图像处理装置、图像处理方法和图像处理系统

技术领域

本发明涉及对捕获图像数据执行的图像处理中可采用的图像处理装置、图像处理方法和图像处理系统。

背景技术

(专利文献1)特开2002-15223号公报

(专利文献2)特开2003-242410号公报

存在相关领域中已知的系统，它们实现了计算机游戏标志牌、体育场中电视广播的背景中的广告牌等中所提供的广告内容的变更。

以上所列的专利文献1和2都公开了当变更广告模式或广告类型时可采用的技术。

发明内容

(本发明要解决的问题)

当数字照相机和摄像机作为消费产品而享有持续增长的普及时，甚至普通的当今用户也能够在娱乐环境中容易地捕捉各种图像。此外，通常的用户今天能够通过使用个人计算机等来编辑他已捕获的图像(摄制的静止图像或视频图像)，并且因此，用户关于他可对捕获图像做什么的预期已显著改变。

通过凭借上述技术进展来实现更加多种多样的类型的图像处理，以便例如使用户能通过捕获图像获得广告信息或另一类型的信息、或者能选择将信息插入图像，将确保更高级别的用户便利性，并且图像将用在甚至更广范围的娱乐应用中。

因此，本发明的一个目的是通过处理捕获图像来增加捕获图像的附加值，以通过图像向用户提供信息、提供更广范围的用户享受、确保更高级别的用户便利性等。

(解决问题的手段)

根据本发明的一种图像处理装置包括：捕获图像获取单元，该捕获图像获取单元获得捕获图像数据；插入图像存储单元，其中存储插入图像数据；替换区域设置单元，该替换区域设置单元在利用由捕获图像获取单元获得的捕获图像数据所表现的图像内设置替换区域；以及替换图像生成单元，该替换图像生成单元通过执行用于利用从插入图像存储单元读出的插出图像数据来替换替换区域内的全部或部分像素数据的处理，来生成替换图像数据。

捕获图像获取单元可包括捕捉图像的成像单元，并且通过使成像单元参与成像操作来获得捕获图像数据。成像单元可包括利用CCD传感器或CMOS传感器构成的图像传感器。

捕获图像获取单元可包括参与和外部通信设备通信的通信单元，并且获得当通信单元参与和外部通信设备的通信时所接收的捕获图像数据。要注意，在此上下文中所提及的外部通信设备可以是不变地配备有通信功能的服务器装置、或者除服务器装置以外的任何的各种类型的电子设备。

捕获图像获取单元可包括再现便携记录介质中存储的信息的再现单元，并且当再现单元参与便携记录介质的再现时获得捕获图像数据。

图像处理装置还可包括参与和外部通信设备通信的通信单元，并且在这样的情况下，从外部通信设备发送的并且在通信单元处接收的插入图像数据被存进插入图像存储单元。

图像处理装置还可包括保存处理单元，该保存处理单元执行用于保存由替换图像生成单元生成的替换图像数据和/或已由替换区域设置单元设置的关于替换区域的替换区域信息的保存处理。

保存处理单元可包括将信息记录进记录介质的记录单元，并且通过将替换图像数据和/或替换区域信息记录进记录介质来执行保存处理。

保存处理单元还可包括参与和外部通信设备通信的通信单元，并且通过将替换图像数据和/或替换区域信息发送至外部通信设备来执行保存处理。

图像处理装置还包括图像输出单元，该图像输出单元执行对于由替换图像生成单元生成的替换图像数据的输出处理。

图像输出单元可包括显示单元，并且对于输出处理，在显示单元处显示输出替换图像数据。

图像输出单元还可包括参与和外部通信设备通信的通信单元，并且对于输出处理，经由通信单元向外部通信设备发送输出替换图像数据。

图像输出单元可包括将信息记录进便携记录介质的记录单元，并且通过经由记录单元将替换图像数据记录进便携记录介质来执行输出处理。

此外，替换区域设置单元通过对捕获图像数据执行图像分析处理来检测捕获图像数据内的特定图像，并且基于检测到的图像来设置替换区域。

插入图像数据可表现广告图像、消息文本图像或翻译文本图像。

根据本发明的一种图像处理方法包括以下步骤：获得捕获图像数据；在利用所获得的捕获图像数据表现的图像内设置替换区域；读出所存储的插入图像数据；以及通过利用已读出的插入图像数据来替换替换区域中的全部或部分像素数据，来生成替换图像数据。

根据本发明的一种图像处理系统实现了图像处理装置和服务器装置之间的通信。图像处理装置包括：捕获图像获取单元，该捕获图像获取单元获得捕获图像数据；接收单元，该接收单元接收从服务器装置发送的插入图像数据；插入图像存储单元，其中存储已在接收单元处接收的插入图像数据；替换区域设置单元，该替换区域设置单元在利用由捕获图像获取单元获得的捕获图像数据所表现的图像内设置替换区域；以及替换图像生成单元，该替换图像生成单元通过执行用于利用从插入图像存储单元读出的插入图像数据来替换替换区域内的全部或部分像素数据的处理，来生成替换图像数据。服务器装置包括发送单元，该发送单元向图像处理装置发送插入图像数据。

根据本发明的一种图像处理装置包括：捕获图像获取单元，该捕获图像获取单元获得捕获图像数据；替换区域设置单元，该替换区域设置单元在利用由捕获图像获取单元获得的捕获图像数据所表现的图像内设置替换区域；以及保存处理单元，该保存处理单元执行用于保存捕获图像数据以及由替换区域设置单元设置的关于替换区域的替换区域信息的保存处理。

根据本发明的一种图像处理装置包括：记录/再现单元，该记录/再现单元通过将捕获图像数据和替换区域信息彼此相关联，来记录和再现捕获图像数据以及针对捕获图像数据设置的关于替换区域的替换区域信息；插入图像存储单元，其中存储插入图像数据；以及替换图像生成单元，该替换图像生成单元通过从记录/再现单元获得捕获图像数据和替换区域信息，并且通过执行用于利用从插入图像存储单元读出的插入图像数据来替换替换区域信息所指示的替换区域中的全部或部分像素数据的对所获得的捕获图像数据的处理，来生成替换图像数据。

根据上述的本发明，替换区域被设置在利用捕获图像数据表现的图像内。包含不会受图像内容处理大的影响的图像内容的像素区域，例如可被选择为替换区域。这样的像素区域可以是例如图像内的呈现广告牌的图像区域、呈现天空的图像区域、包含文本的图像区域等。

通过用于利用插入图像数据来替换替换区域中的全部或部分像素数据的替换处理，来生成替换图像数据。插入图像数据是包含例如文本、图形等的图像数据，例如广告、消息或翻译。

(本发明的效果)

根据本发明，通过确保结果的图像将不被彻底变更，通过对捕获图像数据执行的图像处理来生成替换图像数据，以提供诸如广告、消息和翻译文本之类的各种类型的信息。因此在以下方面实现了优点：增加了捕获图像的附加值，而没有大地影响图像内容。

附图说明

(图1A)呈现了根据本发明的一个实施例的成像装置的外部视图的图示

(图1B)呈现了根据本发明的一个实施例的成像装置的外部视图的图示

(图1C)呈现了根据本发明的一个实施例的成像装置的外部视图的图示

(图1D)呈现了根据本发明的一个实施例的成像装置的外部视图的图示

(图2)根据本发明的一个实施例的成像装置的框图

(图3A)呈现了根据本发明的一个实施例的系统操作模式的图示

(图3B)呈现了根据本发明的一个实施例的系统操作模式的图示

(图3C)呈现了根据本发明的一个实施例的系统操作模式的图示

(图4)呈现了根据本发明的一个实施例的服务器装置的框图

(图5A)示出根据本发明的一个实施例的替换图像的示例的图示

(图5B)示出根据本发明的一个实施例的替换图像的示例的图示

(图5C)示出根据本发明的一个实施例的替换图像的示例的图示

(图6A)示出根据本发明的一个实施例的替换图像的示例的图示

(图6B)示出根据本发明的一个实施例的替换图像的示例的图示

(图6C)示出根据本发明的一个实施例的替换图像的示例的图示

(图7A)示出根据本发明的一个实施例的替换图像的示例的图示

(图7B)示出根据本发明的一个实施例的替换图像的示例的图示

(图7C)示出根据本发明的一个实施例的替换图像的示例的图示

(图8A)示出根据本发明的一个实施例的替换图像的示例的图示

(图8B)示出根据本发明的一个实施例的替换图像的示例的图示

(图8C)示出根据本发明的一个实施例的替换图像的示例的图示

(图9A)示出根据本发明的一个实施例的替换图像的示例的图示

(图9B)示出根据本发明的一个实施例的替换图像的示例的图示

(图9C)示出根据本发明的一个实施例的替换图像的示例的图示

(图10A)示出根据本发明的一个实施例的插入图像数据的提供操作的图示

(图10B)示出根据本发明的一个实施例的插入图像数据的提供操作的图示

(图11A)示出根据本发明的一个实施例的插入图像数据的提供操作的图示

(图11B)示出根据本发明的一个实施例的插入图像数据的提供操作的图示

(图11C)示出根据本发明的一个实施例的插入图像数据的提供操作的图示

(图12)根据本发明的一个实施例的图像保存格式的图示

(图13)根据本发明的一个实施例的图像保存格式的图示

(图14)根据本发明的一个实施例的图像分析/替换的处理示例I的流程图

(图15)根据本发明的一个实施例的图像分析/替换的处理示例II的替换区域设置处理的流程图

(图16)根据本发明的一个实施例的图像分析/替换的处理示例III的图像替换处理的流程图

(图17A)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图17B)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图17C)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图17D)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图18A)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图18B)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图19A)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图19B)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图19C)呈现了根据本发明的一个实施例的成像装置的操作过程的示例的流程图

(图20)呈现了根据本发明的一个实施例的图像处理装置的结构元素的图示

1成像装置

2显示单元

2a显示板单元

3成像单元

6成像控制单元

7显示控制单元

10系统控制器

11操作输入单元

12图像分析/替换单元

14存储单元

15通信单元

17位置检测单元

18插入图像存储单元

19翻译处理单元

20图像获取单元

21图像输出单元

22保存处理单元

具体实施方式

下面是对本发明的一个实施例中所实现的图像处理装置、图像处理方法和图像处理系统的描述。图像处理装置被实施为下面描述中的成像装置。要注意，如参考扩展应用的变化和示例所说明的，本发明的该实施例中的图像处理装置可以是不同于成像装置的设备。

该实施例的各种方面以下面的顺序来描述。

1)成像装置可假定的外观的示例

2)成像装置、系统配置和服务器装置

3)可生成的图像的示例

4)替换区域和插入图像数据

5)插入图像数据取得

6)图像保存格式的示例

7)可由图像分析/替换单元执行的处理的示例I

8)可由图像分析/替换单元执行的处理的示例II

9)操作过程的示例

10)该实施例的优点，变化和扩展应用

1.成像装置可假定的外观的示例

尽管该实施例中的成像装置1可采用任何的各种模式，在图1A、图1B、图1C和图1D中还是呈现了它可能采取的外观的一些示例。

图1A示出实施为眼镜型显示相机的成像装置1。成像装置1包括附接单元，该附接单元假设是例如从用户的头的一侧经过用户的头的背面延伸到用户的头的另一侧的半圆框架结构，并且当框架钩在她耳朵上时成像装置1可被用户佩戴，如图所示。

成像镜头3a布置为面朝前，从而用户视野中的对象的图像可被捕捉。

此外，一个用于左眼并且另一个用于右眼的一对显示板单元2a和2a，直接设置在用户的眼睛前面(当用户戴上成像装置时)，即常规眼镜中镜片所占据的位置。可利用例如液晶板来构成显示板单元2a，并且通过控制它们的透光率，它们可被设置成如图所示的通过状态即透明状态、或者半透明状态。当佩戴着显示板单元2a设置在通过状态的成像装置的同时，用户能够执行正常的活动。

要注意，代替每一个对应于用户眼睛之一的一对显示板单元2a，成像装置可包括对应于仅一只眼睛的单个显示板单元。

虽然在被戴在用户的头上的方面，图1B中的成像装置1类似于先前示例中的成像装置，但是图1B中的成像装置不包括显示板单元2a。用户通过将附接单元放置在例如他的耳朵上来将它附接到他的头上。成像镜头3a布置为面朝前，以便捕捉在此状态下用户视野内的对象的图像。

虽然图1A和图1B每个都示出了经由眼镜型或头戴送受话器型附接单元戴在用户的头上的成像装置1，但是成像装置1可经由任何的各种附接结构被用户佩戴。换言之，它可经由任何附接单元被用户佩戴，其中附接单元可以是头戴耳机型附接单元、领圈型附接单元或耳钩型附接单元。此外，它可经由诸如夹子之类的附接构件被用户佩戴，其中附接构件将它附接至常规眼镜、帽舌或头戴耳机。此外，它无需戴在用户的头上。

虽然成像方向被设置为朝向用户的视野，但是成像镜头3a可代替地被安装以便捕捉用户后面的图像、被安装至用户的侧面、被安装在佩戴成像装置的用户的上面或下面，或者成像装置可包括多个成像系统，这多个成像系统用来沿着单个方向或几个不同方向捕捉图像。

此外，成像装置可包括成像方向调节机制，该成像方向调节机制允许结合单成像镜头3a或多个成像镜头3a的、对于对象方向的手动调节或对于对象方向的自动调节。

图1C示出假设为标准数字照相机的结构的成像装置1。

图1D示出假设为标准摄像机的结构的成像装置1。

本发明可实施为诸如图1C或图1D所示的手持成像装置1。虽然每个图仅示出了成像镜头3a，但是相机将包括要被用作成像监视器的平板显示单元以及诸如取景器之类的显示部件。

能够捕捉静止图像或视频图像的成像装置可采取除了图1A、图1B、图1C和图1D所示的那些模式以外的模式，这点将会是明显的。例如，该实施例中的成像装置1可以是诸如配备有成像功能的便携电话、PDA(个人数字助理)单元或便携个人计算机之类的设备。

此外，假设为任何的这些模式的成像装置可包括麦克风，麦克风用于拾取外部声音以在成像操作期间获得要与图像数据一起被记录的音频信号。它还可包括扬声器单元或耳机单元，声音通过它们被输出。

此外，发光单元可布置在成像镜头3a附近，其中利用例如用于照亮对象的LED(发光二极管)或者用于当捕捉静止图像时发出闪光的电子闪光单元来构成发光单元。

2.成像装置、系统配置和服务器装置

参考图2来描述用于成像装置1的结构示例。

利用微型计算机来构成的系统控制器10用作了控制整个成像装置1的控制单元，该微型计算机包括例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)、非易失性存储单元和接口单元。系统控制器10通过基于内装ROM等中保存的程序执行各种类型的算术处理并且经由总线13与各个单元交换控制信号等，来使各种单元参与具体操作的执行。

成像单元3包括成像光学系统、图像传感器单元和成像信号处理单元。

成像单元3中的成像光学系统包括透镜系统、驱动系统，其中透镜系统是利用诸如任何的图1A至图1D所示的那些镜头的成像镜头3a、光圈、变焦镜头、聚焦镜头等构成的，驱动系统使透镜系统参与聚焦操作或变焦操作等。

此外，成像单元3中的图像传感器单元包括固态图像传感器阵列，该固态图像传感器阵列检测在成像光学系统处获得的成像光，并且对成像光执行光电转换以生成成像信号。固态图像传感器阵列可以是例如CCD(电荷耦合器件)传感器阵列或CMOS(互补金属氧化物半导体)传感器阵列。

成像单元3中的成像信号处理单元获得由数字数据组成的捕获图像数据，其中成像信号处理单元包括采样保持/AGC(自动增益控制)电路和视频A/D转换器，采样保持/AGC电路执行对于经由固态图像传感器获得的信号的增益调节和波形成形。它还对捕获图像数据执行白平衡处理、亮度处理、颜色信号处理、模糊校正处理等。

捕获图像数据是通过在配备有上述的成像光学系统、图像传感器单元和成像信号处理单元的成像单元3处执行的成像操作而获得的。

通过在成像单元3处执行的成像操作而获得的图像数据在成像控制单元6处被处理。

在由系统控制器10执行的控制下，成像控制单元6执行用于将捕获图像数据转换为具体图像数据格式的数据的处理，以及用于将从格式转换中产生的捕获图像数据提供至对应于操作条件的图像分析/替换单元12、存储单元14、通信单元15或显示控制单元7的处理。

成像控制单元6还基于从系统控制器10提供的指令来执行对于成像单元3处执行的成像操作的接通/关断控制、对于成像光学系统中的变焦镜头和聚焦镜头的驱动控制、对图像传感器单元处的感光度和帧率的控制、对于在成像信号处理单元处执行的各种类型的处理的参数控制、用于设置要执行的具体处理的设置操作等等。

图像分析/替换单元12执行对于在成像装置1获得的捕获图像数据的图像分析处理和图像合成处理。

例如，它执行用于通过分析经由成像单元3获得的捕获图像数据来检测图像中的替换区域的处理。

此外，它通过图像替换处理(图像合成)来生成替换图像数据，由此检出替换区域中的像素数据被替换为插入图像数据。

稍后将详细描述由图像分析/替换单元执行的处理、替换区域、插入图像数据、替换图像数据等。

指定为图像分析/替换单元12的处理目标的捕获图像数据可以是除了如上所述通过在成像单元3处执行的成像操作而获得的捕获图像数据(静止图像数据或视频图像数据)以外的图像数据。

也就是说，成像装置1还能够获得从在外部成像装置处执行的成像操作中产生的捕获图像数据。例如，通过在外部成像装置处执行的成像操作而获得的捕获图像数据可直接从外部成像装置或经由服务器装置在通信单元15处被接收。

此外，通过在外部成像装置处执行的成像操作而生成的捕获图像数据可被记录进便携记录介质，并且当来自便携记录介质的数据在存储单元14中被再现时(假如存储单元14配备有使它能从便携记录介质再现数据的再现功能)，捕获图像数据然后可在对象成像装置处被获得。

换言之，在通信单元15处接收的捕获图像数据或者从便携记录介质再现并读出的捕获图像数据可被指定为用于图像分析/替换单元12的处理目标。

图像分析/替换单元12可利用用作视频处理器的微型计算机或DSP(数字信号处理器)来构成。此外，虽然图2示出了利用作为彼此独立的分离框的微型计算机和图像分析/替换单元来构成的系统控制器10，但是图像分析/替换单元12的功能可以代替地设置在系统控制器10内启动的软件中。

成像装置1经由显示单元2和显示控制单元7向用户提供显示。

显示单元2包括如稍早的时候所描述的利用液晶板等构成的显示板单元2a、以及执行对显示板单元2a的显示驱动的显示驱动单元。

显示驱动单元利用像素驱动电路来构成，从成像控制单元6提供的图像数据经由该像素驱动电路而被调出在显示板单元2a处的显示器上，该显示器可利用液晶显示单元来构成。像素驱动电路通过利用预定的水平/垂直驱动定时将基于视频信号生成的驱动信号应用于显示板单元2a处以矩阵图案排列的各个像素，来调出显示板单元2a处的显示。

在由系统控制器10执行的控制下，显示控制单元7驱动显示单元2中的像素驱动电路以在显示板单元2a处调出具体显示。

也就是说，它在显示板单元2a处的显示器上调出由成像单元3捕捉的监视图像、基于放入存储单元14的捕获图像数据来再现的图像、通过在通信单元15处接收的数据来表现的图像、各种类型的字符等等。

它还能够对显示图像调节照明级别、执行颜色校正、调节对比度、调节锐度(边缘强调)等。它还能够通过放大部分图像数据来生成经放大的图像、生成经缩小的图像、执行用于呈现特定效果的图像效果处理(这些特定效果例如软焦点、镶嵌、亮度反转、将部分图像高亮显示在显示器上(强调显示)和全体颜色平衡)、分离或合成图像以将捕获图像提供在分割显示中、执行用于生成字符图像或图形图像的以及用于将所生成的图像结合在捕获图像中的处理、等等。

此外，显示控制单元7能够通过基于系统控制器10发出的指令控制显示驱动单元，来将显示板单元2a设置在通过状态(透明或半透明状态)，以便控制显示板单元2a中每个像素处的透光率。

存储单元14用来保存各种类型的数据。它还用来保存例如捕获图像数据或替换图像数据(稍后将详细描述)。

存储单元14可利用诸如RAM或闪存之类的固态存储器来构成，或者它可利用HDD(硬盘驱动器)来构成。

作为替代，代替内装记录介质的、与特定类型的便携记录介质相对应的记录/再现驱动器可用作存储单元，其中特定类型的便携记录介质例如具有内装固态存储器的存储卡、光盘、磁光盘或全息图。

不仅诸如固态存储器或HDD之类的内装存储器而且与特定类型的便携记录介质相对应的记录/再现驱动器可被安装，这点将会是明显的。

在由系统控制器10执行的控制下，捕获图像数据或替换图像数据被记录并存入存储单元14。

此外，在由系统控制器10执行的控制下，它读出其中记录的数据并且将这样读出的数据提供至系统控制器10、显示控制单元7等。

通信单元15与外部通信设备交换数据。通信单元15可参与例如经由符合无线LAN协议、蓝牙协议等的短程无线通信与网络接入点的网络通信，或者它可参与和配备有相应通信功能的外部通信设备的直接无线通信。

此外，它可通过与外部通信设备的有线连接代替无线连接，来参与和外部通信设备的通信。

通信单元参与与之通信的外部通信设备可以是例如服务器装置70或诸如显示装置或存储装置之类的外部设备80(稍后将描述)。

位置检测单元17被安装在成像装置1中。

位置检测单元17可以是例如GPS接收单元。GPS接收单元接收来自GPS(全球定位系统)卫星的无线信号，并且向系统控制器10输出指示当前位置的经度/纬度信息。

要注意，位置检测单元17可代替地通过WiFi(无线保真)服务或通过移动电话公司提供的位置信息服务，来检测当前位置，或者它可通过将WiFi服务或位置信息服务与GPS信息组合，来检测当前位置。

在插入图像存储单元18中，要由图像分析/替换单元12使用的插入图像数据被存储。如稍后详细描述的，这样的插入图像数据可表现提供广告、消息等的文本图像或图形图像。

各种类型的插入图像数据可预先存储在插入图像存储单元18中，或者例如始发自服务器装置70的和在通信单元15处接收的插入图像数据可存入插入图像存储单元18。

插入图像存储单元18可利用诸如RAM或闪存之类的固态存储器来构成，或者它可利用HDD来构成。作为替代，针对特定类型的便携记录介质的记录/再现驱动器可用作插入图像存储单元。此外，虽然它在图2中被示出为与存储单元14分开的实体，但是存储单元14中记录介质的部分存储区域可被分配用作插入图像存储单元18。

翻译处理单元19执行对于通过由图像分析/替换单元12执行的分析处理而检测到的文本(捕获图像中的文本)的翻译处理。它然后将从翻译处理中产生的文本数据提供至图像分析/替换单元12，以被用作插入图像数据。

要注意，可以以系统控制器10中的翻译软件程序的形式来实现翻译处理单元19。

成像装置1包括用于用户操作的操作输入单元11。

操作输入单元11可包括诸如键或拨盘之类的操作构件，以便当用户操作特定键等时检测用户操作，或者它可采用使它能感知特定的用户动作的结构。

在前一情况下，操作输入单元将会包括用来例如接通/关断电力、使成像系统参与操作(例如快门操作、变焦操作或信号处理指令操作)、提供特定显示(例如选择特定显示内容或调节显示)等的操作构件。

此外，操作输入单元可包括诸如触摸板或触摸面板之类的操作构件。触摸面板可布置在例如显示单元2处，以便使用户能通过触摸显示画面来输入操作指令。

操作输入单元可包括上述的触摸面板，要用作操作构件的十字键、轻推拨盘(jog dial)等，经由它们可在画面上操纵诸如光标之类的指针。作为替代，可响应于由用户手持的、配备有内装加速度传感器、角速度传感器等的远程控制器的移动，来移动画面上的光标等。

假设成像装置是如图1C或图1D所示地构造的，则经由操作键、拨盘、触摸面板等来执行各种操作是理想的。

然而，在诸如图1A或图1B所示的头戴送受话器成像装置的情况下，它可包括操作键、拨盘、触摸面板等，或者远程控制器可结合成像装置使用。因为布置很多操作构件等在这样的成像装置处将会是困难的，所以假定通过感知用户动作来检测操作输入的结构将会是理想的。

使成像装置能感知用户动作的结构可包括加速度传感器、角速度传感器、振动传感器、压力传感器等。

例如，当用户轻敲成像装置1的一侧时，加速度传感器、振动传感器等可感知冲击，并且当例如侧向加速度超过预定值时，系统控制器10可注册用户操作。此外，通过经由加速度传感器或角速度传感器检测用户已敲击了成像装置的右侧(等同于眼镜一侧的部分)还是左侧，可与其他操作区别的、与敲击侧相对应的特定操作可被检测。

此外，当用户转他的头、点他的头等时，特定的用户移动可经由加速度传感器或角速度传感器来检测，以便使系统控制器10能识别用户操作。

此外，压力传感器可布置在成像装置1的左侧和右侧(对应于眼镜的各侧)，并且当用户将他的手指按到右侧时，望远聚焦操作可被检测，而当用户将他的手指按到左侧区域时，广角聚焦操作可被检测。

此外，成像装置可包括生物传感器，并且可基于经由生物传感器检测到的用户生物信息来识别操作输入。这样的生物信息可以是脉率信息、心率信息、心电图信息、肌电图信息、呼吸信息(指示例如呼吸速度、呼吸深度、通气量等)、出汗信息、GSR(皮肤电反应)信息、血压信息、血氧信息、皮肤表面温度信息、脑波信息(例如α波、β波、θ波或γ波)、血流信息或者眼睛移动信息。

在此情况下，系统控制器10将经由生物传感器检测的信息识别为用户的操作输入。例如，用户可有意识地移动他的眼睛(他可改变视线或者可眨眼)，并且当生物传感器检测到例如用户的三次眨眼时，所检测到的眨眼可被判定为指示特定的操作输入。此外，基于由生物传感器检测的生物信息，可判定用户已戴上成像装置1或者可判定用户已摘下成像装置1，或者可识别出特定用户已戴上了成像装置。系统控制器10然后可基于检测到的信息来接通/关断电力。

要注意，生物传感器可布置在附接框架(经由该附接框架佩戴眼镜型成像装置1)的内侧，以便当它参与和用户的头的侧面或后面的接触时，检测以上所列的任何的各种类型的信息。作为替代，可使用戴在用户身体的特定区域之上的生物传感器，而不是布置在成像装置1的附接框架处的生物传感器。

此外，捕捉用户眼睛的图像的相机可用来检测用户眼睛的状况、用户眼睛的移动、用户瞳孔的状况等。

操作输入单元20向系统控制器10提供经由如上所述的操作构件、加速度传感器、角速度传感器、振动传感器、压力传感器、生物传感器等而获得的信息，系统控制器10然后基于向它提供的信息来检测用户操作。

要注意，用户动作可经由另一类型的传感器来检测，例如检测用户语音的传感器或检测用户嘴唇的移动的传感器。

上述成像装置1的结构仅表示示例。可根据要实际执行的具体操作或要实际履行的具体功能来增加或省略各种组件。

使该实施例中的成像装置具有特点的一个主要特征是由图像分析/替换单元12执行的操作。也就是说，它对已获得的捕获图像数据执行图像分析，并且基于图像分析结果来设置替换区域。它然后通过利用插入图像数据替换替换区域中的像素数据，来生成替换图像数据。

通过利用不同内容替换捕获图像的部分内容，来生成替换图像数据。

通过利用其他内容替换捕获图像数据的部分内容，来生成替换图像数据，其中其他内容例如广告文本、消息文本、翻译文本或图形，它们表现了将会给捕获图像的内容增加价值的图像。

然后，通过显示由替换图像数据表现的图像，各种信息可提供给用户，用户能显示特定的消息，或者确保了更好的用户便利性。

图3A至图3C每个都呈现了成像装置1可假定与外部通信设备相关的操作模式的示例。外部通信设备是能够进行与成像装置1的数据通信的电子设备，它可以是服务器装置70或除服务器装置70以外的任何的各种类型的外部设备80。

图3A示出参与自身操作的成像装置1。

在此情况下，通过例如成像操作而获得的捕获图像数据可被指定为图像替换处理目标。

此外，假如能够再现诸如光盘或储存卡之类的便携记录介质中的信息的再现单元构成了存储单元14，则可对从便携记录介质读出的捕获图像数据来执行图像替换处理。

通过利用插入图像存储单元18中存储的插入图像数据来替换指定为处理目标的捕获图像数据的部分，而生成了替换图像数据。

这样生成的替换图像数据可通过保存处理存入存储单元14。

此外，已生成的替换图像数据可通过输出处理被调出在显示单元2处的显示器上。

此外，如果成像装置包括将信息记录进便携记录介质的记录单元，则对于已生成的替换图像数据的输出处理可通过将替换图像数据记录进便携记录介质来执行。

图3B示出经由通信单元15参与和外部设备80的通信的成像装置1。外部设备80可以是显示装置、存储装置或另一成像装置。换言之，外部设备是能够与成像装置1通信的电子设备。在更具体的方面，外部设备80可以是假设为诸如图2所示的结构之类的结构的另一成像装置1，或者包括以下各项的任何的各种类型的设备：都配备有通信功能的数据服务器、个人计算机、数据记录设备、视频播放器、摄像机和数字照相机，以及都配备有成像功能的便携电话、PDA单元等。

在此模式中，成像装置1能从外部设备80获得经受图像替换处理的捕获图像数据。例如，成像装置可接收已通过在配备有成像装置的外部设备80处执行的成像操作而生成的捕获图像数据、或在配备有存储装置的外部设备80处保存的捕获图像数据，并且可将这样接收的捕获图像数据指定为处理目标。

已生成的替换图像数据可存入内部的存储单元14，或者它们可经由通信单元15发送至外部设备80(存储装置)以存入外部设备80处的记录介质。

通过对已生成的替换图像数据执行的输出处理，替换图像数据可被调出在显示单元2处的显示器上，或者它们可发送至配备有显示装置的外部设备80以在其显示器上被调出。

要注意，与外部设备80的通信可通过有线通信而不是通过无线通信来执行。

图3C示出经由配备有用于接入网络60的通信接入功能的通信单元15、来参与和连接至诸如因特网之类的网络60的外部设备80及服务器装置70的通信的成像装置1。

网络60可以不是因特网，并且可以是任何的各种类型的网络，例如便携电话通信网络、PHS通信网络、ad hoc网络或LAN。

成像装置可通过进行与外部设备80的通信，来参与和参考图3B所描述的操作类似的操作。

该图中呈现的示例中的服务器装置70能够向成像装置1提供插入图像数据。

如稍早的时候所说明的，插入图像数据存储在成像装置1处的插入图像存储单元18中，并且从插入图像存储单元18读出的插入图像数据被用在图像替换处理中。这样的插入图像数据可初始地从服务器装置70提供至成像装置1，以便实现插入图像数据结合诸如广告之类的各种内容的使用并且实现对插入图像数据的内容的更新。

服务器装置70包括图像数据库76，在图像数据库76中积累了各种类型的插入图像数据。这样的服务器装置能够向成像装置1提供通过应用各种准则而选择的插入图像数据。

要注意，经受处理的捕获图像数据可从服务器装置70提供至成像装置1。此外，在成像装置1处生成的替换图像数据可保存在服务器装置70或者可传送至外部设备80。

图4呈现了服务器装置70的结构示例。

如稍早的时候所描述的，服务器装置70能够通过经由例如网络60执行的通信，来向成像装置1提供插入图像数据或捕获图像数据。

服务器装置70包括服务器控制单元72、网络存储单元71、通信单元73、信息管理单元74、地图数据库75、时钟单元76、图像数据库77和用户信息存储单元78。

在可利用例如HDD来构成的网络存储单元71中，经由网络60从成像装置30或成像显示装置1发送的图像数据等被保存。它还用作缓冲器，其中要在成像装置1和外部设备80之间交换的图像数据等在传送处理期间被临时存储。

通信单元73经由网络60参与和成像装置1处的通信单元15的或者和外部设备80处的通信单元的数据通信。

服务器控制单元72执行服务器装置70所需要的操作控制。在更具体的方面，它执行用于向成像装置1提供替换图像数据的控制操作。

信息管理单元74、地图数据库75、时钟单元76、图像数据库77和用户信息存储单元78是参与用于向成像装置1提供替换图像数据的操作的框。

地图信息存储在地图数据库75中。

时钟单元76保持当前的日/时(年/月/日/时/分/秒)。

要用作例如广告图像的各种类型的插入图像数据存储在图像数据库77中。

在用户信息存储单元78中，与服务器装置70要提供替换图像数据给它的成像装置1的用户相对应的用户注册信息被存储。这样的用户信息可与例如对于特定成像装置1唯一的标识信息相对应地(或者与用于通信的地址等相对应地)被存储。用户信息可以是在注册的时候由用户提供的信息，例如年龄、性别、趣味、嗜好。

信息管理单元74与当前日/时、成像装置1的当前位置、用户信息等相对应地、执行用于通过图像数据库77搜索要提供给成像装置1的插入图像数据的处理。

例如，信息管理单元74可基于时钟单元76保持的当前日/时，来搜索具有在特定时间点要提供给用户的广告内容的插入图像数据。

或者信息管理单元74可根据从成像装置1发送的当前位置信息，来搜索具有与成像装置1的当前位置相对应的最佳广告内容的插入图像数据。在此时，信息管理单元能通过参考地图数据库75中存储的地图信息来查明成像装置1的当前位置，并且选择与经查明的位置相对应的插入图像。

或者信息管理单元74可基于信息存储单元78中存储的成像装置1的用户信息，来搜索具有适合于特定用户的广告内容的插入图像数据。

3.可生成的图像的示例

图5A至图5C、图6A至图6C、图7A至图7C、图8A至图8C以及图9A至图9C示出了作为在成像装置1处生成的替换图像数据的示例性图像。图5A、图6A、图7A、图8A和图9A每个都示出捕获图像，而图5B、图6B、图7B、图8B和图9B每个都指示在捕获图像中可设置的替换区域。图5C、图6C、图7C、图8C和图9C每个都示出已生成的替换图像。

图5A示出街道场景的捕获图像。图像包括建筑上的标志牌。

如图5B所示，图像中被标志牌占据的区域被设置为替换区域ARi。

插入图像数据被插入与如上所述地设置的替换区域ARi相对应的像素范围中。换言之，原始像素数据被替换为插入图像数据。结果，如图5C所示，利用标志牌中所示的不同广告内容生成了替换图像。

图6A示出风景的捕获图像。图像包含天空的区域。

如图6B所示，图像中被天空占据的区域被选择为替换区域ARi。

插入图像数据然后被插入在指定为替换区域ARi的像素范围的部分之上。插入图像数据可表现载有广告消息的飞艇。

结果，如图6C所示，生成了具有载有广告的、飞过天空的飞艇的替换图像。

图7A示出人的捕获图像。图像中的人正穿着前面具有印刷文字的衣服。

如图7B所示，图像中被文字占据的区域被设置为替换区域ARi。

插入图像数据然后被插入在指定为替换区域ARi的像素范围之上。插入图像数据可表现例如消息文本图像。

结果，如图7C所示，利用替换为消息文本的衣服上的文字生成了替换图像。

图8A示出街道场景的捕获图像。图像包括店面上的标志牌。

如图8B所示，图像中被标志牌占据的区域被设置为替换区域ARi。

插入图像数据然后被插入在指定为替换区域ARi的像素范围之上。插入图像数据可表现例如翻译文本图像。

结果，如图8C所示，利用替换为英语翻译的商店标志牌上的文字(日语字符)生成了替换图像。

图9A示出包含了具有特定标记M的标志牌的捕获图像。假设没有消息写在实际的标志牌上。

如图9B所示，基于图像中检测到标记M的位置来设置替换区域ARi。例如，这样的替换区域ARi可包括没有图形或文本内容的图像区域。

插入图像数据然后被插入在指定为替换区域ARi的像素范围中。插入图像数据可表现例如广告图像。

结果，如图9C所示，生成了具有在空的标志牌之上显示的广告的替换图像。

4.替换区域和插入图像数据

为了生成要用作如上所述的替换图像的替换图像数据，在利用捕获图像数据表现的图像中必须首先设置特定的替换区域ARi。

因此，成像装置1中的图像分析/替换单元12执行对指定为处理目标的捕获图像数据的图像分析，并且设置替换区域ARi。图像内的最佳区域被指定为替换区域ARi是必要的，以便生成表现了看起来自然的图像的替换图像数据。

现在描述当设置替换区域ARi时可采用的方法的示例。

当利用不同内容替换标志牌的内容时，如在图5A至图5C和图8A至图8C中呈现的示例中，图像中的标志牌被识别并被指定为替换区域ARi。可借助通过图像分析处理分析形状或识别文字，来识别图像中的标志牌。也就是说，可通过弄清楚图像中边缘的轮廓或检测边缘线内的区域内的任何文字的存在等，来检测标志牌。

例如，可提取由图像中的边缘线限定的四边形区域(矩形、梯形、平行四边形)。要注意，虽然标志牌正常地假设为矩形形状，但是根据在成像操作期间假定的成像方向或仰角或透视，它可能呈现为图像中的梯形或平行四边形。因此，可有效执行分析处理，由此成像方向、仰角等基于图像中边缘线(例如限定道路和建筑的边缘线)的大体轮廓而被估计，并且可被判定是实际矩形的物体的图像的梯形物体或平行四边形物体从图像中被提取。

一旦由边缘线限定的四边形区域被检测到，就进行关于任何文字是否出现在四边形内的判断。例如，文字可通过模式识别而被检测。要注意，各种标志、标记等可预先存储，并且可通过图像模式匹配来进行关于捕获图像是否包括构成了标志或标记的图像区域的判断。

如果文字(或标志或标记)的图像包含在捕获图像中四边形区域之内，则判定四边形区域是标志牌等，并且因此四边形区域被指定为替换区域ARi。

要注意，代替四边形区域，圆形区域、椭圆区域等可被判定是标志牌。

此外，假设目标标志牌是发光标志牌，例如霓虹灯或LED标志牌或安装在墙处的宽屏监控显示器，则相对于周围环境显现出亮度上大的差异的四边形区域或者指示了高级别亮度的局部区域可被检测并被指定为替换区域ARi。

如已参考图6A至图6C所说明的，通过识别天空(如下所说明的)，天空占据的图像部分可被指定为替换区域ARi。

首先，图像中的上区域、左上区域或右上区域被假设为“天空”。

然后，进行关于蓝颜色区域(蓝色的色调可被认为是天空蓝色)是否以特定的比占据了上区域的判断。

通用应用这些准则，图像内被天空占据的范围可被确定，并且被天空占据的范围可被指定为替换区域ARi。

此外，因为没有极端颜色改变或不同物体出现在某范围之上，所以将倾向于显现仅仅平缓的深浅层次。因此，没有边缘线(边界边缘线)的图像内的范围可被识别为天空区域。

要注意，虽然天空区域在上述示例中被识别，但是被诸如海洋、湖等之类的水体占据的区域可被确定并被指定为替换区域ARi。

此外，道路上的车辆可被识别，并且被车辆占据的区域可被指定为替换区域ARi。

其中文字被替换为其他内容的、图7A至图7C中呈现的示例中的替换区域ARi，可通过执行对捕获图像的字符识别来设置。也就是说，替换区域ARi应被设置，以便包括其上检测到文字的范围。特别希望通过确保替换区域不延伸到文字周围出现的边缘线之外，来设置替换区域ARi。

图9A至图9C呈现了通过识别标记M来设置替换区域ARi的示例。

例如，特定标记M可预先显示在实际标志牌等之上，特别是为了生成替换图像数据。

在图像分析中，进行关于特定标记M是否包含在捕获图像中的判断。

如果标记M在图像中被检测到，则替换区域ARi基于标记M的位置来设置。例如，包含标记M的四边形区域、圆形区域、椭圆区域或者不定形的但可基于边缘线识别的区域等被指定为替换区域ARi。此外，在实际标志牌具有其中无消息的素表面的前提下，如图9A所示，包含标记M的素区域可被指定为替换区域ARi。替换区域ARi可在特定范围之上承载了一些文字、绘图等的标志牌处来设置，以便基于标记M的位置来变更文字或绘图，这点将会是明显的。

此外，多个标记M可显示在实际标志牌等之上，并且可在假设为具有标记指示的对角点的四边形形状的范围或者采取标记指示了顶点的形状的范围之上设置替换区域ARi。

上述方法需要特定的范围，以被指定为替换区域ARi，以在对象侧被指示。

例如，特定标记M可实际表现于安装在建筑的墙面上、在建筑的窗户处等的标志牌上，从而捕获图像中的特定区域被用作可插入广告数据等的替换区域ARi。

要注意，虽然要用作替换区域ARi的区域通过使用标记M而在对象侧被指示，但是代替标记的特定的背景图案可显示在实际标志牌等之上，以便使成像装置1能通过图像分析来识别背景图案的范围并且将它指定为替换区域ARi。

此外，条码、二维条码、发光元件等可设置在标志牌等之上，并且在此情况下，成像装置1可基于通过图像分析而检测到的相应信息，来设置替换区域ARi。

成像装置1中的图像分析/替换单元12通过上述的任何方法，对捕获图像数据执行图像分析，并且在图像内设置单个替换区域ARi或多个替换区域ARi。

然后通过利用用作插入图像数据的像素数据来替换已设置的每个替换区域ARi中所有的或部分的像素数据，来生成替换图像数据。

下面是对插入图像数据的图像内容的示例的描述。

插入图像数据可表现要用于广告目的的文本图像、图形图像、绘图等。这样的广告图像可载有公司广告内容、产品/服务广告内容、始发自诸如自治或国家政府机构之类的公共组织的公共关系内容等等。

用于广告/公共关系目的的这样的插入图像数据可表现文本图像、标志、标记等的图像。

此外，插入图像数据可表现包括诸如图6C所示的飞艇之类的特定物体的图像。如在图6C中，要插入天空区域之上的插入图像数据可表现具有添加到广告气球、热气球、飞机、旗等中的广告文本等的图像。要插入诸如海洋之类的水体的表面之上的插入图像数据可表现添加到例如船上的广告文本等的图像。

插入图像数据可代替地表现设置在汽车、铁路列车等上的广告文本等的图像。

表现这样的广告图像的插入图像数据可以以永久的方式存储在成像装置1处的插入图像存储单元18中，或者从服务器装置70发送的插入图像数据可存进插入图像存储单元。此外，当用户将便携记录介质加载进成像装置1并且再现插入图像数据时，便携记录介质中记录的各种类型的插入图像数据可提供给用户，并且便携记录介质中记录的插入图像数据可放入插入图像存储单元18。

插入图像数据的另一示例是消息文本图像。

这样的消息文本图像的内容可由用户自由创建(输入)，或者可允许用户选择预先准备的任何的各种类型的消息文本图像。

预先创建的各种类型的消息文本图像可存储在插入图像存储单元18中，或者消息文本图像可由用户输入以存进插入图像存储单元18。

插入图像数据的另一示例是翻译文本图像。

成像装置1中的翻译处理单元19执行翻译处理以生成翻译文本数据。这样生成的翻译文本数据被提供给图像分析/替换单元12以用作插入图像数据。

5.插入图像数据取得

表现广告图像和消息文本图像的插入图像数据存储在成像装置1处的插入图像存储单元18中，并且图像分析/替换单元12通过从例如插入图像存储单元18中读出插入图像数据并且使用它，来生成替换图像数据。

虽然如稍早的时候所说明的，预先准备的、表现几种类型的广告图像和消息文本图像的插入图像数据可存储在插入图像存储单元18中，但是可使得要用作广告图像或消息图像的特别设计的图像等是从服务器装置70可得的，以便实现成像装置1处具有各种内容的插入图像数据的使用。

现在，参考图10A和图10B以及图11A至图11C，描述了成像装置1可从服务器装置70获得插入图像数据的操作的示例。

图10A呈现了服务器装置70以定期的周期或在需要时向成像装置1发送插入图像数据的示例。

响应于来自诸如公司之类的登广告者的请求，或在与登广告者的合同之下，服务器装置70出于通信的目的与成像装置1连接，以定期地或在需要时发送特定的插入图像数据(S1)。也就是说，服务器控制单元72使信息管理单元74参与从图像数据库77读出需要的插入图像数据的操作，并且使插入图像数据从通信单元73被发送。

一接收到经由通信单元15发送的插入图像数据(S2)，成像装置1中的系统控制器10就使接收到的插入图像数据存进插入图像存储单元18(S3)。

例如，当服务器装置70同时向很多成像装置1发送特定插入图像数据时，这样的操作可以是优选操作。

在图10B中呈现的示例中，成像装置1请求插入图像数据。

成像装置1的系统控制器10在响应于用户操作的给定时间点、利用定期的定时、或者利用执行图像替换处理的定时，使得用于请求插入图像的信息经由通信单元15发送至服务器装置70(S11)。

一检测到(S12)插入图像请求已在通信单元73处被接收，服务器装置70的服务器控制单元72就使信息管理单元74参与从图像数据库77读出需要的插入图像数据的操作。它然后经由通信单元73将插入图像数据发送(S13)至已发起请求的成像装置1。一旦在通信单元15处接收到所发送的插入图像数据(S14)，成像装置1的系统控制器10就将接收到的插入图像数据存进插入图像存储单元18(S15)。

通过上述操作，利用对成像装置而言最佳的操作定时或利用用户请求的定时，来向成像装置1提供插入图像数据。

在图11A中呈现的示例中，服务器装置70在特定日/时向成像装置1发送插入图像数据。

服务器装置70的信息管理单元74检查时钟单元76处的当前日/时，并且对应于当前日/时地选择图像数据库77中的插入图像数据(S21)。服务器控制单元72然后获取已由信息管理单元74选出的单组插入图像数据或多组插入图像数据，并且通过通信单元73向成像装置1发送插入图像数据(S22)。

一旦在通信单元15处接收到所发送的插入图像数据(S23)，成像装置1的系统控制器10就将接收到的插入图像数据存进插入图像存储单元18(S24)。

通过上述操作，具有及时广告内容或及时消息内容的插入图像数据可被提供给成像装置1。

例如，具有与特定产品发布日、特定销售日等相对应的广告内容、对于将在特定日举行的音乐会或体育事件而言最佳的广告内容、对特定月/日或特定季节而言适当的广告内容等的插入图像数据可被提供给成像装置1。

服务器装置70可基于由例如登广告者指定的广告到期日或广告持续时间、与图像数据库77中给定组的插入图像数据相对应地注册日/时信息，或者它可将指示了与广告内容或消息内容相对应的特定季节或特定月/日的信息附接至每组插入图像数据，以便使信息管理单元74能搜索图像数据库77中及时的插入图像数据。

要注意，图11A所示的操作和图10B所示的操作可被组合地执行，以便使服务器装置70能向成像装置1提供基于插入图像请求从成像装置1被发送的日/时而搜索到的插入图像数据。

在图11B中呈现的示例中，服务器装置70基于成像装置的当前位置向成像装置1发送插入图像数据。

成像装置1的系统控制器10利用对应于用户操作的定时、利用执行图像替换处理的定时等，以定期的方式使通信单元15参与向服务器装置70发送由位置检测单元17检测到的位置信息(S31)。

一旦在通信单元73处接收到(S32)已由成像装置1发送的位置信息，服务器装置70的服务器控制单元72就将位置信息提供至信息管理单元74，信息管理单元74然后参与搜索对应于位置的插入图像数据。信息管理单元74通过与位置信息相对应地从地图数据库中读出地图信息，来查明成像装置1的用户的当前位置并且确定附近存在的商店、设施等。它然后通过图像数据库77搜索广告了附近的商店、设施等的插入图像数据(S33)。

服务器控制单元72然后获取已由信息管理单元74选出的单组插入图像数据或多组插入图像数据，并且经由通信单元73向成像装置1发送插入图像数据(S34)。

一旦在通信单元15处接收到所发送的插入图像数据(S35)，成像装置1的系统控制器10就将接收到的插入图像数据存进插入图像存储单元18(S36)。

通过上述操作，载有对于用户当前位置而言最佳的广告内容或最佳的消息内容的插入图像数据可被提供给成像装置1。

例如，广告了当前用户位置附近存在的商店或设施的插入图像数据或者具有团体服务通知内容的插入图像数据可被提供给成像装置1。

基于由例如登广告者指定的广告目标区域，服务器装置70可在图像数据库77中与给定组的插入图像数据相对应地注册区域信息，以便使信息管理单元74能通过图像数据库77搜索对应于当前用户位置的最佳插入图像数据。

代替公司广告，各种类型的警告(海啸警告、恶劣天气警告等)、天气信息、交通信息等可作为位置特定的插入图像数据而被提供。

在图11C中呈现的示例中，服务器装置70发送适用于特定成像装置1的用户的插入图像数据。

成像装置1的系统控制器10利用对应于用户操作的定时、利用执行图像替换处理的定时等，以定期的方式使通信单元15参与向服务器装置70发送用户ID(或成像装置ID)(S41)。

一旦在通信单元73处接收到(S42)已由成像装置1发送的用户ID，服务器装置70的服务器控制单元72就使信息管理单元74参与基于用户ID来搜索被认为是适当的插入图像数据的操作。基于用户ID，信息管理单元74通过用户信息存储单元78搜索，并且读出具有特定用户ID的用户的信息。由信息管理单元读出的信息可指示用户的性别、年龄、趣味、嗜好等。具有例如匹配用户信息的广告内容的插入图像数据然后在图像数据库77中被搜索(S43)。

服务器控制单元72然后获取已由信息管理单元74选出的单组插入图像数据或多组插入图像数据，并且经由通信单元73向成像装置1发送插入图像数据(S44)。

一旦在通信单元15处接收到所发送的插入图像数据(S45)，成像装置1的系统控制器10就将接收到的插入图像数据存进插入图像存储单元18(S46)。

通过上述操作，具有匹配各个成像装置用户的性别、年龄、趣味、嗜好等的广告内容或消息内容的插入图像数据可被提供给各个成像装置1。

在服务器装置70处，目标用户的性别、年龄、趣味、嗜好等可与每组插入图像数据的内容相对应地被注册，以便使信息管理单元74能通过图像数据库77搜索对每个用户而言最佳的插入图像数据。

要注意，代替响应于来自成像装置1的请求(响应于用户ID或成像装置ID的发送)而发送插入图像数据，服务器装置70可定期地或在需要时向每个成像装置1发送基于用户ID选出的插入图像数据。例如，当具有新的广告内容的插入图像数据被注册进图像数据库时，服务器装置可搜索可能对广告内容感兴趣的用户，并且向属于带有通过搜索所指示的用户ID的用户的成像装置1发送特定的插入图像数据。

如上所述，插入图像数据可以以各种模式从服务器装置70提供至成像装置1。由服务器装置70提供的并且放入成像装置1处的插入图像存储单元18的插入图像数据可随后当图像分析/替换单元12生成替换图像数据时被使用。

要注意，提供了上述模式的插入图像数据仅表示示例，并且插入图像数据可以以任何的各种其他模式来提供。

例如，如果捕获图像数据是与指示图像捕捉位置的位置信息和附加的指示图像捕捉日/时的信息一起保存的，则插入图像数据可与图像捕捉位置和图像捕捉日/时相对应地被提供。

也就是说，与经受图像分析/替换单元12处的处理的给定组的捕获图像数据相对应的指示图像捕捉位置的位置信息可发送至服务器装置70，以便使服务器装置70能搜索与指示图像捕捉位置的位置信息相对应的插入图像数据，并且能向成像装置1发送合适的插入图像数据。

作为替代，附加至捕获图像数据的图像捕捉日/时信息可发送至服务器装置70，以便使服务器装置70能搜索与特定的图像捕捉日/时相对应的插入图像数据，并且能向成像装置1发送合适的插入图像数据。

转而，成像装置1处的图像分析/替换单元12可通过使用这样提供的插入图像数据来执行替换图像生成处理，以生成包含对于初始获得捕获图像的图像捕捉位置或图像捕捉日/时而言最佳的(插入的)广告、消息等的替换图像数据。

6.图像保存格式的示例

接下来，描述从图像分析/替换单元12提供的处理结果可保存在成像装置1中的格式的示例。

如稍早的时候所说明的，图像分析/替换单元12执行用于在利用处理目标捕获图像数据表现的图像内设置替换区域ARi的处理、以及用于通过将插入图像数据插入已设置的替换区域ARi中来生成替换图像数据的处理。

通过上述处理由图像分析/替换单元12生成的替换图像数据可以以图12所示的图像保存格式存入存储单元14。

图12示出图像数据可如何保存在存储单元14中。

通过成像单元3处执行的成像操作而获得的捕获图像数据、经由通信单元15接收的捕获图像数据或者从便携记录介质读出的捕获图像数据被存入存储单元14。

已获得的各个组的捕获图像数据被保存为分别与图中的项#1、项#2，…项#n相对应的捕获图像数据VD1、捕获图像数据VD2，…捕获图像数据VDn。

此外，图像管理信息C1、图像管理信息C2，…图像管理信息Cn每个都与一组图像数据相对应地被记录。每组的图像管理信息包括指示捕获图像数据的文件名、图像类型(视频/静止图像)、数据大小、压缩格式、实现用来捕捉图像的装置的标识的标识信息等的信息。图像管理信息还可包括指示捕获到图像的图像捕捉日/时(年/月/日/时/分/秒)的信息、以及指示在成像操作的时候经由位置检测单元17检测到的图像捕捉位置的经度/纬度信息。

与各组捕获图像数据VD1、VD2、…VDn相对应，替换图像数据cVD1、替换图像数据cVD2、…替换图像数据cVDn分别被存储。

例如，通过对处理目标图像数据VD1执行处理、由图像分析/替换单元12生成的替换图像数据cVD1与捕获图像数据VD1相对应地被保存。

要注意，多组替换图像数据可通过使用单组的捕获图像数据来生成。在这样的情况下，每组替换图像数据也应当与初始捕获图像数据相对应地被存储。

虽然图像分析/替换单元12可执行用于设置替换区域ARi的处理并且接连地执行替换图像数据生成处理，但是代替地，用于设置替换区域ARi的处理和替换图像数据生成处理可在分开的时间被执行。此外，它可仅执行用于设置替换区域ARi的处理，并且将替换图像数据生成处理移交至外部设备80。

在这样的情况下，如图13所示，捕获图像数据可存储在存储单元14中，指示替换区域ARi的替换区域信息与每组捕获图像数据相对应地也保存在存储单元中。也就是说，如图所示，替换区域信息E1、替换区域信息E2、…替换区域信息En与各组捕获图像数据VD1、VD2、…VDn相对应地被存储。

例如，当图像分析/替换单元12设置用于处理目标捕获图像数据VD1的单个替换区域ARi或多个替换区域ARi时，指示匹配单个替换区域ARi或多个替换区域ARi的(一个或多个)像素范围的信息可被保存为与捕获图像数据VD1相对应的替换区域信息E1。

这些措施使得可以随后通过将插入图像数据插入替换区域信息E所指示的每个像素区域中，来生成替换图像数据。

当通过每次要在显示器上调出捕获图像时插入不同的插入图像数据，来生成替换图像数据的时候，此保存格式也是理想的。

此外，数据保存格式甚至使得没有用于设置替换区域ARi的设置功能的外部设备80能够通过使用发送至它的捕获图像数据和相应的替换区域信息，来生成替换图像数据。

要注意，图12和图13中的保存格式可被组合地采用，以与每组捕获图像数据相对应地既存储替换图像数据又存储替换区域信息。

7.可由图像分析/替换单元执行的处理的示例I

响应于系统控制器10发出的指令，图像分析/替换单元12执行用来生成用于系统控制器10所指定的处理目标捕获图像数据的替换图像数据的处理。

下面是对可由图像分析/替换单元12执行的处理的示例I的描述，其中用于在处理目标捕获图像数据表现的图像内设置(一个或多个)替换区域ARi的处理(替换区域设置处理)、以及用于通过将插入图像数据插入已设置的每个替换区域ARi中来生成替换图像数据的处理(图像替换处理)被接连地执行。

图14示出响应于系统控制器10发出的指令，由图像分析/替换单元12执行的处理。

系统控制器10向图像分析/替换单元12传送处理目标捕获图像数据，其中捕获图像数据要经受图14所示的处理。通过在成像单元3处执行的成像操作而获得的捕获图像数据可从成像控制单元6传送至图像分析/替换单元12，以经受处理。可替代地，在通信单元15处接收的捕获图像数据可传送至图像分析/替换单元12，或者经由存储单元14再现的捕获图像数据可传送至图像分析/替换单元12。

一旦处理目标捕获图像数据被输入图像分析/替换单元12，操作就在图14中从步骤F101进行至步骤F102。

在步骤F102中，图像分析/替换单元12执行对输入的捕获图像数据的图像分析处理，并且在图像内设置单个替换区域ARi或多个替换区域ARi。当通过已经说明的图像分析来设置(一个或多个)替换区域ARi时，可采用所述方法。

一旦(一个或多个)替换区域ARi已被设置，已设置的替换区域ARi的数量被设置为用于代入的变数N。

接下来，在步骤F103中，图像分析/替换单元12进行关于变数N的值是否等于0的判断。换言之，它进行关于是否没有区域已被设置为图像内的替换区域ARi的判断。虽然替换区域ARi可借助识别假设为预定形状的区域、识别天空等的图像区域、或识别文字等，通过稍早的时候所描述的任何方法来设置，但是可能不存在可根据图像内容被指定为替换区域ARi的任何区域。

因此，如果判定N＝0并且没有替换区域ARi已被设置，则操作进至步骤F110，其中指示没有替换图像数据可被生成以用于当前的处理目标捕获图像数据的消息，在处理结束之前发送至系统控制器10。

然而，如果至少一个替换区域ARi已被设置，则由图像分析/替换单元12执行的处理进至步骤F104以将变数X设置为1。

然后，在步骤F105中，图像分析/替换单元12从插入图像存储单元插入图像存储单元18(或翻译处理单元19)获得插入图像数据，并且在步骤F106中，图像分析/替换单元执行用于利用已获得的插入图像数据中的像素数据来替换第X替换区域ARi(X)中的像素数据的处理。换言之，图像分析/替换单元生成替换图像数据。

任何的各种类型的插入图像数据可被选作在步骤F105中要获得的获取目标插入图像数据。例如，虽然具有广告内容的插入图像数据可被选择用于已通过识别图像内的标志牌而设置的第X替换区域ARi(X)，但是从插入图像存储单元18随机选择和读出的插入图像数据可被获得，或者每次执行步骤F105中的处理时、利用特定序列选择的一组插入图像数据可被获得。如果第X替换区域ARi(X)已通过识别出现天空或海洋的图像区域来设置，则具有适合于天空或适合于海的主题的图像内容(例如飞艇或船)的插入图像数据可被选择并读出。

此外，可首先选择通过图10A、图10B以及图11A至图11C所示的任何操作由服务器装置70最新近提供的、并且放进图像存储单元18的插入图像数据。

作为替代，在图14所示的处理执行的时候，如图10B、图11B或图11C所示，可访问服务器装置70，以接收由服务器装置提供的插入图像数据，并且在这样的情况下，这样放进插入图像存储单元18的插入图像数据可在步骤F105被读出。

此外，如果消息文本图像要用作插入图像数据，则消息文本图像的列表等可在显示单元2处的显示器上调出，并且特定的消息文本图像可响应于用户选择操作来选择。作为替代，可允许用户通过输入文字来生成消息文本图像。

插入图像数据可在无需用户输入的情况下被选择，这点将会是明显的。插入图像存储单元18中存储的插入图像数据可被随机选择或者可以以特定的序列来选择。

此外，假如操作输入单元11配备有生物传感器，则特定的插入图像数据可与生物传感器检测到的用户状况相对应地被选择。例如，用户的身体状态、情绪等可基于诸如脑波、出汗、心率等之类的检出元素来估计，并且表现适用于估计的用户状态的消息文本图像的插入图像数据可被选择。

此外，如果翻译文本信息要用作插入图像数据，则文本数据应当基于替换区域ARi(X)中识别的文字而在步骤F105中生成，并且这样生成的文本数据然后应提供至翻译处理单元19。从在翻译处理单元19处执行的翻译处理中产生的文本数据随后被移交至图像分析/替换单元12。

在步骤F105中获得插入图像数据并且在步骤F106中通过利用插入图像数据替换替换区域ARi(X)中的图像内容来生成替换图像数据之后，在步骤F107中，图像分析/替换单元12将变数X的值与变数N(已设置的替换区域ARi的数目)的值作比较，并且进行关于是否已对图像中设置的所有替换区域ARi执行了处理的判断。

如果存在还要处理的替换区域ARi，则操作进至步骤F108以递增变数X的值，并且然后操作返回至步骤F105以对下一替换区域ARi(X)执行类似的处理。

一旦已对所有替换区域ARi执行了处理并且确定X等于N，操作就进至步骤F109。在这个时间点之前，已利用所有替换区域ARi中的图像内容替换的替换图像数据将已被生成。已生成的替换图像数据可具有诸如图5C、图6C、图7C、图8C和图9C所示的任何图像内容之类的图像内容。

响应于系统控制器10发出的指令，图像分析/替换单元12传送输出所生成的替换图像数据。

例如，要被显示输出的替换图像数据被传送至显示控制单元7。转而，显示控制单元7使显示单元2参与调出向它提供的替换图像数据的显示。

另一方面，要发送输出至外部设备80或服务器装置70的替换图像数据被传送至通信单元15。转而，通信单元15执行用于发送向它提供的替换图像数据的发送处理。

希望用于存储的替换图像数据被传送至存储单元14。替换图像数据然后可以以图12所示的格式存储在存储单元14处。要输出并记录进便携记录介质的替换图像数据被传送至存储单元14(假如存储单元14配备有与特定类型的便携记录介质相对应的记录/再现单元)，其中所传送的替换图像数据被记录进便携记录介质。

在处理示例I中，如上所述，替换区域设置处理(F101～F103)和图像替换处理(F104～F109)被接连地执行。

要注意，虽然当捕获图像数据表现静止图像时，上述处理仅需对于与单帧相对应的图像数据来执行，但是对于构成表现了视频图像的处理目标捕获图像数据的每一帧，都必须个别地执行上述处理。

8.可由图像分析/替换单元执行的处理的处理示例II

图像分析/替换单元12可执行用于利用定时、在利用处理目标捕获图像数据表现的图像内设置替换区域ARi的替换区域设置处理，其中所述的定时不同于执行用于通过将插入图像数据插入已设置的替换区域ARi中来生成替换图像数据的图像替换处理所利用的定时。在下面参考图15和图16描述的处理示例II中，替换区域设置处理和图像替换处理是彼此独立地执行的。

图15示出由图像分析/替换单元12执行的替换区域设置处理。

在由图像分析/替换单元12执行图15所示的处理的时候，系统控制器10发出对于例如成像控制单元6、存储单元14或通信单元15的指令，以将处理目标捕获图像数据传送至图像分析/替换单元12。

当处理目标捕获图像数据被输入图像分析/替换单元12时，操作在图15所示的处理中从步骤F201进行至步骤F202。

在步骤F202中，图像分析/替换单元12执行对输入的捕获图像数据的图像分析处理，并且在图像内设置单个替换区域ARi或多个替换区域ARi。当通过已经说明的图像分析来设置(一个或多个)替换区域ARi时，可采用所述方法。

一旦设置了替换区域ARi，就在步骤F203中生成替换区域信息。在此步骤中生成的替换区域信息指示了匹配已设置的单个替换区域ARi或多个替换区域ARi的(一个或多个)像素区域(或者指示没有替换区域已被设置)。

一旦替换区域信息已被生成，图像分析/替换单元12就在步骤F204中输出替换区域信息。在由系统控制器10执行的控制下，替换区域信息被传送至存储单元14，其中它以诸如图13所示的格式之类的格式被存储。

利用如图13所示与捕获图像数据VD相对应地存储的替换区域信息E，替换图像数据可稍后通过使用捕获图像数据VD和相应的替换区域信息E来生成。

系统控制器10从存储单元14读出如图13所示彼此相关地保存的特定组的捕获图像数据VD以及相应的替换区域信息E，并且将这样读出的捕获图像数据和替换区域信息传送至图像分析/替换单元12，图像分析/替换单元12然后进行替换图像数据生成。

当捕获图像数据VD和替换区域信息E被提供给它时，图像分析/替换单元12执行图16所示的图像替换处理。

在捕获图像数据VD和替换区域信息E已被输入图像分析/替换单元12之后，操作从步骤F301进行至步骤F302，其中图像分析/替换单元检查替换区域信息，并且将替换区域信息中指示的替换区域的数目设置为用于代入的变数N。

接下来，在步骤F303中，图像分析/替换单元12进行关于变数N的值是否等于0的判断。因此，如果判定N＝0并且没有替换区域ARi已被设置用于已输入的捕获图像数据，则操作进至步骤F310，其中指示没有替换图像可被生成以用于当前的处理目标捕获图像数据的消息，在处理结束之前发送至系统控制器10。

然而，如果至少一个替换区域ARi已被设置，则由图像分析/替换单元12执行的处理进至步骤F304以将变数X设置为1。因为步骤F304～F309中执行的处理等同于图14中的步骤F104～F109中执行的处理，所以没有提供重复的说明。

在步骤F309中，已通过步骤F304～F309中执行的处理而生成的替换图像数据被传送至显示控制单元7用于显示输出、被传送至通信单元15以经受发送处理、或者被传送至存储单元14以存入内装记录介质和便携记录介质。

在处理示例II中，图像分析/替换单元12可响应于由系统控制器10发出的指令、在分开的时间点彼此独立地执行图14所示的替换区域设置处理和图15所示的图像替换处理。

9.操作过程的示例

如已参考处理示例I和处理示例II所说明的，图像分析/替换单元12设置替换区域ARi并且生成替换图像数据。

该实施例中的成像装置1可通过采用任何的各种操作过程，来参与结合了上述由图像分析/替换单元12执行的处理的操作。

假定参考图17A至图17D、图18A、图18B以及图19A至图19C，下面是对操作过程的示例的描述，其中操作过程可在由系统控制器10执行的控制下，在成像装置1处被执行。在由系统控制器10执行的控制下，由适当的框执行每个操作步骤。

图17A所示的操作过程如下。

在步骤ST100中获得捕获图像数据。

要注意，图17A至图17D、图18A、图18B、图19A和图19B中的“获得图像”意思是通过在成像单元3处执行的成像操作而生成的捕获图像数据被获得、经由通信单元15接收的捕获图像数据被获得、或者从存储单元14中的便携记录介质读出的捕获图像数据被获得。

在步骤ST101中，已在步骤ST100中获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受替换区域设置处理和图像替换处理。换言之，使图像分析/替换单元12参与稍早的时候所描述的处理示例I中的处理。

在步骤ST102中，步骤ST100中已获得的捕获图像数据以及步骤ST101中已由图像分析/替换单元12生成的替换图像数据被存入存储单元14。也就是说，如图12所示，被指派了特定的共同项#n的捕获图像数据和替换图像数据被彼此相对应地保存。

图17B所示的操作过程如下。

在步骤ST110中获得捕获图像数据。

在步骤ST111中，步骤ST110中已获得的捕获图像数据被存入存储单元14。

在步骤ST112中，步骤ST110中已获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受处理示例I中的替换区域设置处理和图像替换处理。

在步骤ST113中，步骤ST112中已由图像分析/替换单元12生成的替换图像数据被存入存储单元14。在这个时间点，被指派了共同项#n的捕获图像数据和替换图像数据被如图12所示地彼此相对应地保存。

通过上述图17A和图17B中的操作过程，替换图像数据基于捕获图像数据来生成，并且捕获图像数据和替换图像数据被以图12所示的格式保存在存储单元14中。

存储单元14中保存的捕获图像数据和替换图像数据可以以后被读出用于显示输出、以便发送至外部设备80或服务器装置70、或者以便记录进便携记录介质。

图17C所示的操作过程如下。

在步骤ST120中获得捕获图像数据。

在步骤ST121中，步骤ST120中已获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受处理示例I中的替换区域设置处理和图像替换处理。

在步骤ST122中，步骤ST101中已由图像分析/替换单元12生成的替换图像数据被输出。

要注意，图17C、图17D、图18A、图18B和图19C中的“输出替换图像”意思是替换图像数据被传送至显示控制单元7以在显示单元2处显示输出、替换图像数据被传送至通信单元15用于发送输出、或者替换图像数据被传送至存储单元14(假如存储单元14配备有与特定类型的便携记录介质兼容的记录/再现单元)以记录进便携记录介质。

图17D所示的操作过程如下。

在步骤ST130中获得捕获图像数据。

在步骤ST131中，步骤ST130中已获得的捕获图像数据被存入存储单元14。

在步骤ST132中，步骤ST130中已获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受处理示例I中的替换区域设置处理和图像替换处理。

在步骤ST133中，步骤ST132中已由图像分析/替换单元12生成的替换图像数据被输出。

通过上述图17C和图17D中的操作过程，已生成的替换图像数据被输出，而没有将它们保存在成像装置1中(在存储单元14处的诸如HDD或固态存储器之类的内装记录介质中)。

图18A所示的操作过程如下。

在步骤ST140中获得捕获图像数据。

在步骤ST141中，步骤ST140中已获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受处理示例I中的替换区域设置处理和图像替换处理。

在步骤ST142中，步骤ST140中已获得的捕获图像数据以及步骤ST141中已由图像分析/替换单元12生成的替换图像数据被存入存储单元14。

在步骤ST143中，步骤ST142中已由图像分析/替换单元12生成的替换图像数据被输出。

图18B所示的操作过程如下。

在步骤ST150中获得捕获图像数据。

在步骤ST151中，步骤ST150中已获得的捕获图像数据被存入存储单元14。

在步骤ST152中，步骤ST150中已获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受处理示例I中的替换区域设置处理和图像替换处理。

在步骤ST153中，步骤ST152中已由图像分析/替换单元12生成的替换图像数据被存入存储单元14。

在步骤ST154中，步骤ST152中已由图像分析/替换单元12生成的替换图像数据被输出。

通过图18A和图18B中的操作过程，当已生成的替换图像数据被保存在成像装置1中(进存储单元14处的诸如HDD或固态存储器之类的内装记录介质)时，它们被并发地输出。

图19A所示的操作过程如下。

在步骤ST160中，获得捕获图像数据。

在步骤ST161中，步骤ST160中获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受稍早的时候所说明的处理示例II中的替换区域设置处理(见图15)。

在步骤ST162中，步骤ST160中获得的捕获图像数据以及步骤ST161中已由图像分析/替换单元12生成的替换区域信息被以图13所示的格式存入存储单元14。

图19B所示的操作过程如下。

在步骤ST170中，获得捕获图像数据。

在步骤ST171中，步骤ST170中获得的捕获图像数据被存入存储单元14。

在步骤ST172中，步骤ST170中获得的捕获图像数据被提供至图像分析/替换单元12，这里它们经受稍早的时候所说明的处理示例II中的替换区域设置处理(见图15)。

在步骤ST173中，步骤ST172中已由图像分析/替换单元12生成的替换区域信息被存入存储单元14。最终，捕获图像数据和替换区域信息以图13所示的格式被保存。

通过图19A和图19B中的操作过程，从处理示例II中所执行的替换区域设置处理中产生的替换区域信息与捕获图像数据一起被保存。要注意，可通过经由通信单元15向外部设备80或服务器装置70发送捕获图像数据和替换区域信息来保存它们。换言之，替换区域信息可与捕获图像数据一起被保存在外部设备80或服务器装置70处。

图19C所示的操作过程如下。

在步骤ST180中，捕获图像数据和相应的替换区域信息被读出。也就是说，通过图19A或图19B所示的操作以图13所示的格式记录的捕获图像数据和替换区域信息被从存储单元14读出。

在步骤ST181中，步骤ST180中已获得的捕获图像数据和替换区域信息被提供至图像分析/替换单元12，这里它们经受处理示例II中的图像替换处理(见图16)。

在步骤ST182中，步骤ST181中已由图像分析/替换单元12生成的替换图像数据被输出。

因此，在图19A或图19B中的操作之后，通过图19C中的操作过程，存储单元14中如图13所示地保存的捕获图像数据和替换区域信息被用来生成替换图像数据，并且所生成的替换图像数据被输出。

要注意，在步骤ST180中，外部设备80或服务器装置70中保存的捕获图像数据和替换区域信息，可从外部设备80或服务器装置70被发送，被接收并放入成像装置。或者在步骤ST180中，便携记录介质中保存的捕获图像数据和替换区域信息可从便携记录介质读出。

此外，在可替代的操作过程中，替换图像数据可以或者在步骤ST182中输出替换图像数据之前、或者在步骤ST182中输出替换图像数据之后被存入存储单元14。

虽然以上已描述了可在成像装置1处执行的操作的示例，但是成像装置可通过任何的各种其他的操作过程来参与操作。

10.该实施例的优点，变化和扩展应用的示例

在上述实施例中，通过确保图像的外貌将不被显著变更，来处理利用捕获图像数据表现的图像，以便生成表现了替换图像的替换图像数据，其中替换图像例如图5C、图6C、图7C、图8C和图9C所示的任何替换图像。诸如广告、消息和翻译文本之类的任何的各种类型的信息可以以替换图像数据的形式来提供。因此在以下方面实现了优点：可增加捕获图像的附加值，而没有显著地变更原始图像内容。

例如，作为插入图像数据的广告信息的使用将为登广告者创造新的广告机会，并且最终，该实施例中的系统可用作高度有效的广告媒体。换言之，新的商业模型可基于该实施例中实现的系统来创造。

系统还向用户提供诸如广告信息之类的有用信息。

更具体地，当具有例如广告内容的插入图像数据响应于当前日/时、当前位置或用户ID而从服务器装置70被提供时，特定用户将被提供及时的广告、对于当前用户位置而言适当的广告、对特定用户而言可能证明是有用的广告等。换言之，可通过系统来提高替换图像数据的价值。

此外，作为插入图像数据的消息文本图像的使用将使得可以定制图像，因为所增加的消息将呈现对用户的个人感觉而言更有吸引力的或更相关的图像。转而，这将拓宽用户参与的范围，或者创造新的图像使用模式。

作为插入图像数据的翻译文本的使用将确保更好的用户便利性。例如，佩戴了诸如图1A所示的可穿戴成像装置1之类的可穿戴成像装置1的用户，在海外的旅行中等，将能够阅读翻译成他的母语的、用户的视野中的、实际以外国语提供在标志牌等上的文本，因为具有翻译文本的替换图像数据被立即输出并且显示在显示单元2处。在这样的环境下，用户一定会发现系统是很方便的。

本发明不限于上述实施例，并且考虑到了与可在成像装置1中采用的结构或可在成像装置1中执行的处理相关的扩展应用的各种变化和示例。

本发明的该实施例中的图像处理装置可以是除成像装置1以外的任何的各种装置。

图20示出包括系统控制器10、图像获取单元20、图像分析/替换单元12、保存处理单元22、图像输出单元21和插入图像存储单元18的，本发明的该实施例中实现的图像处理装置。

配备有这些结构组件的任何的各种设备可实施根据本发明的图像处理装置。

作为替代，采用了既不包括图像输出单元21也不包括保存处理单元22的结构的设备、或者采用了要么不包括图像输出单元21要么不包括保存处理单元22的结构的设备可构成本发明的该实施例中实现的图像处理装置。

图像获取单元20是获得在图像分析/替换单元12处经受处理的捕获图像数据的框。如已参考该实施例中的成像装置1所描述的，图像获取单元20可利用成像单元3和成像控制单元6、通信单元15、再现驱动器等来构成，其中再现驱动器再现诸如光盘或储存卡之类的便携记录介质中的信息，以读出便携记录介质中记录的捕获图像数据。

此外，由图像获取单元20获得的捕获图像数据可以是静止图像数据或视频数据。

执行用于保存替换图像数据的处理的保存处理单元22等同于该实施例中的存储单元14。

要注意，在如下的应用中：如在图3B或图3C所示的模式中，替换图像数据被发送至外部设备80或服务器装置70以保存在外部设备80或服务器装置70处；参与替换图像数据的发送的通信单元15等同于保存处理单元22。可通过无线传输或有线传输来发送替换图像数据，这点将会是明显的。

图像输出单元21等同于在以上实施例中显示输出替换图像数据的显示单元2。此外，输出替换图像数据以将替换图像数据显示在外部监控装置处的输出单元也可被看作图像输出单元21。

此外，如图3B或图3C所示，通过有线连接或无线连接向外部设备80或服务器装置70发送替换图像数据的通信单元15也可被看作图像输出单元21。

图像输出单元21还可利用记录驱动器来构成，其中记录驱动器将替换图像数据记录进便携记录介质，以使替换图像数据能从装置经由便携记录介质输出。

如上所述，图像获取单元20、图像输出单元21和保存处理单元22，每个都可假设为任何的非常各种各样的模式。考虑到这些前提，代替诸如照相机或摄像机之类的成像装置，根据本发明的一个实施例的图像处理装置可被实现为没有成像功能的监控显示装置、通信装置或图像数据保存装置，合成图像的图像编辑装置，等等。

此外，图像分析/替换单元12已被描述为执行替换区域设置处理和图像替换处理的单元。换言之，本发明的权利要求中所提及的替换区域设置单元和替换图像生成单元被实施在图像分析/替换单元12中。

然而，诸如成像装置1之类的、根据本发明的一个实施例的图像处理装置可代替地仅配备有替换区域设置单元或替换图像生成单元。也就是说，本发明可用在配备有图像分析单元的装置中以在装置内仅执行替换区域设置处理，或者可用在配备有图像替换单元的装置中以在装置内仅执行图像替换处理。

例如，可在给定设备处执行替换区域设置处理，并且可向另一设备提供捕获图像数据和替换区域信息。将通过使用提供给其他设备的捕获图像数据和替换区域信息，而在其他设备处执行图像替换处理以生成替换图像数据。

Claims

1.一种图像处理装置，包括：

捕获图像获取单元，所述捕获图像获取单元获得捕获图像数据；

插入图像存储单元，所述插入图像存储单元存储插入图像数据；

替换区域设置单元，所述替换区域设置单元在由所述捕获图像获取单元获得的所述捕获图像数据的图像内设置替换区域；以及

替换图像生成单元，所述替换图像生成单元通过执行用于利用从所述插入图像存储单元读出的所述插入图像数据来替换所述替换区域内的全部或部分像素数据的处理，来生成替换图像数据。

2.根据权利要求1所述的图像处理装置，其中，所述捕获图像获取单元包括捕捉图像的成像单元，并且通过所述成像单元的图像捕捉来获得所述捕获图像数据。

3.根据权利要求2所述的图像处理装置，其中，所述成像单元包括用作图像传感器的CCD传感器或CMOS传感器。

4.根据权利要求1所述的图像处理装置，其中，所述捕获图像获取单元包括与外部通信设备通信的通信单元，并且所述捕获图像获取单元通过利用所述通信单元与所述外部通信设备进行通信来接收捕获数据，由此获得所述捕获图像数据。

5.根据权利要求1所述的图像处理装置，其中，所述捕获图像获取单元包括从便携记录介质再现信息的再现单元，并且通过由所述再现单元对所述便携记录介质的再现，来获得所述捕获图像数据。

6.根据权利要求1所述的图像处理装置，具有：

与外部通信设备通信的通信单元，其中

所述插入图像存储单元存储从所述外部通信设备发送的并且在所述通信单元处接收的所述插入图像数据。

7.根据权利要求1所述的图像处理装置，还包括：

保存处理单元，所述保存处理单元对于由所述替换图像生成单元生成的所述替换图像数据和/或由所述替换区域设置单元设置的所述替换区域的信息执行保存处理。

8.根据权利要求7所述的图像处理装置，其中，所述保存处理单元包括将信息记录进记录介质的记录单元，并且作为所述保存处理，将所述替换图像数据和/或所述替换区域的信息记录进所述记录介质。

9.根据权利要求7所述的图像处理装置，其中，所述保存处理单元包括与外部通信设备通信的通信单元，并且作为所述保存处理，将所述替换图像数据和/或所述替换区域的信息发送至所述外部通信设备。

10.根据权利要求1所述的图像处理装置，还包括：

图像输出单元，所述图像输出单元对于由所述替换图像生成单元生成的所述替换图像数据执行输出处理。

11.根据权利要求10所述的图像处理装置，其中，所述图像输出单元包括显示单元，并且作为所述输出处理，在所述显示单元上进行所述替换图像数据的显示输出。

12.根据权利要求10所述的图像处理装置，其中，所述图像输出单元包括与外部通信设备通信的通信单元，并且作为所述输出处理，经由所述通信单元向所述外部通信设备发送输出所述替换图像数据。

13.根据权利要求10所述的图像处理装置，其中，所述图像输出单元包括将信息记录进便携记录介质的记录单元，并且作为所述输出处理，通过所述记录单元将所述替换图像数据记录进所述便携记录介质。

14.根据权利要求1所述的图像处理装置，其中，所述替换区域设置单元通过对所述捕获图像数据的图像分析处理来在所述捕获图像数据内检测特定图像，并且基于检测到的图像来设置所述替换区域。

15.根据权利要求1所述的图像处理装置，其中，所述插入图像数据是广告图像、消息文本图像或翻译文本图像。

16.一种图像处理方法，包括以下步骤：

获得捕获图像数据；

在所获得的捕获图像数据的图像内设置替换区域；

读出所存储的插入图像数据；以及

利用所读出的插入图像数据来替换所述替换区域内的全部或部分像素数据，由此来生成替换图像数据。

17.一种图像处理系统，所述图像处理系统具有能够彼此通信的图像处理装置和服务器装置，其中：

所述图像处理装置包括

捕获图像获取单元，所述捕获图像获取单元获得捕获图像数据，

接收单元，所述接收单元接收从所述服务器装置发送的插入图像数据，

插入图像存储单元，所述插入图像存储单元存储在所述接收单元处接收的所述插入图像数据，

替换区域设置单元，所述替换区域设置单元在由所述捕获图像获取单元获得的所述捕获图像数据的图像内设置替换区域，以及

替换图像生成单元，所述替换图像生成单元通过执行用于利用从所述插入图像存储单元读出的所述插入图像数据来替换所述替换区域内的全部或部分像素数据的处理，来生成替换图像数据，并且

所述服务器装置包括发送单元，所述发送单元向所述图像处理装置发送所述插入图像数据。

18.一种图像处理装置，包括：

保存处理单元，所述保存处理单元对于所述捕获图像数据以及由所述替换区域设置单元设置的所述替换区域的信息执行保存处理。

19.一种图像处理装置，包括：

记录/再现单元，所述记录/再现单元将捕获图像数据和针对所述捕获图像数据设置的替换区域的信息彼此对应起来记录和再现所述捕获图像数据和所述信息；

插入图像存储单元，所述插入图像存储单元存储插入图像数据；以及

替换图像生成单元，所述替换图像生成单元通过从所述记录/再现单元获得所述捕获图像数据和所述替换区域的信息，并且对所获得的捕获图像数据执行用于利用从所述插入图像存储单元读出的所述插入图像数据来替换所述替换区域的信息所指示的所述替换区域内的全部或部分像素数据的处理，由此来生成替换图像数据。