CN1885291A - 用于向用户提供图像相关信息的方法和系统及其移动终端 - Google Patents

Abstract

公开了一种用于获取与通过移动终端(MT)的相机模块拍摄的图像相关的信息的MT。该MT在拍摄的图像中捕捉期望的图像，还在内部搜索与捕捉的图像相关的信息，或者经互联网或无线网络将信息请求发送到信息服务器。当从移动终端一接收到捕捉的图像时，信息服务器就从捕捉的图像识别图像模式或字符，并搜索其相关信息。或者，当一接收到图像模式或字符时，信息服务器就搜索与接收的图像模式或字符相关的信息。信息服务器将搜索到的信息发送到MT，MT向用户显示接收的信息。

Description

用于向用户提供图像相关信息的方法和系统及其移动终端

                    技术领域

本发明总体上涉及一种用于管理图像信息的方法和系统，具体地讲，涉及一种用于向用户提供图像相关信息的方法和系统及其移动终端。

                    背景技术

最近随着移动终端的普及，用户可享受各种服务，诸如通过移动终端的屏幕为旅游用户提供道路状况信息的交通信息服务、允许用户注册他/她自己的独特的铃声的“我的铃声”服务、以及为用户提供指示在语音邮箱收到语音消息的文本信息的移动传呼服务。由于移动终端被设计为支持由服务提供商提供的各种附加服务，诸如语音邮箱功能和特别信息接收功能，所以除了为移动终端的用户提供了传统的电话呼叫功能之外，还提供了各种便利。

随着各种服务和附加功能变得普遍，移动通信系统不仅提供语音和数据服务，而且还提供支持几Mb/s的数据速率的ISDN-class多媒体服务。最近，适合于移动通信系统的终端已被开发。例如，在市场上已出现了带有具有能拍摄对象并存储拍摄的图像的功能的相机模块的移动终端。

移动终端已变得更加普通，其包括诸如相机功能的功能，用户可随时随地使用移动终端方便地拍摄画面。另外，由于用户可方便携带配备有相机的移动终端，所以用户可在紧急情况下拍摄画面，还可随意地随时拍摄画面。

具有相机模块的终端包括各种方法。为了提高具有相机模块的移动终端的实用性和效率并满足各种用户需求，需要将上述各种服务和附加功能施加于具有相机模块的移动终端。例如，可实现能够通过使用包括在移动终端中的相机模块来识别诸如印刷在文档上的数据和电话号码的字符的光学字符识别(OCR)功能。

虽然包括在移动终端中的相机模块具有各种用途，但是相机模块的用途仅限于OCR功能。

                    发明内容

因此，本发明的目的在于提供一种用于向用户提供图像相关信息的方法和系统及其移动终端。

根据本发明的一方面，提供了一种用于向用户提供图像相关信息的移动终端。该移动终端包括：相机模块，用于拍摄图像；数据库，用于存储图像、图像模式或字符及其相关信息；和控制器，用于从使用相机模块拍摄的图像识别图像模式或字符，在数据库中搜索其相关信息，并向用户提供搜索到的信息。

根据本发明的另一方面，提供了一种用于在包括移动终端和信息服务器的系统中向用户提供图像相关信息的方法，该方法包括：使用移动终端拍摄特定图像；从拍摄的图像识别图像模式或字符；和将识别结果发送到信息服务器。信息服务器搜索识别结果以找到与识别的图像模式或字符相关的信息，并将搜索到的信息发送到移动终端。移动终端显示从信息服务器提供的搜索到的信息。

                        附图说明

从下面结合附图的详细描述，本发明的以上和其它目的、特征和优点将变得更加清楚，其中：

图1是示出根据本发明实施例的包括用于提供图像相关信息的移动终端的系统的结构的示图；

图2是示出根据本发明实施例的移动终端的结构的方框图；

图3是示出根据本发明实施例的移动终端和信息服务器之间的消息流的流程图；

图4是示出根据本发明的另一实施例的移动终端和信息服务器之间的消息流的流程图；

图5是示出在根据本发明实施例的移动终端中提供与捕捉的图像相关的信息的操作的流程图；

图6是示出在根据本发明实施例的移动终端中捕捉运动图像的一个场景并获取与捕捉的图像相关的信息的操作的流程图；和

图7是示出根据本发明实施例的获取与两个或更多个模式识别目标(如果有的话)相关的信息的操作的流程图。

                      具体实施方式

现在将参考附图来详细地描述本发明的几个示例性实施例。在附图中，即使相同或相似的部件被表示在不同的附图中，它们也由相同的标号表示。在下面的描述中，为了清晰和简明，省略了合并于此的已知功能和结构的详细描述。

根据本发明的移动终端用于获取与通过包括在移动终端中的相机模块拍摄的图像相关的信息。即，所述移动终端在内部搜索与通过其相机模块拍摄的图像相关的信息，或者经互联网或无线网络将信息请求发送到信息服务器。所拍摄的图像可包括具有建筑物、商店的招牌、公共汽车的车号牌等的轮廓的图像。所述移动终端不仅可将拍摄的图像直接发送到信息服务器，而且还可从拍摄的图像识别图像模式或字符然后将识别结果发送到信息服务器。用户可部分捕捉通过相机模块拍摄的图像。即，所述移动终端允许用户仅捕捉通过相机拍摄的图像的特定区域(比如，选择的区域)。在这种情况下，仅关于拍摄的图像的捕捉区域的信息可被发送到信息服务器。

当从移动终端一接收到拍摄的图像时，信息服务器就从接收到的拍摄图像识别图像模式或字符，并搜索其相关信息。或者，当从移动终端一接收到图像模式或字符时，信息服务器就搜索与接收到的图像模式或字符相关的信息。如果信息服务器将搜索到的信息发送到移动终端，则移动终端向用户显示接收的信息。或者，移动终端从拍摄的图像识别图像模式或字符，在其数据库中搜索与图像模式或字符相关的信息，并将搜索到的信息提供给用户。此外，在这种情况下，用户可部分捕捉通过相机拍摄的图像。

图1是示出根据本发明的包括用于提供图像相关信息的移动终端的系统的结构的示图。

参考图1，移动终端100与基站200无线通信。基站200与位于其蜂窝区中的移动终端100无线连接，并为移动终端100提供移动通信服务。基站200与移动交换中心(MSC)210连接。与基站200连接的移动交换中心210执行呼叫连接交换功能，并执行与另一移动交换中心的网络交互操作，其中，所述呼叫连接交换功能用于处理对移动终端100的呼叫终止/发起请求。另外，移动交换中心210与信息服务器220连接，并允许信息服务器220与移动终端100交互工作。

移动终端100可经基站200和移动交换中心210将通过其相机模块拍摄的图像发送到信息服务器220。或者，移动终端100可从通过其相机模块拍摄的图像识别图像模式或字符，并将识别结果发送到信息服务器220。当从移动终端100一接收到拍摄的图像时，信息服务器220就从拍摄的图像识别图像模式或字符，并搜索其相关信息。或者，当从移动终端100一接收到图像模式或字符时，信息服务器220就搜索与接收到的图像模式或字符相关的信息。为此，信息服务器220包括用于存储从移动终端100提供的图像、图像模式或字符及其相关信息的数据库230。例如，数据库230可存储特定建筑物或招牌的图像以及与该特定建筑物或招牌的位置相关的全球定位系统(GPS)数据。另外，数据库230可存储其它信息，诸如可包括线路/时间信息的车号。

在这种情况下，如果移动终端100将拍摄的特定建筑物的图像发送到信息服务器220，则信息服务器220可在数据库230中搜索拍摄的图像，并将其相关的存储的GPS数据发送到移动终端100。GPS数据可包括从当前位置到相应的建筑物/招牌的地图和路线。或者，信息服务器220可从捕捉的图像识别图像模式或字符，并搜索与识别的图像模式或字符相关的信息。例如，如果移动终端拍摄了城市风光、桥梁和/或独特的建筑物的图像，则可搜索数据库来识别拍摄的城市风光、桥梁或建筑物，并返回诸如纽约市、布鲁克林桥和/或帝国大厦的信息。另外，诸如关于拍摄的图像中的对象的位置和/或方向的其它数据可被显示给用户。

另外，移动终端100可捕捉公共汽车的车号牌，然后使用OCR技术来读取该车号牌。如果移动终端100将车号发送到信息服务器220，则信息服务器220可将从数据库230搜索到的关于相应车号的线路/时间信息发送到移动终端100。如果信息服务器220将搜索到的信息发送到移动终端100，则移动终端100向用户显示接收的信息。

或者，不用信息服务器，移动终端100可从使用其相机模块拍摄的图像识别图像模式或字符，在其自己的数据库中搜索与图像模式或字符相关的信息，并为用户提供该信息。

现在将参考图2来描述所述移动终端的方框图，在图2中，移动终端100包括射频(RF)模块110、基带处理器112、用户接口120、控制器130、存储器140、显示器150、字符识别器160、相机模块170和模式识别器180。

根据本发明实施例，控制器130控制移动终端的整个操作，并控制移动终端的每个部件以拍摄特定图像并提供其相关信息。

现在将更详细地描述控制器130的操作。根据实施例，控制器130可将通过相机模块170拍摄的图像发送到信息服务器220。

根据另一实施例，控制器130可从通过相机模块170拍摄的图像识别图像模式或字符，并将识别结果发送到信息服务器220。在这种情况下，控制器130使用模式识别器180从拍摄的图像识别图像模式。另外，控制器130使用字符识别器160从拍摄的图像识别字符。控制器130经RF模块110将识别的图像模式或字符发送到信息服务器220。当控制器130不能识别从拍摄的图像获得的图像模式或字符时，它可将拍摄的图像发送到信息服务器220。

根据另一实施例，不用信息服务器，控制器130可从使用相机模块170拍摄的图像识别图像模式或字符，在其存储器140中搜索与图像模式或字符相关的信息，并将该信息提供给用户。

可选地，控制器130可让用户仅捕捉通过相机模块170拍摄的图像的预定部分。为此，当几个模式识别目标被拍摄时，例如，当存在三个公共汽车的车号牌时，控制器130将信息提供用户，从而用户可选择期望的目标。如果用户根据提供的信息选择拍摄的图像的特定区域，则控制器130捕捉选择的特定区域，并仅将整个图像的捕捉区域发送到信息服务器220。另外，当用户想获取与正被显示的运动图像的场景相关的信息时，控制器130允许用户通过按下捕捉键来获取期望的场景的图像。为此，控制器130确定当运动图像正被显示的同时捕捉键是否被输入，并且如果捕捉键被按下，则控制器130捕捉此时的图像。其后，控制器130从捕捉的图像识别图像模式或字符。

控制器130不仅可在例如存储器140中实现的数据库中搜索与识别的图像模式或字符相关的信息，而且还可将信息请求发送到信息服务器220来获取相应的信息。

RF模块110经天线ANT与基站交换RF信号。RF模块110将接收的RF信号转换为中频(IF)信号，并将该IF信号输出到基带处理器112。此外，RF模块110在发送之前将从基带处理器112接收的IF信号转换为RF信号。基带处理器112(比如，用于在控制器130和RF模块110之间提供接口的基带模拟ASIC(BAA))将从控制器130提供的基带数字信号转换为IF信号并将该IF信号输出到RF模块110，和将从RF模块110提供的模拟IF信号转换为基带数字信号并将该基带数字信号输出到控制器130。

用户接口120包括多个数字键和功能键，并将与由用户按下的键相应的键输入数据输出到控制器130。存储器140包括：只读存储器(ROM)，用于存储多个应用程序；随机存取存储器(RAM)，用于存储控制移动终端100的操作所需的信息；和语音存储器，用于存储语音信息。另外，存储器140可包括用于存储图像、图像模式或字符及其相关信息的数据库(未显示)。此外，存储器140可存储用于图像模式识别或字符识别的数据。通常，显示器150包括液晶显示器(LCD)，并且在控制器130的控制下显示运动图像与各种消息和图标。

现在将描述移动终端和信息服务器之间的消息流。

图3是示出根据本发明的移动终端和信息服务器之间的消息流的示图。移动终端100在步骤310中拍摄特定图像，并在步骤320中将拍摄的图像发送到信息服务器220。信息服务器220在步骤330中从接收的图像识别图像模式或字符，并在步骤332中搜索与图像模式或字符相关的信息。如上所述，信息服务器220包括用于存储从移动终端100提供的图像、图像模式或字符及其相关信息的数据库230，并在数据库230中搜索图像相关信息。在步骤340中，信息服务器220将搜索到的信息发送到移动终端100。在步骤350中，移动终端100向用户显示接收的信息。

图4是示出根据本发明的移动终端和信息服务器之间的消息流的示图。移动终端100在步骤410中拍摄特定图像，并在步骤420中从拍摄的图像识别图像模式或字符。移动终端100在步骤430中将图像模式或字符发送到信息服务器220。例如，在拍摄特定公共汽车的车号牌之后，移动终端100可使用光学字符识别(OCR)技术来从该车号牌读取车号。在这种情况下，移动终端100将车号发送到信息服务器220。如果控制器130不能识别从拍摄的图像获取的图像模式或字符，则控制器130可将拍摄的整个图像发送到信息服务器220。

在步骤440中，信息服务器220在数据库230中搜索与发送的图像模式或字符相关的信息。在步骤450中，信息服务器220将搜索到的信息发送到移动终端100。如上所述，如果移动终端100将车号发送到信息服务器220，则信息服务器220可在数据库230中搜索关于相应车号的线路/时间信息，并在步骤450中将该线路/时间信息发送到移动终端100。在步骤460中，移动终端100在显示器150上显示从信息服务器220发送的信息。

在前述实施例中，移动终端100访问信息服务器220以获取与拍摄的图像相关的信息。然而，不用信息服务器220，移动终端100可在其自己的数据库中搜索与使用其相机模块170拍摄的图像相关的信息，并将搜索到的信息提供给用户。

图5是示出在根据本发明的移动终端中提供与拍摄的图像相关的信息的操作的流程图。移动终端100的控制器130在步骤510中确定用户是否选择了图像捕捉功能。根据本实施例，用户可捕捉拍摄的图像的期望部分。如果用户选择了图像捕捉功能，则控制器130进行到步骤520，在步骤520中控制器130在显示器150上显示图像捕捉窗口。提供捕捉窗口是为了仅捕捉通过相机模块170拍摄的整个图像的一部分。例如，控制器130可在通过相机模块170拍摄的整个图像上显示预定的矩形窗口。用户可改变捕捉窗口的大小和/或位置。控制器130在步骤530中确定是否存在用于改变捕捉窗口的大小和/或位置的任何键输入。如果存在用于改变捕捉窗口的大小和/或位置的键输入，则控制器130进行到步骤540，在步骤540中控制器130根据相应的键输入来改变捕捉窗口。其后，控制器130在步骤550中确定图像捕捉是否已经完成。如果用户输入图像捕捉完成键或者捕捉窗口在预定时间内没有被改变，则控制器130可检测图像捕捉的完成。如果图像捕捉完成，则控制器130进行到步骤560，在步骤560中控制器130从捕捉的图像识别图像模式或字符。其后，在步骤570中，控制器130在例如在存储器140中实现的数据库中搜索与识别的图像模式或字符相关的信息。如上所述，根据本实施例，移动终端100可包括用于存储图像、图像模式或字符及其相关信息的数据库。在步骤580中，控制器130在显示器150上显示搜索到的信息。

虽然本实施例捕捉的是拍摄的图像的一部分，但是另一实施例可在正被拍摄的显示的图像中选择模式识别目标。本领域的技术人员应该理解，通过稍微修改前一实施例，可简单地实现后一实施例。在这种情况下，拍摄的整个图像被存储在移动终端中，但只有模式识别目标区域被发送到文件传送服务器。或者，移动终端可通过仅对模式识别目标区域执行模式识别来搜索相关信息。

根据本发明的另一实施例，移动终端可捕捉显示的运动图像的一个场景。现在将参考图6来描述捕捉运动图像的一个场景和获取与捕捉的图像相关的信息的操作。

参考图6，控制器130在步骤610中显示运动图像。在这种情况下，控制器130不仅可显示实时接收的运动图像，还可显示正被再现的存储的运动图像。在显示运动图像的同时，控制器130在步骤620中确定捕捉键是否被输入。如果用户期望获取与正被显示的运动图像的相应场景相关的信息，则用户可通过按下捕捉键来获取期望的场景。如果用户按下捕捉键，则控制器130进行到步骤630，在步骤630中控制器130捕捉在按下捕捉键时显示的图像。其后，在步骤640中，控制器130从捕捉的图像识别图像模式或字符。

在步骤650中，控制器130在例如在存储器140中实现的数据库中搜索与识别的图像模式或字符相关的信息。或者，控制器130可通过将信息请求发送到信息服务器220来获取与在步骤640中识别的图像模式或字符相关的信息。在步骤660中，控制器130显示与获取的图像模式或字符相关的信息。

根据本发明的另一方面，所述移动终端被设计为：当在拍摄的图像中存在几个模式识别目标时，移动终端可选择两个或更多个模式识别目标并获取其相关信息。参考图7，现在将描述当存在几个模式识别目标时获取两个或更多个模式识别目标的操作。

参考图7，控制器130在步骤710中拍摄特定图像，并在步骤720中从拍摄的图像识别图像模式或字符。控制器130在步骤730中确定识别的图像模式或字符的数量是否等于或大于2。例如，几个模式识别目标，诸如公共汽车的车号牌，可被包括在一个图像中。如果在拍摄的图像中仅存在一个模式识别目标，则控制器130进行到步骤760。

然而，如果拍摄的图像包括几个模式识别目标，则控制器130进行到步骤740，在步骤740中控制器130显示两个或更多个模式识别目标。即，控制器130向用户显示几个模式识别目标，并请求用户选择该几个模式识别目标中的一个模式识别目标。控制器130在显示器150上顺序地显示模式识别目标，用户可通过移动光标和选择相应的编号来选择期望的模式识别目标。在步骤750中，控制器130确定用户是否选择了任一模式识别目标。如果用户选择了模式识别目标，则控制器130进行到步骤760，在步骤760中控制器130将相应的识别的图像模式或字符发送到信息服务器220。

控制器130在步骤770中从信息服务器220接收与相应的图像模式或字符相关的信息，并在步骤780中显示该信息。在本实施例中，移动终端100检测模式识别目标的存在。然而，在可选的实施例中，信息服务器220可检测拍摄的图像中几个模式识别目标的存在，并且向移动终端100询问它将选择哪个模式识别目标。

从前面的描述中可理解，使用了包括在移动终端中的相机模块，从而扩大了相机模块的应用，并为用户提供了便利性。另外，由于移动终端搜索与使用相机模块捕捉的图像相关的信息，所以用户可通过拍摄图像来简单地获取期望的信息。

尽管已参考本发明的某个优选实施例显示并描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可对本发明进行形式和细节的各种改变。

Claims (8)

1、一种用于在包括移动终端和信息服务器的系统中向用户提供图像相关信息的方法，该方法包括：

移动终端拍摄图像，从拍摄的图像识别图像模式或字符，并将识别结果发送到信息服务器；

信息服务器搜索与识别的图像模式或字符相关的信息，并将搜索到的信息发送到移动终端；和

移动终端显示从信息服务器提供的搜索到的信息。

2、一种用于在包括移动终端和信息服务器的系统中向用户提供图像相关信息的方法，该方法包括：

移动终端拍摄图像，并将拍摄的图像发送到信息服务器；

信息服务器从拍摄的图像识别图像模式或字符；

信息服务器搜索与识别的图像模式或字符相关的信息，并将搜索到的信息发送到移动终端；和

移动终端显示从信息服务器提供的搜索到的信息。

3、一种用于在包括移动终端和信息服务器的系统中向用户提供图像相关信息的方法，该方法包括：

移动终端拍摄图像，并将拍摄的图像发送到信息服务器；

信息服务器搜索与拍摄的图像相关的信息，并将搜索到的信息发送到移动终端；和

移动终端显示从信息服务器提供的搜索到的信息。

4、一种用于向用户提供图像相关信息的系统，该系统包括：

移动终端，用于拍摄图像并发送拍摄的图像；和

信息服务器，从拍摄的图像识别图像模式或字符，搜索与识别的图像模式或字符相关的信息，并将搜索到的信息发送到移动终端；

其中，移动终端接收从信息服务器提供的搜索到的信息并显示接收的信息。

5、一种用于向用户提供图像相关信息的移动终端，该移动终端包括：

相机模块，用于拍摄图像；

数据库，用于存储图像、图像模式或字符及其相关信息；和

控制器，用于从使用相机模块拍摄的图像识别图像模式或字符，在数据库中搜索其相关信息，并将搜索到的信息提供给用户。

6、如权利要求5所述的移动终端，其中，控制器显示用于捕捉部分图像的捕捉窗口，并根据来自用户的键输入来改变捕捉窗口的大小和/或位置。

7、一种在包括移动终端和信息服务器的系统中向用户提供图像相关信息的方法，该方法包括：

移动终端拍摄图像，从拍摄的图像识别图像模式或字符，并且如果存在两个或更多个模式识别目标，则接收由用户选择的一个模式识别目标，并将选择的模式识别目标发送到信息服务器；

信息服务器搜索与接收的模式识别目标的识别的图像模式或字符相关的信息，并将搜索到的信息发送到移动终端；和

移动终端显示从信息服务器提供的搜索到的信息。

8、一种向用户提供图像相关信息的移动终端，该移动终端包括：

显示器，用于显示运动图像；

数据库，用于存储图像、图像模式或字符及其相关信息；和

控制器，如果在显示运动图像的同时用户按下了捕捉键，则从所述运动图像捕捉在捕捉键被按下时显示的图像，从捕捉的图像识别图像模式或字符，在数据库中搜索其相关信息，并将搜索到的信息提供给用户。

Images