CN101657983A - 提供和使用关于与交通情况相关的视频的信息 - Google Patents

提供和使用关于与交通情况相关的视频的信息 Download PDF

Info

Publication number
CN101657983A
CN101657983A CN200880011424A CN200880011424A CN101657983A CN 101657983 A CN101657983 A CN 101657983A CN 200880011424 A CN200880011424 A CN 200880011424A CN 200880011424 A CN200880011424 A CN 200880011424A CN 101657983 A CN101657983 A CN 101657983A
Authority
CN
China
Prior art keywords
information
message
data
video
audio attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880011424A
Other languages
English (en)
Other versions
CN101657983B (zh
Inventor
金英仁
徐朱贤
朴商午
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN101657983A publication Critical patent/CN101657983A/zh
Application granted granted Critical
Publication of CN101657983B publication Critical patent/CN101657983B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/53Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers
    • H04H20/55Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers for traffic information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/091Traffic information broadcasting
    • G08G1/092Coding or decoding of the information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及提供和使用关于与交通情况相关的视频的信息。本发明公开了对应用信息进行的编码和解码。编码方法包括创建关于与通过交通信息服务提供的交通信息消息承载的内容相关联的视频和/或音频的数据的多媒体对象信息;创建指示该交通信息消息的引用信息;以及组织包括多媒体对象信息和引用信息的多媒体信息消息。利用由交通信息服务提供的交通信息时,用户在需要时能够视觉和/或听觉地识别通过交通信息服务提供信息的具体交通情况。

Description

提供和使用关于与交通情况相关的视频的信息
技术领域
本发明涉及提供支持车辆驾驶的信息和利用所提供的信息。
背景技术
由于最近的数字信号处理和通信技术的发展,使得逐渐以数字数据的形式提供收音和电视广播信号。由于以数字数据的形式提供信号,使得现在能够向电视或收音广播信号中加入各种信息,这些信息包括新闻、股票、天气、交通等。
具体地说,随着闹市区的车辆、节假日的车辆的数量增加等,对交通信息的需要逐步增加。因此,正在开发通过卫星、陆地广播、或移动通信网络提供交通信息作为辅助信息的方法。
发明内容
本发明的一个目的是提供一种用于通过提供与交通情况相关的视觉信息来帮助用户识别交通情况的方法和设备。
本发明的另一目的是提供用于提供与通过另一应用信息服务提供的交通信息相关联的与交通情况相关的视觉信息的一种方法和设备。
本发明的目的不限于上述内容;可从本发明的具体和示例描述中得到的内容应必然包括在以上目的中。
根据本发明的一种用于对应用信息进行编码的方法包括:创建关于与通过交通信息服务提供的交通信息消息承载的内容相关联的视频和/或音频属性的数据的多媒体对象信息,创建指示所述交通信息消息的引用信息,以及配置包括多媒体对象信息和引用信息的多媒体信息消息。
根据本发明的一种用于对应用信息进行解码的方法包括:从用于多媒体信息服务的信号中提取承载与视频和/或音频属性的数据相关的多媒体对象信息的多媒体信息消息,从所提取的多媒体信息消息中提取引用信息;以及从通过区别于所述多媒体信息服务的交通信息服务提供的交通信息消息中提取与所述视频和/或音频属性的数据相关联的交通信息,通过所提取的引用信息来识别所述交通信息消息。
在根据本发明的一个实施方式中,引用信息包括为指示与特定应用服务相关的信息的运送而指配的服务成分标识符、与信息消息相关的标识符、以及所述信息消息的版本号。
在根据本发明的一个实施方式中,交通信息消息还包括和传递为指示与所述多媒体信息服务相关的信息的运送而指配的服务成分标识符、与多媒体信息消息相关的标识符、以及多媒体信息消息的版本号。
在根据本发明的一个实施方式中,引用消息由用于参照多个交通信息消息的几个引用信息集合组成。
在根据本发明的一个实施方式中,将引用信息记录在多媒体信息消息的管理信息的区域中。
在根据本发明的另一实施方式中,将引用信息记录在跟随多媒体信息消息的管理信息的成分之一中。
在根据本发明的一个实施方式中,将具有视频和/或音频属性的数据包括在多媒体对象信息中。
在根据本发明的另一实施方式中,多媒体对象信息包括用于访问通过与发送所述第二信息消息的信号信道或传输介质不同的信号信道或传输介质发送的视频和/或音频属性的数据的信息。用于访问的信息可包括频率信息或具有视频和/或音频属性的数据在网络上的唯一位置信息,例如URL(统一资源定位符)。在用于访问的信息包括频率信息的情况下,用于访问的信息可还包括与传递具有视频和/或音频属性的数据的方法相关的信息。
在根据本发明的一个实施方式中,多媒体对象信息包括具有视频和/或音频属性的数据的播放类型、编码格式、大小、收集器信息、或描述信息。
在根据本发明的一个实施方式中,多媒体对象信息可包括与具有视频和/或音频属性的数据相关的记账信息。在本实施方式中,根据向用户提供记账信息之后用户的响应来执行对具有视频和/或音频属性的数据的获取步骤。另外,在获取具有视频和/或音频属性的数据时执行认证步骤。
根据本发明的一种用于对应用信息进行解码的设备,包括:解调器,其对接收到的信号进行解调并输出承载应用信息的帧序列;信息解码器,其从所述帧序列中的一个帧中提取第一信息消息,并从所提取的第一信息消息中提取引用信息和与视频和/或音频属性的数据相关的多媒体对象信息;媒体解码器,其对具有视频和/或音频属性的数据进行解码;以及控制器,其控制所述信息解码器以对与具有视频和/或音频属性的数据相关联的第二信息消息进行解码,通过所提取的引用信息来指定所述第二信息消息,并且该控制器对所述媒体解码器进行控制以解码并输出包括在所述多媒体对象信息中的具有视频和/或音频属性的数据。
根据本发明的另一用于对应用信息进行解码的设备包括:解调器,其对接收到的信号进行解调并输出承载应用信息的帧序列;信息解码器,其从所述帧序列中的一个帧中提取第一信息消息,并从所提取的第一信息消息中提取引用信息和与具有视频和/或音频属性的数据相关的多媒体对象信息;媒体解码器,其对具有视频和/或音频属性的数据进行解码;以及通信模块,其与网络执行数据通信;以及控制器,其控制所述信息解码器以对与具有视频和/或音频属性的数据相关联的第二信息消息进行解码,通过所提取的引用信息来指定所述第二信息消息,并且该控制器对所述通信模块进行控制以基于包括在所述多媒体对象信息中的用于访问的信息来获得具有视频和/或音频属性的数据以后,控制所述媒体解码器以解码并输出所获得具有视频和/或音频属性的数据。
以下将结合附图详细描述本发明的至少一个实施方式使得交通信息的用户能够在无需复杂过程的情况下在视觉和/或听觉方面容易识别与当前交通情况相关联的多媒体对象,从而提高了利用交通信息的方便性并便于使用交通信息。
附图说明
在附图中:
图1例示了通过无线信号提供与交通相关的多种信息的网络;
图2A例示了通过单个信号信道提供的各种应用信息的传递格式;
图2B例示了用于根据按图2A的传递格式提供的应用信息来组织用于传递与交通情况相关的信息的RTM(道路交通消息)消息的消息管理信息的语法的示例;
图3A到3E分别例示了用于组织RTM消息中包含的所传递的事件信息的语法;
图4例示了根据图3A到3E的语法组织的RTM消息的一个示例的传递格式;
图5例示了根据本发明的一个实施方式的传递关于与道路交通信息相关的多媒体数据的信息的MBT(基于多媒体的交通和出行)消息的传递格式;
图6A例示了承载各种应用信息的帧以及帧中包含的所传递的服务和网络信息的成分帧的结构;
图6B例示了示出图6A的服务和网络信息的成分帧的结构的语法;
图6C例示了示出传递与包含在图6B的SNI成分中的服务表指南相关的信息的结构的语法;
图7例示了用于组织按图5的传递格式提供的MBT消息的消息管理信息的语法的示例;
图8例示了当MBT消息与不同的应用信息的消息相关联以及将根据各应用信息的交叉引用信息写入各消息的示例;
图9例示了根据本发明的一个实施方式组织的MBT消息的传递格式;
图10A到10H分别例示了用于组织图9的对象信息成分及其子成分的语法;
图11例示了根据图10A到10H所示的语法的对象信息成分的详细结构以及伴随的传递格式;
图12A到12D分别例示了用于组织图9的对象信息成分及其子成分的语法;
图13例示了根据图12A到12D所示的语法的信息类型成分的详细结构以及伴随的传递格式;
图14A例示了根据本发明的一个实施方式用于组织图9的多媒体对象数据成分的语法;
图14B例示了根据本发明的另一实施方式用于组织图9的多媒体对象数据成分的语法;
图15例示了用于组织图9的附加信息成分的语法;
图16例示了根据本发明的另一实施方式组织的MBT消息的传递格式;
图17A到17H分别例示了用于组织图16的传输介质成分及其子成分的语法;
图18例示了根据图17A到17H所示的语法的传输介质成分的详细结构以及伴随的传递格式;
图19例示了用于组织由图13的信息类型成分承载的多媒体数据的记账信息的语法;
图20例示了根据本发明的另一实施方式组织的MBT消息的传递格式;
图21A到21B分别例示了根据本发明的另一实施方式用于组织承载指定另一应用信息消息的交叉引用信息的成分的语法;
图22例示了根据本发明的一个实施方式接收从图1的应用信息提供服务器发送的应用信息便携式终端或安装在车辆上的终端的框图;
图23A例示了根据本发明的一个实施方式接收包括MBT消息的交通相关信息的消息以及向用户提供消息的过程的流程图;
图23B例示了根据本发明的另一实施方式用于接收包括MBT消息的交通相关信息的消息以及向用户提供消息的部分过程;
图24A到24B分别例示了根据图23A和23B所示的过程向用户显示的车辆导航画面和显示解码后的多媒体数据的画面;
图25例示了根据本发明的一个实施方式接收从图1的应用信息提供服务器发送的应用信息的便携式终端或安装在车辆上的终端的框图;
图26例示了根据本发明的另一实施方式的图25的终端接收包括MBT消息的交通相关信息的消息以及向用户提供消息的过程的流程图;以及
图27例示了根据本发明的又一实施方式的图25的终端接收包括MBT消息的交通相关信息的消息以及向用户提供消息的过程的流程图。
具体实施方式
在下文,根据本发明,将参照附图详细描述本发明的优选实施方式。
图1例示了通过无线信号提供与交通相关的各种信息的网络。在图1所示的网络中,广播站中的应用信息提供服务器100针对各单独的应用信息对从各种源(例如操作员输入、通过网络101或探测车从其它服务器接收到的信息)搜集的关于拥堵和道路情况(例如,道路上的障碍物)的信息、道路交通情况的图像、停车信息、长途运输工具的服务信息等进行分类和组织,并且无线地发送所组织的信息,使得安装在车辆201的导航终端或用户携带的信息终端200能够接收到该信息。组织各种应用信息的信息发信方和无线地发送所组织的信息运营商可以是不同的服务提供商,本发明为了便于描述对信息发信方和信息运营商进行单独管理。
在下文描述了这样一种方法,即,在多种应用信息中,应用信息提供服务器100组织并发送当道路上发生事故或需要特别关注的事件时被发送的道路情况信息。
应用信息提供服务器100将如图2A组织的消息片段(下面被称为“TPEG(Transport Protocol Experts Group:运输协议专家组)消息”)的序列中的道路情况信息包括为单个消息片段。传递道路情况信息(即TPEG-RTM(Road Traffic Message:道路交通消息)消息)的消息片段包括消息管理容器211、RTM事件容器212、以及TPEG-RTM位置容器213。应用信息提供服务器100可以将不涉及道路情况的交通信息(例如,用于传递道路的通行(拥堵)信息的TPEG-CTT(Congestion and Travel-timeinformation:拥堵和出行时间信息)消息)包括在片段序列的不同的消息片段230中。当然,不同于上述应用信息的与交通相关的多种应用信息也可以包括在消息片段序列中。
针对由应用信息提供服务器100组织的道路情况信息的消息管理容器211根据图2B所示的语法组织对应的信息。消息管理容器承载消息标识符(mid)、消息版本(ver.)、消息生成时间、消息清除时间等。消息管理容器的选择器指示属于RTM事件容器212的RTM成分是否接续。RTM成分可以存储与要求用户关注的道路情况相关的事件信息或可以与位置信息一起属于位置容器213。当然,指配给各RTM成分的选择器确定RTM成分是属于RTM事件容器还是位置容器。例如,当RTM成分承载道路情况信息时,RTM具有标识符0x8N(N=0~9),而当RTM成分承载位置信息时具有标识符0x90或0xA0。
当在收集的信息中发现道路的事故信息时,应用信息提供服务器100根据图3A中的语法来组织用于传递事故信息的RTM成分,以及组织消息片段(即,图4所示的信息消息)。单个消息片段由仅单个RTM成分或承载关于道路情况的各种信息(例如关于路面情况(例如,不平坦、坑洼、松软表面、落石等)的信息)的多个RTM成分构成。
如图4的传递信息的示例所示,上述用于传递事故信息的RTM成分401包含用于传递关于事故的详细信息的一个以上的事故成分。当事故成分传递关于事故位置的信息时,根据图3B所示的语法来组织该信息;对于关于位置的信息,在事故位置成分411中记录终端的用于代表位置的一个预定值。
为了描述本发明,标记“rtmNN_ii”或“rtmNN”(NN和ii代表数字)用于表示文档或附图中的具体值。标记rtmNN_ii(或rtmNN)指示从终端200中预先存储的多个loc表(硬编码表)的表中的由rtmNN指定的表的ii值(或单个值),其中该值的含义已在应用信息提供服务器100和终端200之间进行过定义。除了目标表是mbt表之外,对以下描述或附图中使用的mbtNN_ii(或mbtNN)的解释与以上描述相同;mbt表同样包含多个值,在交通信息提供服务器100和终端200之间已预先定义了这些值的含义。如上所述,文档或附图中的标记locNN或mbtNN指示对相应的表中定义的值进行选择。在上述示例中,除了通知事故位置的值之外,可使用“rtm10”,其中可根据在rtm10表中定义的代码来指定事故在道路上的位置。例如,通过当事故位置是第一车道时指配1、第二车道时指配2、第三车道时指配3、第一和第二车道时指配9、等来定义rtm10表,单个值能够代表道路上的位置。
应用信息提供服务器100还能够将用于传递与事故原因的信息相关的事故成分放在用于传递事故信息的RTM成分中。事故原因可以是动物、车辆、或人。在事故原因为动物的情况下,根据图3C所示的语法来组织事故成分412;在此情况下事故成分412承载造成事故的动物的数量,另外还包括传递详细事故信息的动物成分。动物成分承载与动物的位置、动物事故类型(受伤、死亡等)相关的信息。指定动物的位置的方法例如遵循上述rtm10表的定义。当然,可通过不同的成分(例如,属于位置容器的成分)来传递指示位置属于哪个道路环节的信息。如果事故原因是车辆,在此情况下事故成分413承载在该事故中涉及的车辆的数量以及传递详细事故信息的车辆成分。车辆成分承载与车辆的位置、车辆事故类型(着火、倾覆、低速度、野蛮驾驶等)等相关的信息。指定车辆位置的方法例如遵循上述rtm10表的定义。
如果事故原因是人,则根据图3E所示的语法来组织事故成分414。在此情况下,事故成分414承载在该事故中涉及的人的数量以及传递详细事故信息的清除成分。清除成分承载与清除位置、清除问题类型(受伤、游行、暴乱等)等相关的信息。指定造成问题的清除的位置的方法例如遵循上述rtm10表的定义。
同时,当收集到与上述道路事故相关的多媒体数据(例如,视频数据)时,应用信息提供服务器100除了以消息片段的形式传递与事故相关的道路情况信息的操作之外,还以属于不同信息类型的消息片段的形式组织该多媒体数据,并传递所组织的多媒体数据。在根据本发明的另一实施方式中,如果通过与提供交通相关信息的另一信号信道或介质不同的信号信道或介质提供多媒体数据,则将与多媒体数据相关的访问信息组织为分离的消息片段,并传递该消息片段。如图5所示,通过应用于针对其它与交通相关的应用服务的信息的相同方法来组织用于传递与道路情况相关的多媒体数据或与数据相关的信息的消息片段,并且通过相同信号信道或通过不同信号信道随着针对其它应用服务的消息片段一起传递该消息片段。
按如图6A所示的方式组织传递针对应用服务的信息的信号信道。可以由应用信息提供服务器100或由单独的信号承载方(signal carrier)110来执行信号信道中的数据帧的组织。此时,信号承载方110可以作为对应用信息提供服务器100的补充通过从提供其它应用服务的信息的服务器接收应用信息来组织如图6A所示的数据帧。
为了更具体地描述图6A的数据帧组织,SCID(服务成分ID)被指配给各单独的应用服务,将属于同一服务的应用信息的消息(即,一个以上的消息片段)插入通过SCID彼此区分的各服务成分帧。如图6A所示,应用信息提供服务器100(或信号承载方110)为了向终端通知当前通过数据帧提供的各种应用信息而将SNI(服务和网络信息)数据的SCID为0的服务成分帧601插入各数据帧。SNI服务成分帧601具有如图6B所示的结构,包含一个以上SNI成分。SNI成分中的标识符为0x01的成分包括根据图6C所示的语法组织的服务表指南。如图所示,服务表指南包括多个指南元素(line_of_table_1)610。每个指南元素610包括服务成分ID(SCID)、内容ID(COID)以及应用ID(AID)。当组织和提供信息的信息发信方的服务ID(SID)611(SID由“SID-A、SDI-B、和SID-C”组成)不同于发送信息的信号承载方的服务ID时,选择性地包括各指南元素。各指南元素610中包括的识别信息的集合(信息发信方的COID、AID和SID)可以唯一指定应用信息服务。由此,各指南元素610传递指配到针对单个应用信息服务的服务成分帧的SCID的信息。
SCID足以指定由单个信号承载方提供的服务信号信道中的针对单个应用信息服务的服务成分帧。如果SCID随时间流逝而变化,由于如图6C所示地组织和传递的针对服务表指南内的识别信息的集合(信息发信方的COID、AID、以及SID)的值随之变化和传递,所以终端能够从SM成分承载的信息中获知指配到终端尝试接收的应用信息服务的SCID。在通过不同的信号承载方将应用信息服务传递给不同的信号信道的情况下,终端能够从如图6C所示地组织的、通过针对该服务的信号传递的SNI成分的信息来获知指配到终端尝试接收的应用信息服务的SCID。例如,如果应用信息提供服务器100为了指定通过不同信号信道传递的应用服务而传递用于访问信号信道(例如频带)的媒体信息、以及AID或识别信息的集合(信息发信方的COID、AID、和SID),终端能够通过使用来自通过不同信号信道接收到的服务表指南的信息来获知不同信号信道内的应用服务的SCID。
下面,详细描述对图5的消息进行组织的方法,在该方法中传递了涉及道路情况的多媒体数据或与多媒体数据相关的信息。
应用信息提供服务器100将与道路情况相关的多媒体数据或与多媒体数据相关的信息的消息片段(下文中称为“MBT(基于多媒体的交通和出行)消息片段”或简称为“MBT消息”)组织为消息管理容器510和多媒体对象信息容器520。如果需要,还可以包括TPEG位置容器530。对于消息管理容器510,根据图7所示的语法来组织信息,并且消息管理容器510承载与消息标识符(mid)、消息版本(ver)、消息出现时间、消息清除时间、消息开始时间和消息停止时间相关的信息。消息开始时间和停止时间可用于向用户显示随后数据已经开始(或将要开始)和已经停止(或将要停止)的时间。另外,将交叉引用信息710(CRI:CrossReference Information)插入消息管理容器510,该交叉引用信息710用于引用承载与当前组织的消息片段所承载的多媒体信息相关的数据的消息片段。
如图7所示,交叉引用信息710包括如上所述的一个字节的SCID 701(intunti:微无符整型(integer unsigned tiny))、在相关联的消息片段的消息管理容器中存储的一个字节(intunit)的版本号(Ver)702、以及两个字节的消息ID(MID)703(intunli:小无符整型(integer unsigned little))。对于一种类型的应用信息服务,可以通过一个消息标识符唯一地指定一个消息片段(即,信息服务)。然而,对于承载与相同位置(例如,相同环节)相关的交通信息的多个信息消息,可针对这些消息使用相同的消息标识符并利用版本号来区分这些消息。因此,在利用消息标识符和版本号一起指定一个信息消息的情况下,如图7所示地组织交叉引用信息;如果认为消息标识符充足,则可以不将版本号包括的在交叉引用信息中。
将适当的值指配给选择器,该适当的值根据图7的语法指示消息管理容器中包括的信息的类型。选择器还指示属于多媒体对象信息容器520和/或TPEG位置容器530的MBT成分是否位于该信息之后。在根据本发明的一个实施方式中,考虑在信息消息中存储的与多媒体数据相关的信息与承载交通相关信息的多个消息片段相关联的情况,在消息管理容器510中针对交叉引用信息编写了多个字段。在根据本发明的另一实施方式中,该交叉引用信息被组织为单个字段。
当由信号承载方110而不是应用信息提供服务器100确定各单独应用服务的SCID时,从信号承载方110接收指配到各单独应用服务的SCID,并且可以在交叉引用信息内的相应的字段中记录对相关联的应用信息指配的SCID的值。可以从提供与多媒体数据相关联的应用信息的不同服务器接收交叉引用信息内的消息ID的版本号和值,或通过从操作员接收消息ID的版本号和值来进行记录。
图8例示了根据本发明的一个实施方式将交叉引用信息记录在彼此相关联的信息消息中的示例。为了详细描述所示的信息的示例,在道路上发生车辆事故之后,获得与事故相关的信息,并且利用事故信息(例如,事故车辆的位置、车辆问题、以及事故车辆的数量)来组织与道路情况相关的消息片段801并传递该消息片段。在传递时或传递之后,当获得与事故情况相关的多媒体数据(例如,记录了情况的视频数据或与提供视频数据的媒体信道相关的信息)并且应用信息提供服务器100写入与情况相关的MBT消息片段802时,将指配给承载RTM数据的服务成分帧的SCID 811和在承载车辆事故信息的消息片段的消息管理容器中记录的消息的版本号812和识别信息813记录在MBT消息片段802的消息管理容器内的交叉引用信息字段820的相应字段中。图8所示的内容仅是简单示例,意在支持对本发明的理解;由MBT消息片段传递的多媒体数据或与该数据相关的信息可与各种应用信息相关联(例如,可与道路拥堵信息服务中的具体环节的平均速度信息相关联)。另外,此处未描述的、利用本发明公开的原理而没有本领域技术人员额外的创造性考虑将多媒体信息与各种应用信息关联应必然被视为属于本发明的范围。
另外,当应用信息提供服务器100如上所述地将与通过不同应用服务提供的信息消息(或被称为“TPEG消息”)承载的信息相关的多媒体数据或与多媒体数据相关的信息组织为MBT消息片段并传递MBT消息片段时,可以将指配给MBT消息片段802的消息ID、指配给用于传递MBT消息片段802的服务成分帧的版本号以及SCID 831的值记录在相关联的TPEG消息830的管理容器中编写的交叉应用信息(CRI)字段832中。
在下文,将详细描述将能够与具体应用信息相关联的多媒体数据组织为TPEG消息并传递TPEG消息的方法。
如图9所示,应用信息提供服务器100将一个以上的MBT成分插入多媒体对象信息容器520。MBT成分根据MBT成分承载的信息的类型被分类为对象信息成分(标识符为0x80的MBT成分)910、信息类型成分(标识符为0x81的MBT成分)920、多媒体对象数据成分(标识符为0x83的MBT成分)940、以及附加信息成分(标识符为0x8A的MBT成分)950。
对于对象信息成分910,应用信息提供服务器100根据图10A所示的语法来组织信息,根据图11所示的传递格式包括了一个以上的对象成分。所包括的对象成分根据标识符的值被分类为执行分类对象成分(标识符为0x00的对象成分)1110、对象类型对象成分(标识符为0x01的对象成分)1120、对象大小对象成分(标识符为0x02的对象成分)1130、以及压缩信息对象成分(标识符为0x03的对象成分)1140。执行分类对象成分1110根据图10B所示的语法来组织信息,并包含指定由随后的MBT成分承载的多媒体数据的执行类型的值(mbt01)。指示执行类型的值可以例如是对于“不执行”的情况的类型1、针对“执行一次”的情况的类型2、针对“连续执行”的情况的类型3,以及对于“未知”的情况的类型0。
对象类型对象成分1120根据图10C所示的语法来组织信息,并在一个以上对象格式成分中包括与对象类型相关的信息。首先,当随后的MBT成分中包含的多媒体数据是视频时,则将指定视频对象类型的值(mbt02)包括在对象类型视频成分(标识符0x00的对象格式成分)1121,根据图10D所示的语法来组织该对象类型视频成分的信息。例如,当视频类型是MPEG I视频[1]时,用于指定视频对象类型的值是1,当视频类型是MPEG II视频[2]时用于指定视频对象类型的值是2、当视频类型是MPEG 4视频[3]时用于指定视频对象类型的值是3、当视频类型是H263时用于指定视频对象类型的值是4、当视频类型是H264时用于指定视频对象类型的值是5、而当视频类型是AVI时用于指定视频对象类型的值是6。当然,可以对此处未提到的相应的类型指配不同的值。在下文中,尽管为了理解介绍了向不同类型指配值(mbtMM)的多个示例,允许指配的范围不限于这些示例。
当随后的MBT成分中包含的多媒体数据是音频时,将指定音频对象类型的值(mbt03)包括在对象类型音频成分(标识符0x01的对象格式成分)1112,根据图10E所示的语法来组织该对象类型音频成分的信息。例如,当音频类型是MPEG I音频层I[4]时,用于指定音频对象类型的值是1,当音频类型是MPEG I音频层II[4]时,用于指定音频对象类型的值是2、当音频类型是MPEG I音频层III[5]时,用于指定音频对象类型的值是3、以及当音频类型是未压缩的PCM音频时,用于指定音频对象类型的值是7。
当在随后的MBT成分包含的多媒体数据是图像时,将指定图像对象类型的值(mbt04)包括在对象类型图像成分(标识符0x02的对象格式成分)1123,根据图10F中所示的语法来组织该对象类型图像成分的信息。例如,当图像类型是GIF时,用于指定图像对象类型的值是1,当图像类型是JIFF[7]时,用于指定图像对象类型的值是2,以及当图像类型是BMP时,用于指定图像对象类型的值是3。
对于对象大小对象成分1130,应用信息提供服务器100根据图10G所示的语法来组织信息;将随后的MBT成分中包含的多媒体数据的字节大小记录在4字节的字段中(intunlo:长无符整型(integer unsignedlong))。对于压缩信息对象成分1140,根据图10H所示的语法来组织信息;在相应的对象成分中记录指定对被随后的MBT成分承载的多媒体数据进行压缩的方法的值(mbt05)。例如,在“未知”的情况下用于指示压缩方法的值是0,在Gzip压缩数据格式情况下用于指示压缩方法的值是1。
对于多媒体对象信息容器520中包括的信息类型成分920,应用信息提供服务器100根据图12A所示的语法来组织信息,根据图13所示的传递格式包括一个以上应用信息成分。根据标识符的值将所包括的应用信息成分分类为信息识别成分(标识符为0x00的应用信息成分)1310、收集器成分(标识符为0x01的应用信息成分)1320、以及内容描述成分(标识符为0x02的应用信息成分)1330。信息识别成分1310根据图12B所示的语法来组织信息,该成分包括用于识别由包含在随后的MBT成分中的多媒体数据提供的应用服务或与该多媒体数据相关联的应用服务的值(mbt06)。例如,用于指定应用服务的值例如对于拥堵交通信息服务的情况为5,而对于基于多媒体的交通信息的情况是10。
对于收集器成分1320,应用信息提供服务器100根据图12C所示的语法来组织信息,在相应的成分中记录用于识别收集了随后的MBT成分中包含的多媒体数据的主体的值(mbt07)。例如,用于识别收集了多媒体数据的主体的值对于公共机构的情况是1、对于私有机构的情况是2,以及对于媒体(media)的情况是3。内容描述成分1330还根据图12D所示的语法来组织信息,以255字符或更少(在英语句子的情况下)的短文本(short_string)的形式记录与随后的MBT成分中包含的多媒体数据相关的描述信息。另外,在该成分中包括指定用于表达文字的语言的值(mbt08)。
对于多媒体对象信息容器520中包括的多媒体对象数据成分930,应用信息提供服务器100根据图14A所示的语法组织信息,在成分中包括实际多媒体数据(例如,视频数据、静态图像数据、音频数据或图像数据)。由于指示成分所承载的数据的长度的字段被定义为占据4个字节(intonlo),因此能够被相应的成分承载的多媒体数据的最大大小可以是4G字节。在本发明的另一实施方式中,可以按片段传递多媒体数据。在本实施方式中,根据图14B所示的语法来组织多媒体对象数据成分的信息。不同于图14A所示的语法,图14B的语法包括多媒体片段1401的数量和与由当前成分承载的多媒体片段相对于整个数据的顺序相关的信息1402。
当需要与针对多媒体信息的当前TPEG消息相关的附加描述时,应用信息提供服务器100根据图15所示的语法来组织附加成分940,并将该附加成分包括在多媒体对象信息容器520中。附加信息成分940与指定表达该文本的语言的值(mbt08)一起记录对TPEG消息或在该消息中含有的信息进行描述所需的255字节或更少的文本信息。
在下文,详细描述了根据本发明的另一实施方式的将与多媒体数据相关的信息组织为TPEG消息并传递该消息的方法,多媒体数据可以与通过不同的信号信道或媒体提供的具体应用信息相关联。
在本实施方式中,如图16所示,应用信息提供服务器100组织一个以上的MBT成分,并将所组织的成分包括在多媒体对象信息容器520中。如图所示,根据MBT成分承载的信息的类型,MBT成分被分类为对象信息成分(标识符为0x80的MBT成分)1610、信息类型成分(标识符为0x81的MBT成分)1620、传输介质成分(标识符为0x82的MBT成分)1630、以及附加信息成分(标识符为0x8A的MBT成分)1650。
由于已经在上面的实施方式中充分描述了对于对象信息成分1610、信息类型成分1620以及附加信息成分1650的组织,因此将不提供进一步的描述。然而,在上述实施方式中,对象信息成分1610和信息类型成分1620承载了与由随后的MBT成分承载的多媒体数据相关的信息,而本实施方式处理对象信息成分1610和信息类型成分1620承载与通过不同信号信道或不同传输介质提供的多媒体数据相关的信息的情况。
对于传输介质成分1630,应用信息提供服务器100根据图17A所示的语法来组织信息;传输介质成分记录与用以传递由消息管理容器510内的交叉引用信息指定的交通相关的TPEG消息内的信息相关联的多媒体数据和用于识别该多媒体数据的信息的信号信道或传输介质相关的信息。
根据图18所示的传递格式,传输介质成分包括一个以上的承载信息成分。根据标识符值,所包括的承载信息成分被分类为DMB(数字多媒体广播)成分(标识符为0x00的承载信息成分)1810、因特网成分(标识符为0x01的承载信息成分)1820、CDMA成分(标识符为0x02的承载信息成分)1830以及GSM成分(标识符0x03的承载信息成分)1840。除了上述传输介质之外,可为其它传输介质定义单独的承载信息成分。
当通过DMB广播相关联的多媒体数据时生成DMB成分1810;根据图17B所示的语法来组织相应的信息,并包括与多媒体数据被广播的区域相关联的国家代码1811、集合标识符1812、DMB的频率信息1813、以及DMB信息1814。集合标识符可被用于将DMB信号解调为数字数据的密钥。如图17B所示,频率信息1813传递与中心频率相关的值;该值由24bit组成(5个最高有效位用零填充),即用16kHz划分的载波频率。如图18所示,以DMB信息成分的形式组织DMB信息1814。根据标识符的值,DMB信息成分被分类为子信道信息成分(标识符为0x00的DMB信息成分)1814a、MOT对象链路信息成分(标识符为0x01的DMB信息成分)1814b、以及TDC对象链路信息成分(标识符为0x02的DMB信息成分)1814c。
子信道信息成分1814a根据图17C所示的语法来组织相应的信息,该相应的信息包括指示相应的信道的数据传递方法的值(mbt09)。该值指示对DMB信道中的相应关联的多媒体数据应用哪种方法。例如,对基于MOT(多媒体对象传递)规范的方法的情况指配1,以及对基于TDC(传输数据信道)规范的方法的情况指配2。除了上述规范之外,还可指定不同的传递方法;可以另外定义用于识别多媒体数据的DMB信息成分并将该DMB信息成分用于传递方法。
如果正在根据MOT规范通过DMB信号来传递相关联的多媒体数据,则应用信息提供服务器100根据图17D所示的语法来组织MOT对象链路信息成分1814b,并将所组织的成分包括在DMB成分1810中。根据MOT规范,由于对要被传递的对象的标识利用了文件名,因此在MOT对象链路信息成分1814b中记录包括相关联的多媒体数据(例如,静态图像或短视频片段)的文件的名称。如果根据TDC规范通过DMB信号来传递相关联的多媒体数据,应用信息提供服务器100根据图17E所示的语法来组织TDC对象链路信息成分1814c,并将所组织的成分包括在DMB成分1810中。根据MOT规范,由于能够通过SCID识别要被传递的数据,所以在TDC对象链路信息成分1814c中记录了在承载相关联的多媒体数据的服务成分帧的报头处指配的SCID的值。由于基于TDC规范传递多媒体数据对于传递流形式的视频数据是有利的,因此用户能够通过TDC对象链路信息成分对与事故的实时视频相关的信息进行关联来按照需要观看视频。
同时,在通过因特网访问或获得相关联的多媒体数据时生成了因特网成分1820;根据图17F所示的语法来组织相应的信息,该相应的信息包括网络上的能够用以访问相关联的多媒体数据的唯一位置信息(例如URL(统一资源定位符))。除此以外,当通过CDMA(码分多址)移动通信网络访问或获得相关联的多媒体数据时根据图17G所示的语法生成了CDMA成分1830;当通过GSM(全球移动通信系统)移动通信网络访问或获得相关联的多媒体数据时根据图17H所示的语法生成了GSM成分。两个成分均记录了相关联的多媒体数据的唯一位置信息(例如URL)(即,资源)。
同时,当替代提供交通信息的TPEG消息的信号信道通过不同介质或不同的信号信道来提供与道路情况相关的多媒体数据时,要对信息的使用进行收费。因此,可以通过MBT消息来承载多媒体数据的记账信息。按由信息类型成分1620承载的应用信息成分的形式来组织与记账信息相关的事务。此时的应用信息成分具有标识符0x03,并根据图19所示的语法进行组织。应用信息提供服务器100从提供相关联的多媒体数据的服务器接收记账信息,根据类型对信息进行分类,组织记账信息成分,以及构建标识符0x03的应用信息成分。记账信息成分例如可以记录关于记账是基于时间还是数据大小、基准时间或基准数据大小的价格、根据时间段的服务收费等的信息。
当利用TPEG消息时可以按低质量提供与道路情况相关的多媒体数据,而相同的数据可通过不同的信号信道或不同介质以高质量提供。也就是说,可同时通过与传递交通相关信息的信号信道相同的信道以及不同信道或通过不同介质来提供与道路情况相关的多媒体数据。因此,可以组合参照图9和图16描述的两个实施方式,使得能够以如图20所示的方式提供MBT服务的信息的形式来实现该实施方式。同时,在上述实施方式中,要在消息管理容器中记录的交叉引用信息的字段可能不足。例如,与多媒体数据相关联的不同应用服务的TPEG消息的数量可能超过四个。因此,在本发明的另一实施方式中,不同于在消息管理容器中包括成分的形式,通过将成分包括在多媒体对象容器中的形式传递交叉引用信息,能够传递与大量相关联的TPEG消息相关的交叉引用信息。在本实施方式中,通过例如标识符0x85的MBT成分(下文被称为“CRI信息成分”)承载来传递交叉引用信息,根据图21A所示的语法来组织MBT成分的相应的信息。CRI信息成分包括与所包含的CRI元素成分的数量相关的值,以及与该值相同数量的CRI元素成分。单独CRI元素成分根据图21B所示的语法来组织相应的信息;各单独CRI元素成分具有0x00的标识符,并按照与上述消息管理容器中记录的交叉引用信息相同的方式包括被指配给传递相关联的应用服务的TPEG消息的服务成分的SCID、指配给TPEG消息的消息标识符以及版本号。
图22例示了根据本发明的一个实施方式的终端的框图,该终端从应用信息提供服务器100接收如上所述组织的TPEG消息序列,该TPEG消息序列承载包括MBT服务的信息的交通相关信息;图22的内容假设了一种通过MBT服务的TPEG消息提供多媒体数据的实施方式。图23A例示了向用户提供相关联的多媒体数据的过程的示例;该过程由图22的终端执行并与图22的终端的操作一起进行详细描述。
图22的终端包括在TPEG消息序列的广播信号的要求频带调谐并随后输出调制的应用信息信号的调谐器11、通过解调所调制的应用信息信号来输出如图6A所示的传递帧的序列的解调器12、对解调的单独传递帧进行解码并获得各种应用服务的信息的TPEG解码器13、以及用于通过从多个卫星接收信号来计算当前位置(即经度、维度和高度)的GPS模块18、存储各种图形数据的储装置14、接收用户输入的输入单元19、基于用户的输入、当前位置以及所获取的应用信息来控制画面显示的控制器15、暂时存储所需信息的存储器15a、用于视频显示的LCD面板16a、以及利用相关的方法对各种编码格式的媒体数据进行解码并且以音频和/或视频信号输出媒体数据的媒体解码器20。输入单元19可以是配备在LCD 16a面板(例如,触摸屏)上的接口。存储装置14可配备有存储与道路上的各环节相关的信息和车道信息以及与环节的节点相关的信息的电子地图。
调谐器11对应用信息提供服务器100发送的信号进行调谐,解调器12以预定方式对调谐后的信号进行解调,并将解调后的信号作为传递帧序列输出。TPEG解码器13接着从输入传递帧序列提取各单独传递帧,提取传递帧中包括的各服务成分帧内的TPEG消息,对所提取的TPEG消息进行解码,以及将解码后的TPEG消息存储到存储器15a中S2302。在根据本发明的另一实施方式中,替代对具有传递帧的整个服务成分帧进行解码,仅提取承载有与控制器15根据用户的请求指定的应用服务的应用信息的服务成分帧,并对该成分帧内的TPEG消息进行解码。为此,TPEG解码器13应当知道应用服务标识符(AID)与指配给各服务成分帧的报头的SCID之间的相关值,可以通过在由如图6C所示地组织的信息构建的服务表指南中存储的各AID和指配的SCID之间的对应信息来标识该相关值,在图6A所示的传递帧内的SCID被指配为0的情况下通过对服务成分帧中的数据(SNI数据)进行解码来获得该信息。当指定应用服务时(即指定AID时),检查与AID相对应的SCID,并且指定前缀为SCID的服务成分帧;随后,仅提取指定的帧,对该帧内的TPEG消息进行解码,并将解码后的内容存储在存储器15a中。
存储在存储器15a中的解码后的TPEG内容15b包含上述多媒体数据以及交通信息。由于本发明涉及提供与交通信息相关联的多媒体数据的技术,因此仅根据需要描述了这么多与交通信息相关的事务以帮助理解本发明。另外,由于可以基于上述传递格式的组织和与之关联的成分的语法直观理解对接收的TPEG消息的解码,省略了与解码过程相关的详细描述。
被TPEG解码器13解码的内容包括MBT服务的信息和道路上的交通信息(例如道路拥堵信息、道路情况信息等)。根据预定的方法将解码后的内容存储为TPEG解码器13和控制器15之间的数据库。例如,根据相应的服务对解码后的内容进行分类;对于各应用服务,根据环节(道路拥堵信息的情况)、道路障碍物类型(道路情况信息的情况)或相关联的服务(MBT服务信息的情况)将内容存储为数据库。当然,在存储为数据库的情况下,同样,在消息管理容器中包括的所接收的TPEG消息内的信息被存储在一起。清除或更新所接收到的信息要求将信息存储在一起,并且搜索与MBT消息所引用的情况相对应的TPEG消息同样要求将信息存储在一起。另外,当存储解码后的信息时,还存储了SCID,其中SCID用作承载该信息的服务成分帧的前缀。
根据用户的请求或预定条件在控制器15的控制下在LCD面板16a上显示如上所述存储在存储器15a中的交通信息(道路拥堵信息、道路情况信息等)S2302。例如如图24A的画面示例所示,当显示车辆的、以其为中心从GPS模块8识别的当前路段周围的导航画面的同时,显示在相应片段2401附近沿根据所接收到的道路拥堵信息而获得的导航方向上的路段的平均速度。当然,可利用颜色代替数字。此时,在存储装置14中存储的图形地图数据中,将与当前位置相对应的数据显示在LCD面板16a上作为导航画面的背景画面。
在对通过上述方式接收到的交通信息进行解码和显示时,控制器15连续检查MBT服务的信息是否存在于在存储器15a中解码并存储的TPEG内容15b中。如果存储有MBT服务的信息,则检查属于MBT消息的管理容器的管理信息S2304;如果管理信息被认为当前有效(即,图7所示的消息清除时间位于当前时间之后),则在所存储的TPEG内容15b中搜索由管理信息内的交叉引用信息(CRI)指定的TPEG消息。
如果没有找到相关联的TPEG消息,则清除所接收到的MBT消息S2307a;如果找到相关联的TPEG消息,则对该TPEG消息的内容进行解码S2307b,或基于从TPEG消息解码的信息来获得与多媒体数据相关联的交通信息。随后,对相应的MBT消息进行解码,从而获得多媒体数据和相关联的信息。所获得的信息包括以图11和/或图13所示的传递格式承载的信息。控制器15向媒体解码器20递送从图11所示的执行分类对象成分1110获得的与执行类型相关的信息、从信息对象分类对象成分1120获得的信息(例如多媒体数据类型、编码格式等)、从对象大小对象成分1130获得的大小信息、以及从压缩信息对象成分获得的与压缩类型相关的信息,并且使用从图13所示的信息类型成分920获得的信息来进行对用户显示。
从相应的MBT消息中提取根据图14A和14B的语法组织的多媒体对象数据成分内的多媒体数据S2308。对于图14B的实施方式的情况,从一个以上的多媒体对象数据成分提取多媒体数据;按顺序(seq_no)将所提取的数据馈送到媒体解码器20,并请求解码。媒体解码器20基于从控制器15馈送的信息来解码输入的多媒体数据S2309。控制器15确定上述解码的视频和/或音频信号在LCD面板16a上的位置,并输出信号。图24B例示了关于道路上的事故(例如车辆事故,通过RTM消息获得其信息)对多媒体数据(例如,静态图像数据)进行解码并在车辆2411的导航画面上显示解码后的数据的一个示例。根据用户对输入单元19的特定按键2421的输入或根据用户对终端预设的用户偏好选择性地执行上述与道路情况相关联的多媒体数据的画面显示。另外,在根据本发明的另一实施方式,如果由与所提取的多媒体数据相关联的关于道路情况(环节)的TPEG消息所指定位置信息不属于由控制器15控制的LCD面板16a上显示的导航画面的地图区域,则在画面上不显示位置信息。
通过与解码的多媒体数据一起在显示画面的附近或上方来将与包含在相关联的TPEG消息中的道路情况相关的信息2412显示为数据描述信息S2310,控制器15使得用户能够容易地识别视频或图像示出哪个情况。例如,如果已经接收到如图8所示彼此关联的TPEG消息(RTM消息),则可以同时显示事故车辆的位置、车辆的数量、事故类型等。如果在S2310步骤中将根据图15所示的语法组织的附加信息成分包括在MBT消息中,则附加信息成分中包含的附加信息也与多媒体一起显示。另外,如果根据图12A到12D的语法组织的信息类型成分(标识符0x81的MBT成分)被包括在所接收到的MBT消息内,则将从成分中提取的信息(例如,多媒体数据相关联的信息的类型、收集器信息和/或内容描述)与多媒体数据一起显示。
媒体解码器20通过参照从控制器15递送的执行类型信息一次性或连续对所提取的多媒体数据执行解码。如果取决于执行类型而终止解码,则对控制器15通知该终止。
如果从媒体解码器20通知解码终止或从用户请求解码暂停或移除解码画面S2311,则控制器15检查所提取的多媒体数据是否正被解码,如果发现处于解码状态,则控制器15命令媒体解码器20停止解码,并从存储在存储器15a中的TPEG内容15b中移除与当前解码相关联的MBT消息S2312。在根据本发明的另一实施方式中,MBT消息可被保持不被移除直至清除时间。控制器15接着控制LCD驱动器16b,将LCD面板16a的解码输出画面恢复到原始导航画面的地图区域。
控制器15连续执行上述操作S2301-S2312,直至用户请求服务终止。
在本发明的另一实施方式中,对于向MBT服务以外的不同应用服务的TPEG消息的管理容器提供交叉引用信息的情况,执行图23B所示的步骤而不是上述S2303步骤。为了描述图23B所示的步骤,控制器15执行上述S2302步骤,检查交叉引用信息是否存在于根据以上的执行而存储的TPEG消息内S2303-1,如果交叉引用信息存在,则搜索针对由交叉引用信息指定的TPEG消息所存储的TPEG内容15b S2303-2,如果搜索的TPEG消息是MBT消息,则执行从上述S2304步骤开始的步骤。如果交叉引用信息未被记录在所接收到的TPEG消息内,或者未存储由交叉引用信息指定的TPEG消息,则忽略该交叉引用信息并执行上述S2311步骤。在根据本发明的另一实施方式中,如果由所记录的交叉引用信息指定的MBT消息不存在,交叉引用信息被保持预定的时间(例如3分钟);如果在该时间期间没有接收到由交叉引用信息指定的MBT消息,则忽略相应的交叉引用信息。
在下文中,对通过MBT消息接收与多媒体数据相关的信息以及通过不同的信号信道或不同介质接收实际多媒体数据的实施方式进行详细描述。图25例示了承载交通相关信息的TPEG消息序列以及通过不同信号信道或不同介质接收多媒体数据的终端的框图,该交通相关信息包括MBT服务的信息。图26例示了向用户提供与TPEG消息承载的信息相关联的多媒体数据的过程的示例,该过程由图25的终端执行并结合图25的终端的操作进行详细描述。
图25的终端包括调谐器21、解调器22、TPEG解码器23、GPS模块28、存储装置24、输入装置29、控制器25、存储器25a、LCD面板26A、LCD驱动器26B、媒体解码器20、接收、解调和解码广播信号(例如,DMB信号)的DMB信号处理器31、以及执行与有线或无线网络和通信协议接口连接的通信模块27。图25的终端的各元件与图22的终端的同名对应元件具有相同功能。另外,在下文中,对于执行与图22的终端的对应元件相同的操作的部分,省略了对图25的终端的操作和图26的流程图的单独步骤的描述。然而,如果对于在以上实施方式中描述的对应元件的操作的描述与之后另外描述的各元件的操作的描述不符合或冲突,应理解对该对应元件执行以下描述的操作。在图26的流程图中,执行与图23A和23B的步骤相同的过程的步骤使用相同标号,而对执行不同过程的步骤使用先前未被使用的标号。
如果图18示出的传输介质成分1630的传递示例的传输介质成分被包括在通过TPEG解码器23解码而存储的MBT消息中,则控制器25从成分中提取提供多媒体数据的信号信道或媒体信息S2601。此时,如图18所示,所提取的信息可以是与DMB信道相关的信息或指定关于具体资源在因特网、CDMA或GSM通信网络上的位置信息的URL。
另外,如果承载根据图19所示的语法组织的记账信息的信息类型成分被包括在相应的MBT消息中S2602,则控制器25提取记账信息,按单独信道向用户通知访问所提供的多媒体数据的价格S2603,以及询问用户是否继续。如果用户针对询问请求“前进”,则控制器25参照关于先前获得的传输介质的信息来访问相应的信号信道或通信网络。
如果传输介质例如是DMB(即,传输介质成分1630包括DMB成分1810),则控制器25根据获取的频率信息对调谐器21设定指示符值,另外输出调谐后的DMB信号,并命令DMB信号处理器31对信号进行处理。此时,将用于指定对应信道中的对象的信息递送到DMB信号处理器31。例如,如果DMB成分1810被包括在传输介质成分1630中,并且通过DMB成分获得的传递类型信息指示MOT,将从MOT对象链路信息成分1814b中提取的文件名递送给DMB信号处理器31,而如果传递类型信息指示TDC,则将从TDC对象链路信息成分1814c中提取的SCID值递送给DMB信号处理器31。DMB信号处理器31接着提取与输入的解调信号指定的文件名相对应的多媒体数据,并将所提取的多媒体数据递送给控制器25或将由SCID值指定的服务成分帧内的多媒体数据递送给控制器25,S2605。
如果传输介质是通信网络(例如,有线或无线因特网或诸如CDMA或GSM的移动通信网络(即,如果在传输介质成分1630中包括因特网成分1820、CDMA成分1830、或GSM成分1840)),则控制器25从对应的成分中提取访问位置信息(例如,URL),并且在向通信模块27递送访问位置信息的同时命令访问。根据命令,通信模块27执行以下过程:根据所要求的通信协议通过有线或无线通信网络来传递所接收到的访问位置信息,从具有对应的多媒体数据的服务器接收响应,以及下载对应的多媒体数据。在此过程中,当需要用户的个人信息或接受或认证,控制器25提供相关的UI,通过该UI从用户接收所需要的信息,以及通过通信模块27对服务器提供该信息。通过该过程,下载了与由访问位置信息指定的资源相对应的多媒体数据,并提供给控制器25。可以通过流而不是下载的方式从服务器提供指定的资源的多媒体数据。
在将从DMB信号处理器31或从通信模块27接收到的多媒体数据递送给媒体解码器30时,控制器25命令解码。此时,控制器25同样通过对媒体解码器30提供根据包括在当前处理的MBT消息中的对象信息成分而解码的信息,使得媒体解码器30能够适当地解码数据。媒体解码器30基于对象信息来解码所接收到的多媒体数据并显示数据S2309。
尽管上述实施方式仅描述了所接收到的多媒体数据具有视频属性的情形,以上描述还可直接应用于音频数据。然而在此情况下,由于通过音频输出装置(未示出)输出来自媒体解码器20或30的数据,因此用户能够伴随视频听到音频或仅仅听到音频。
图25的根据本发明的一个实施方式的终端不仅能够按图20所示的传递格式应用于通过MBT消息提供多媒体数据的情况,而且还可用于通过MBT消息提供与用以提供多媒体数据的不同信号信道或不同介质相关的信息的情况。在本实施方式中,图25的终端根据图27所示的流程图进行操作。是根据图26所示的流程图来执行操作还是根据图27所示的流程图来执行操作根据预定环境或在控制器25中程序硬编码而定。
控制器25检查多媒体数据是否被包括在解码后的MBT消息(即,是否包括多媒体对象数据成分)S2701,如果包括该数据,则顺序地进行参照图23A描述的S2308到S2312的步骤(选择性地执行S2312步骤)。如果未包括该数据,则检查是否包括信号信道或媒体信息(即,是否包括传输介质信息)S2702。如果包括信号信道或媒体信息,则顺序地执行参照图26描述的步骤S2601到S2605以及S2309到S2312(选择性地执行S2603、S2605、以及S2312)。
同时,图22或图25示出其构造的终端可以是单独产品或可以是具有不同功能的综合产品的组成单元。例如,图22或图25可以是独立的的导航终端或移动电话、PDA、便携式多媒体播放器、或其它信息通信处理终端的一部分。当终端被用作复合产品的组成单元时,根据用户的模式选择来执行根据图23A、23B、26、或27所示的流程图的过程。
以上为了示例目的给出了本发明的优选实施方式的描述。因此,本领域技术人员可在由随后所附的权利要求限定的本发明的实质和范围内以改进、修改、替换或添加的方式利用本发明以及各种实施方式。

Claims (39)

1、一种对信息进行编码的方法,该方法包括以下步骤:
创建多媒体对象信息的步骤,创建关于与通过交通信息服务提供的第一信息消息承载的内容相关联的视频和/或音频属性的数据的多媒体对象信息;
创建引用信息的步骤,创建指示所述第一信息消息的引用信息;以及
组织第二信息消息的步骤,组织包括所创建的多媒体对象信息和所创建的引用信息的第二信息消息。
2、根据权利要求1所述的方法,其中所述引用信息包括为指示与交通信息服务相关的信息的运送而指配的服务成分标识符、所述第一信息消息的标识符、以及所述第一信息消息的版本号。
3、根据权利要求1所述的方法,其中通过不同于所述交通信息服务的多媒体信息服务来提供所述第二消息消息。
4、根据权利要求3所述的方法,该方法还包括:
在所述第一信息消息中插入为指示与所述多媒体信息服务相关的信息的运送而指配的服务成分标识符、所述第二信息消息的标识符、以及所述第二信息消息的版本号。
5、根据权利要求1所述的方法,其中如果除了所述第一信息消息之外还存在附加信息消息与视频和/或音频属性的数据相关联,则创建引用信息的步骤针对所关联的信息消息创建多条引用信息。
6、根据权利要求1所述的方法,其中将所述引用信息记录在所述第二信息消息的管理信息的区域中。
7、根据权利要求1所述的方法,其中将所述引用信息记录在跟随所述第二信息消息的管理信息之后的成分之一中。
8、根据权利要求1所述的方法,其中所述多媒体对象信息包括视频和/或音频属性的数据。
9、根据权利要求1所述的方法,其中所述多媒体对象信息包括用于访问通过与发送所述第二信息消息的信号信道或传输介质不同的信号信道或传输介质发送的视频和/或音频属性的数据的信息。
10、根据权利要求9所述的方法,其中用于访问的信息包括频率信息。
11、根据权利要求10所述的方法,其中所述用于访问的信息还包括与传递视频和/或音频属性的数据的方式相关的信息。
12、根据权利要求9所述的方法,其中所述用于访问的信息包括关于视频和/或音频属性的数据在网络上的唯一位置信息。
13、根据权利要求1所述的方法,其中所述多媒体对象信息包括以下信息的至少其中之一:视频和/或音频属性的数据的播放类型、编码格式、大小、收集器信息、以及描述信息。
14、一种对信息进行解码的方法,该方法包括以下步骤:
提取第一信息消息的步骤,从用于多媒体信息服务的信号中提取承载与视频和/或音频属性的数据相关的多媒体对象信息的第一信息消息;
提取引用信息的步骤,从所提取的第一信息消息中提取引用信息;以及
提取交通信息的步骤,从通过区别于所述多媒体信息服务的交通信息服务提供的第二信息消息中提取与所述视频和/或音频属性的数据相关联的交通信息,通过所提取的引用信息来识别所述第二信息消息。
15、根据权利要求14所述的方法,其中所述引用信息包括为指示与交通信息服务相关的信息的运送而指配的服务成分标识符、所述第二信息消息的标识符、以及所述第二信息消息的版本号。
16、根据权利要求14所述的方法,其中当所述第二信息消息承载通知所述第二信息消息与为所述多媒体信息服务提供的多媒体对象信息相关联的信息时,执行各提取步骤。
17、根据权利要求16所述的方法,其中所述通知第二信息消息与为多媒体信息服务提供的多媒体对象信息相关联的信息包括为指示与特定应用服务相关的信息的运送而指配的服务成分标识符、信息消息的标识符、以及所述信息消息的版本号。
18、根据权利要求14所述的方法,其中所提取的引用信息是用于进一步引用除了所述第二信息消息之外的一个以上相关联的信息消息的信息。
19、根据权利要求14所述的方法,其中将所述引用信息记录在所提取的第一信息消息的管理信息的区域中。
20、根据权利要求14所述的方法,其中将所述引用信息记录在跟随所述第一信息消息的管理信息之后的成分之一中。
21、根据权利要求14所述的方法,其中所述多媒体对象信息包括视频和/或音频属性的数据。
22、根据权利要求14所述的方法,其中所述多媒体对象信息包括用于访问通过与发送所述第一信息消息的信号信道或传输介质不同的信号信道或传输介质发送的视频和/或音频属性的数据的信息。
23、根据权利要求22所述的方法,其中用于访问的信息包括频率信息。
24、根据权利要求23所述的方法,其中所述用于访问的信息还包括与传递视频和/或音频属性的数据的方式相关的信息。
25、根据权利要求22所述的方法,其中所述用于访问的信息包括关于视频和/或音频属性的数据在网络上的唯一位置信息。
26、根据权利要求22所述的方法,该方法还包括:
通过使用用于访问的信息来通过不同信号信道或不同传输介质获得视频和/或音频属性的数据。
27、根据权利要求14所述的方法,该方法还包括:
解码并输出步骤,该步骤解码并输视频和/或音频的数据,结合通过输出而显示的画面来显示包含在所述第二信息消息中的至少部分内容。
28、根据权利要求27所述的方法,其中当所述多媒体对象信息包括记账信息时,所述解码并输出步骤向用户显示记账信息,以及基于对显示的响应来解码并输出视频和/或音频属性的数据。
29、根据权利要求14所述的方法,其中所述多媒体对象信息包括以下信息的至少其中之一:视频和/或音频属性的数据的播放类型、编码格式、大小、收集器信息、以及描述信息。
30、一种用于接收信息的设备,该设备包括:
解调器,其对接收到的信号进行解调以输出承载应用信息的帧序列;
信息解码器,其从所述帧序列中的一个帧中提取第一信息消息,并从所提取的第一信息消息中提取引用信息和与视频和/或音频属性的数据相关的多媒体对象信息;
媒体解码器,其对所述视频和/或音频属性的数据进行解码;以及
控制器,其控制所述信息解码器以对与所述视频和/或音频属性的数据相关联的第二信息消息进行解码,通过所提取的引用信息来识别所述第二信息消息,并且该控制器对所述媒体解码器进行控制以解码并输出包括在所述多媒体对象信息中的所述视频和/或音频属性的数据。
31、一种用于接收信息的设备,该设备包括:
解调器,其对接收到的信号进行解调以输出承载应用信息的帧序列;
信息解码器,其从所述帧序列中的一个帧中提取第一信息消息,并从所提取的第一信息消息中提取引用信息和与视频和/或音频属性的数据相关的多媒体对象信息;
媒体解码器,其对所述视频和/或音频属性的数据进行解码;以及
通信模块,其与网络执行数据通信;以及
控制器,其控制所述信息解码器以对与所述视频和/或音频属性的数据相关联的第二信息消息进行解码,通过所提取的引用信息来识别所述第二信息消息,并且该控制器对所述通信模块进行控制以基于包括在所述多媒体对象信息中的用于访问的信息来获得所述视频和/或音频属性的数据,并且控制所述媒体解码器以解码并输出所获得的数据。
32、根据权利要求30或31所述的设备,其中所述引用信息包括为指示特定应用服务的信息的运送而指配的服务成分标识符、信息消息的标识符、以及所述信息消息的版本号。
33、根据权利要求30或31所述的设备,其中将所述引用信息记录在所提取的第一信息消息的管理信息的区域中。
34、根据权利要求30或31所述的设备,其中将所述引用信息记录在跟随所述第一信息消息的管理信息之后的成分之一中。
35、根据权利要求30或31所述的设备,其中所述控制器控制包含在解码后的第二信息消息中的至少部分内容与解码后的视频和/或音频属性的数据一起显示。
36、根据权利要求30或31所述的设备,其中所述多媒体对象信息包括以下信息的至少其中之一:视频和/或音频属性的数据的播放类型、编码格式、大小、收集器信息、以及描述信息。
37、根据权利要求31所述的设备,其中当所提取的多媒体对象信息包括记账信息时,所述控制器控制向用户显示所述记账信息,并基于对显示的响应来控制所述媒体解码器对所述视频和/或音频属性的数据进行解码。
38、根据权利要求31所述的设备,其中所述控制器还执行控制所述媒体解码器的操作以:
对由所述信息解码器从帧序列的另一帧中提取的第三传递消息中包括的视频和/或音频属性的数据进行解码;以及
输出解码后的数据。
39、根据权利要求31所述的设备,其中所述控制器在通过所述通信模块获得视频和/或音频属性的数据时执行用户认证处理。
CN2008800114240A 2007-04-09 2008-04-10 提供和使用关于与交通情况相关的视频的信息 Expired - Fee Related CN101657983B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US91070907P 2007-04-09 2007-04-09
US60/910,709 2007-04-09
PCT/KR2008/002003 WO2008123747A1 (en) 2007-04-09 2008-04-10 Providing and using of information on video related to traffic situation

Publications (2)

Publication Number Publication Date
CN101657983A true CN101657983A (zh) 2010-02-24
CN101657983B CN101657983B (zh) 2011-03-16

Family

ID=39831155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800114240A Expired - Fee Related CN101657983B (zh) 2007-04-09 2008-04-10 提供和使用关于与交通情况相关的视频的信息

Country Status (5)

Country Link
US (1) US8903635B2 (zh)
EP (1) EP2156582A4 (zh)
KR (1) KR20100016286A (zh)
CN (1) CN101657983B (zh)
WO (1) WO2008123747A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101183918B1 (ko) * 2005-08-10 2012-09-26 엘지전자 주식회사 대중 교통 정보를 제공하고 이를 이용하는 방법 및 장치
EP2391037A1 (en) * 2010-05-28 2011-11-30 Harman Becker Automotive Systems GmbH Method for receiving Transport Protocol Expert Group (TPEG) messages and associating an event text to a TPEG event code and device for implementing the method
RU2442217C1 (ru) * 2011-01-17 2012-02-10 Павел Анатольевич Клопов Способ многоканального видеонаблюдения транспортных развязок
US20140043482A1 (en) * 2012-08-07 2014-02-13 Chui-Min Chiu Vehicle security system
KR102200121B1 (ko) * 2014-02-17 2021-01-08 삼성전자 주식회사 차량 흐름 예측 방법 및 장치
US9916756B2 (en) * 2016-05-24 2018-03-13 Iheartmedia Management Services, Inc. Broadcast traffic information bounding areas
EP3528467B1 (en) 2017-09-29 2021-10-27 LG Electronics Inc. V2x communication device and multimedia content transmitting/receiving method thereof
JP2020095565A (ja) * 2018-12-14 2020-06-18 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272190B1 (en) * 1992-03-12 2001-08-07 Ntp Incorporated System for wireless transmission and receiving of information and method of operation thereof
US7035914B1 (en) * 1996-01-26 2006-04-25 Simpleair Holdings, Inc. System and method for transmission of data
US6021433A (en) * 1996-01-26 2000-02-01 Wireless Internet, Inc. System and method for transmission of data
FI113320B (fi) * 1996-02-19 2004-03-31 Nokia Corp Menetelmä tiedonsiirron tehostamiseksi
EP0838108A1 (de) * 1996-05-08 1998-04-29 Robert Bosch Gmbh Verfahren zur übertragung von durchsagen mittels digitaler hörfunksendungen und empfänger zur durchführung des verfahrens
EP1843493A3 (en) * 1997-04-24 2014-01-01 Ntt Mobile Communications Network Inc. Method and system for mobile communications
KR100378645B1 (ko) * 1998-06-17 2007-11-30 인포뱅크 주식회사 셀단위망구조의이동통신망을이용한지역교통정보서비스방법및시스템
JP2000046569A (ja) * 1998-07-31 2000-02-18 Victor Co Of Japan Ltd 道路交通情報配信装置及びナビゲーション装置
US7593380B1 (en) * 1999-03-05 2009-09-22 Ipr Licensing, Inc. Variable rate forward error correction for enabling high performance communication
US7454457B1 (en) * 2000-02-07 2008-11-18 Parallel Networks, Llc Method and apparatus for dynamic data flow control using prioritization of data requests
DE10038765A1 (de) * 2000-08-09 2002-02-21 Bosch Gmbh Robert Verfahren zur Übertragung von digital codierten Verkehrsnachrichten
US6650948B1 (en) * 2000-11-28 2003-11-18 Applied Generics Limited Traffic flow monitoring
US7051070B2 (en) * 2000-12-18 2006-05-23 Timothy Tuttle Asynchronous messaging using a node specialization architecture in the dynamic routing network
US20040049580A1 (en) * 2002-09-05 2004-03-11 International Business Machines Corporation Receive queue device with efficient queue flow control, segment placement and virtualization mechanisms
DE10304546A1 (de) * 2003-02-04 2004-08-05 Robert Bosch Gmbh Verfahren zur Übertragung verkehrsrelevanter Informationen sowie Gerät zur Auswertung
KR100744299B1 (ko) * 2003-07-15 2007-07-30 삼성전자주식회사 휴대용 단말기에서 생활정보를 서비스하는 방법
EP1530339B1 (en) * 2003-11-07 2008-03-05 Harman Becker Automotive Systems GmbH Method and apparatuses for access control to encrypted data services for a vehicle entertainment and information processing device
KR20050060920A (ko) * 2003-12-17 2005-06-22 엘지전자 주식회사 엠엠에스와 씨비에스를 이용한 교통정보 전송 방법
WO2005088578A1 (en) * 2004-03-17 2005-09-22 Globis Data Inc. System for using cellular phones as traffic probes
US7698055B2 (en) * 2004-11-16 2010-04-13 Microsoft Corporation Traffic forecasting employing modeling and analysis of probabilistic interdependencies and contextual data
US8458467B2 (en) * 2005-06-21 2013-06-04 Cisco Technology, Inc. Method and apparatus for adaptive application message payload content transformation in a network infrastructure element
US8954595B2 (en) * 2004-12-30 2015-02-10 Citrix Systems, Inc. Systems and methods for providing client-side accelerated access to remote applications via TCP buffering
US7810089B2 (en) * 2004-12-30 2010-10-05 Citrix Systems, Inc. Systems and methods for automatic installation and execution of a client-side acceleration program
KR20060110490A (ko) * 2005-04-20 2006-10-25 에스케이 텔레콤주식회사 지능형 동영상 교통정보 서비스 방법 및 시스템
US7974202B2 (en) * 2005-05-06 2011-07-05 Corrigent Systems, Ltd. Tunnel provisioning with link aggregation
CN100352277C (zh) * 2005-06-03 2007-11-28 上海惠晨信息技术有限公司 动态预约调度媒体播控系统资源分配方法
KR100913087B1 (ko) * 2005-06-09 2009-08-21 엘지전자 주식회사 전력소모 방지 모드에서 핸드오버 제어 방법
KR100700244B1 (ko) * 2005-06-13 2007-03-26 엘지전자 주식회사 파일 전송 방식을 통한 교통 정보의 송수신 방법 및 장치
US7486701B2 (en) * 2005-07-25 2009-02-03 Solacom Technologies Inc. Apparatus and method for air traffic services voice signaling
US7689249B2 (en) * 2005-09-19 2010-03-30 Silverbrook Research Pty Ltd Printing a security identification using a mobile device
US8185591B1 (en) * 2005-09-30 2012-05-22 Google Inc. Systems and methods for viewing email attachments as thumbnails
US7840868B2 (en) * 2005-10-05 2010-11-23 Lg Electronics Inc. Method of processing traffic information and digital broadcast system
US8079037B2 (en) * 2005-10-11 2011-12-13 Knoa Software, Inc. Generic, multi-instance method and GUI detection system for tracking and monitoring computer applications
US8046162B2 (en) * 2005-11-04 2011-10-25 Honda Motor Co., Ltd. Data broadcast method for traffic information
US7912471B2 (en) * 2006-01-04 2011-03-22 Wireless Technology Solutions Llc Initial connection establishment in a wireless communication system
KR20070080735A (ko) * 2006-02-08 2007-08-13 삼성전자주식회사 무선 통신 시스템에서 실시간 서비스의 상향링크 자원 할당시스템 및 방법
KR100961706B1 (ko) * 2006-02-28 2010-06-10 삼성전자주식회사 무선 통신 시스템의 슬립 모드 동작 제어 시스템 및 방법
US7864740B2 (en) * 2006-03-17 2011-01-04 Futurewei Technologies, Inc. System for minimizing signaling overhead in OFDMA-based communication systems
US8738013B2 (en) * 2006-04-24 2014-05-27 Marvell World Trade Ltd. 802.11 mesh architecture
US7953457B2 (en) * 2006-04-28 2011-05-31 Research In Motion Limited Methods and apparatus for reducing power consumption for mobile devices using broadcast-to-unicast message conversion
US20070253421A1 (en) * 2006-05-01 2007-11-01 Motorola, Inc. Selective reception of multi user joint coded packets
US20070276901A1 (en) * 2006-05-23 2007-11-29 Bhp Billiton Innovation Pty Ltd. Method and system for providing a graphical workbench environment with intelligent plug-ins
KR100867592B1 (ko) * 2006-08-10 2008-11-10 엘지전자 주식회사 차선별 교통정보를 제공하고 이를 이용하는 방법 및 장치
US8238278B2 (en) * 2007-01-08 2012-08-07 Hellosoft, Inc. Hardware-based beacon processing
JP2008305469A (ja) * 2007-06-06 2008-12-18 Toshiba Corp 半導体記憶装置

Also Published As

Publication number Publication date
EP2156582A4 (en) 2011-09-21
KR20100016286A (ko) 2010-02-12
WO2008123747A1 (en) 2008-10-16
CN101657983B (zh) 2011-03-16
EP2156582A1 (en) 2010-02-24
US8903635B2 (en) 2014-12-02
US20100114465A1 (en) 2010-05-06

Similar Documents

Publication Publication Date Title
CN101657983B (zh) 提供和使用关于与交通情况相关的视频的信息
US8966002B2 (en) Providing of link information between various application information and using the link information
KR100517754B1 (ko) 방송 시스템과 그 방송 송신 장치 및 수신 단말 장치
CN100444212C (zh) 提供基于位置的信息的设备和方法
KR101235775B1 (ko) 미디어 정보를 포함하는 교통 정보의 확인 및 이용
US8150607B2 (en) Method and an apparatus for transmitting and receiving traffic information by using file transfer
KR101193138B1 (ko) 티팩 메시지를 이용한 부가 정보 제공방법과 엔코딩 및디코딩 장치 및 방법
KR100738331B1 (ko) 디지털 방송 시스템 기반 실시간 교통상황 정보 전송 장치및 그 방법
Cho et al. Real time traffic information service using terrestrial digital multimedia broadcasting system
CN101924930B (zh) 一种利用dsm-cc协议传输数据的方法
CN101098202A (zh) 交通信息的传输方法
KR101187073B1 (ko) 교통 정보 서비스를 위한 방법 및 장치
CA2608710C (en) Providing traffic information including sub-links of links
CN102625243A (zh) 传输协议专家群组头端信息系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110316

Termination date: 20210410