CN107850674A - 获取差分位置信息的方法和装置 - Google Patents

获取差分位置信息的方法和装置 Download PDF

Info

Publication number
CN107850674A
CN107850674A CN201680042462.7A CN201680042462A CN107850674A CN 107850674 A CN107850674 A CN 107850674A CN 201680042462 A CN201680042462 A CN 201680042462A CN 107850674 A CN107850674 A CN 107850674A
Authority
CN
China
Prior art keywords
sample
recording device
media
differential
media recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680042462.7A
Other languages
English (en)
Inventor
E·B·阿克苏
M·M·汉努克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107850674A publication Critical patent/CN107850674A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

根据本发明的示例性实施例，提供至少用于执行以下操作的方法和装置，包括：由媒体记录设备确定差分位置样本，所述差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的当前时间位置；以及由媒体记录设备执行将差分位置样本存储在视听媒体文件中以及传输在视听媒体文件中的差分位置样本中的至少一个。根据本发明的另一个示例性实施例，提供至少用于执行以下操作的方法和装置，包括：由解析设备接收并解析视听媒体文件的多个差分位置样本以识别媒体记录设备的绝对位置。

Description

获取差分位置信息的方法和装置
技术领域
根据本发明的示例性实施例的教导一般涉及执行差分位置信息的感测和存储，更具体地，涉及使用算法执行差分位置信息的感测和存储以避免和/或减少误差。
背景技术
本章节旨在提供在权利要求中描述的本发明的背景或上下文。在本文中的描述可包括可寻求的概念，但并非是先前已经构想或寻求的概念。因此，除非在此另行指出，否则在本章节中描述的内容对本申请中的描述和权利要求而言不是现有技术，并且不应因为包括在本章节中而被视为现有技术。
目前，地理位置数据在很大程度上依赖于全球定位系统和类似的位置提供技术。众所周知，这种全球定位系统无法在室内、在崎岖不平的地理位置、在恶劣的天气条件下和在水下访问。因此，在这样的限制环境中，还能够跟踪位置信息的视听记录将无法存储与视听记录捕获有关的地理位置信息。本发明的实施例致力于至少解决当前技术的这些不足。
发明内容
在本发明的示例性方面中，提供一种方法，其包括：由媒体记录设备确定差分位置样本，所述差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的当前时间位置；以及由媒体记录设备执行以下中的至少一个：将差分位置样本存储在视听媒体文件中；以及传输在视听媒体文件中的差分位置样本。
在本发明的示例性方面中，提供一种装置，其包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器；其中，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使装置至少：用媒体记录设备确定差分位置样本，所述差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的当前时间位置；以及用媒体记录设备执行以下中的至少一个：将差分位置样本存储在视听媒体文件中；以及传输在视听媒体文件中的差分位置样本。
在本发明的另一个示例性方面中，提供一种装置，其包括：用于用媒体记录设备确定差分位置样本的装置，所述差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的当前时间位置；以及用于用媒体记录设备执行将差分位置样本存储在视听媒体文件中以及传输在视听媒体文件中的差分位置样本中的至少一个的装置。
根据在以上段落中描述的本发明的示例性实施例，至少用于确定的装置和用于存储和传输的装置至少包括非暂时性计算机可读介质，所述非暂时性计算机可读介质包括计算机程序代码，所述计算机程序代码由至少一个处理器执行。
在本发明的另一个示例性方面中，提供一种方法，其包括：由解析设备接收视听媒体文件的多个差分位置样本，其中，每个差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的位置；以及解析多个差分位置样本以确定媒体记录设备的绝对位置，其包括：确定当前差分位置样本包括坐标数据；识别与所述坐标数据相关联的初始位置；确定当前差分位置样本包括媒体记录设备的初始位置；确定当前差分位置样本包括初始速度和加速度数据，其中，初始速度数据使用预先选择的轴规定；以及至少基于所识别的初始位置、初始速度和加速度数据，确定媒体记录设备的绝对位置。
在本发明的再一个示例性方面中，提供一种装置，其包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器；其中，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使装置至少：用解析设备接收视听媒体文件的多个差分位置样本，其中，每个差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的位置；以及用解析设备解析多个差分位置样本以确定媒体记录设备的绝对位置，其包括：确定当前差分位置样本包括坐标数据；识别与坐标数据相关联的初始位置；确定当前差分位置样本包括初始速度和加速度数据，其中，初始速度数据使用预先选择的轴规定；以及至少基于所确定的初始位置、初始速度和加速度数据，确定媒体记录设备的绝对位置。
在本发明的又一个示例性方面中，提供一种装置，其包括：用于用解析设备接收视听媒体文件的多个差分位置样本的装置，其中，每个差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的位置；以及用于解析多个差分位置样本以确定媒体记录设备的绝对位置的装置，其包括：用于确定当前差分位置样本包括坐标数据的装置；用于识别与坐标数据相关联的初始位置的装置；用于确定当前差分位置样本包括媒体记录设备的初始位置的装置；用于确定当前差分位置样本包括初始速度和加速度数据的装置，其中，初始速度数据使用预先选择的轴规定；以及用于至少基于所确定的初始位置、初始速度和加速度数据来确定媒体记录设备的绝对位置的装置。
根据在以上段落中描述的本发明的示例性实施例，用于接收、解析和确定的装置至少包括非暂时性计算机可读介质，所述非暂时性计算机可读介质包括计算机程序代码，所述计算机程序代码由至少一个处理器执行。
附图说明
当结合附图阅读时，本发明的实施例的上述和其它方面在下面的详细描述中变得更加显而易见，其中：
图1示出ISO基本媒体文件格式(ISOBMFF)框结构层次；
图2示出适用于实施本发明的示例性实施例的各种电子设备的简化框图；
图3示出根据本发明的示例性实施例的样本数据时间采样；
图4示出根据本发明的示例性实施例的差分位置样本在ISOBMFF兼容文件中的存储；
图5示出以最小误差存储差分位置样本的可能流程结构；
图6示出根据本发明的示例性实施例的由播放器/解析器重构绝对位置的可能流程图；
图7示出其中可实施本发明的多个方面的便携式电子设备的非限制性实施例；
图8A和图8B每个都是示出用于实施本发明的示例性实施例的方法的操作和在计算机可读存储器上具体化的计算机程序指令的执行结果的逻辑流程图。
具体实施方式
在本发明中，我们至少提出执行差分位置信息的感测和存储的方法和装置，诸如使用算法以避免和/或减少误差。
诸如照相机和移动电话的目前的媒体捕获设备依赖于GPS或类似的全球定位技术(例如，GLONASS)以生成具有高度、纬度和高程数据的“地理位置”信息。对于静止图像，此信息作为元数据存储在图像文件中。可将在JPEG文件中存在的EXIF元数据视为示例。
可用的媒体文件格式标准包括ISO基本媒体文件格式(ISO/IEC14496-12，其可缩写为ISOBMFF)以及从ISOBMFF派生的标准，诸如MPEG-4文件格式(ISO/IEC 14496-14，也被称为MP4格式)，用于NAL单元结构化视频的文件格式(ISO/IEC 14496-15)和3GPP文件格式(3GPP TS 26.244，也被称为3GP格式)。ISO/IEC 14496-15规定了高级视频编码(H.264/AVC)标准和/或高效视频编码(HEVC，也被称为H.265)标准和/或其在ISOBMFF兼容文件中的扩展的比特流的存储。所提及的文件格式(包括ISO文件格式本身)以及从ISOBMFF派生的其它文件格式可被称为ISO文件格式族。ISO可被视为国际标准化组织的缩写。
在下面ISOBMFF的一些概念、结构和规范被描述为基于其这些实施例可被实现的容器文件格式的示例。本发明的各个方面不限于ISOBMFF，而是给出对部分或全部实现本发明所基于的一个可能基础描述。
ISO基本媒体文件格式中的一个构建块被称为框(box)。每个框可具有报头和有效载荷。框报头以字节为单位指示框的类型和框的大小。一个框可包括其它框，ISO文件格式指定在特定类型的框内允许哪些框类型。此外，在每个文件中一些框的存在可能是强制性的，而其它框的存在可能是可选的。此外，对于一些框类型，可允许在一个文件中存在多个框。因此，ISO基本媒体文件格式可被认为是规定框的层次结构。ISO基本媒体文件的每个框可由“四字符代码(4CC，四个CC)”标识。一个“四字符代码”可互换地由一个32位无符号整数来表示(通过假设某种字符到8位值的转换、某种位顺序和某种字节顺序)。报头可提供关于框的类型和大小的信息。
根据ISO文件格式族，文件可包括可封装在单独的框中的媒体数据和元数据。在示例性实施例中，可在媒体数据(mdat)框中提供媒体数据，可使用电影(moov)框来封装元数据。在某些情况下，为了使文件可操作，mdat框和moov框两者都必须存在。电影(moov)框可包括一个或多个轨道，并且每个轨道可驻留在一个对应的轨道(trak)框中。每个轨道都与处理器相关联，由指定轨道类型的“四字符代码”标识。视频、音频和图像序列轨道可被统称为媒体轨道，它们包含基本媒体流。其它轨道类型包括提示轨道和定时元数据轨道。轨道包括样本，诸如音频或视频帧。媒体轨道是指根据媒体压缩格式(及其到ISO基本媒体文件格式的封装)格式化的样本(其也可被称为媒体样本)。提示轨道是指提示样本，包含用于构建通过所指示的通信协议传输的分组的操作指令。操作指令可包括用于分组报头构建的指导，并且可包括分组有效载荷构建。在分组有效载荷构建中，可引用驻留在其它轨道或项中的数据。因此，例如，驻留在其它轨道或项中的数据可通过关于在分组构建过程中特定轨道或项中的哪个数据被指示复制到分组中的引用来指示。定时元数据轨道可指代描述引用的媒体和/或提示样本的样本。对于一个媒体类型的呈现，可选择一个媒体轨道。轨道的样本可隐含地与可递增的样本编号(例如，按所指示的样本解码顺序递增“1”)相关联。轨道中的第一样本可与样本编号“1”相关联。
'trak'框包含样本表框。样本表框例如包括轨道中的媒体样本的所有时间和数据索引。样本表框需包含样本描述框。样本描述框包括条目计数字段，规定在框中包括的样本条目数。样本描述框需包含至少一个样本条目。样本条目格式取决于轨道的处理器类型。样本条目提供关于所使用的编码类型和该编码所需的任何初始化信息的详细信息。
在图1中，示出了ISO文件格式框结构层次，包括电影框101、轨道框102、媒体框104、媒体信息框106、样本表框108和样本描述框110。图1中的箭头指示包含关系；例如，轨道框被“电影框”包含。值得注意的是，图1包括ISOBMFF文件的一些但并非所有框。
在ISOBMFF中，占据连续字节范围的样本形成块。文件内块的位置用块偏移框('stco')描述。每个块与在样本描述框('stsd')内提供的样本条目中的一个相关联。样本条目包括所链接的样本的解码器初始化信息，诸如HEVC参数集。样本大小框('stsz')包含样本的长度，因此使得能够在每个块内定位各个样本。
ISO基本媒体文件格式不限制将被包含在一个文件中的呈现(presentation)。因此，呈现可被包括在若干文件内。作为示例，一个文件可包括整个呈现的元数据，因此可包括所有媒体数据以使呈现自包含。其它文件(如果使用的话)可能不需要被格式化为ISO基本媒体文件格式，而可用于包括媒体数据，还可包括未使用的媒体数据或其它信息。ISO基本媒体文件格式仅关心呈现文件的结构。媒体数据文件的格式可仅由ISO基本媒体文件格式或其派生格式约束，因为媒体文件中的媒体数据以ISO基本媒体文件格式或其派生格式所规定的格式化。
引用外部文件的能力可通过数据引用来实现。在一些示例中，在每个轨道中包括的样本描述框可提供样本条目列表，每个样本条目提供关于所使用的编码类型和该编码所需的任何初始化信息的详细信息。块的所有样本和轨道片段的所有样本可使用相同的样本条目。块可被定义为一个轨道的连续样本集。也可在每个轨道中包括的数据引用(dref)框可定义统一资源定位符(URL)、统一资源名称(URN)和/或对包含元数据的文件的自引用的索引列表。样本条目可指向数据引用框的一个索引，从而指示包含相应的块或轨道片段的样本的文件。
例如为了避免如果记录应用崩溃、存储空间耗尽或某些其它事故发生而丢失数据，在将内容记录到ISO文件时，可使用电影片段。没有电影片段，则可能发生数据丢失，因为文件格式可能要求所有元数据(例如，电影框)被写入文件的一个连续区域中。此外，当记录文件时，对于可用存储的大小，可能没有足够量的存储器空间(例如，随机存取存储器RAM)以缓冲电影框，并且当电影被关闭时，重新计算电影框可能太慢。此外，电影片段可使得能够使用常规ISO文件解析器同时记录和播放文件。此外，在使用电影片段并且初始电影框与具有相同媒体内容但没有使用电影片段构建的文件相比较更小时，对于渐进式下载(例如，同时接收和播放文件)，可能需要更小的初始缓冲持续时间。
电影片段特征可使得能够将否则可能驻留在电影框中的元数据划分成多个部分。每个部分可与特定时间段的轨道对应。换句话说，电影片段特征可使得能够交织文件元数据和媒体数据。因此，可限制电影框的大小并且实现以上提及的用例。
在一些示例中，如果电影片段的媒体样本在与moov框相同的文件中，则电影片段的媒体样本可驻留在mdat框中。然而，对于电影片段的元数据，可提供moof框。moof框可包括先前已经在moov框中的播放时间的特定持续期间的信息。moov框本身可仍然表示有效的电影，但除此之外，它可包括指示电影片段将在相同文件中跟随的mvex框。电影片段可扩展在时间上与moov框相关联的呈现。
在电影片段内可以有一组轨道片段，其包括每个轨道从“零”到多个的任何地方。轨道片段则可包括从“零”到多个轨道运行的任何地方，每个轨道运行文件是该轨道的连续运行样本(因此与块相类似)。在这些结构内，许多字段是可选的，并且可以默认。可包括在moof框中的元数据可限于可包括在moov框中的元数据的子集，并且在某些情况下可进行不同地编码。关于可包括在moof框中的框的详细信息可从ISO基本媒体文件格式规范中找到。自包含电影片段可被定义为由按照文件顺序是连续的moof框和mdat框组成，其中mdat框包含电影片段(moof框为其提供元数据)的样本，并且不包含任何其它电影片段(即任何其它moof框)的样本。
ISO基本媒体文件格式包含三种用于可与特定样本相关联的定时元数据的机制：样本群组、定时元数据轨道和样本辅助信息。派生规范可提供与这三种机制中的一个或多个相类似的功能。
采用ISO基本媒体文件格式及其派生格式(诸如用于NAL单元结构化视频(ISO/IEC14496-15)的文件格式)的样本分组(grouping)可基于分组标准而被定义为将轨道中的每个样本指定成一个样本群组的成员。按照样本分组的样本群组不限于连续样本，而可包含非相邻的样本。由于对轨道中的样本可以有多个样本分组，因此每个样本分组都可具有指示分组类型的类型字段。样本分组可由两个所链接的数据结构表示：(1)SampleToGroup框(sbgp框)表示指定样本到样本群组；(2)SampleGroupDescription框(sgpd框)包含描述群组属性的每个样本群组的样本群组条目。基于不同的分组标准，可以有多个SampleToGroup和SampleGroupDescription框的实例。这些实例可通过用于指示分组类型的类型字段来进行区分。可使用“grouping_type”的值来链接'sbgp'和'sgpd'框，在某些框的版本中，也可使用“grouping_type_parameter”的值来链接。'sbgp'框指示特定样本所属的样本群组描述条目的索引。
ISOBMFF的轨道引用机制使得能够指示从一个轨道到另一轨道的定向链接、引用或相关性。轨道引用是类型化的，因此，所指示的轨道之间的关系的类型的确切语义取决于轨道引用类型。轨道引用被包括在轨道引用框('tref')中，轨道引用框被包含在轨道框中。轨道引用框提供从包含轨道到另一个轨道的引用。轨道引用框包含其框类型指示轨道引用类型并且其有效载荷包含引用的轨道的轨道标识符值的框。框类型“cdsc”(代表内容描述)将描述性或元数据轨道链接到其描述的内容。
在ISOBMFF中，每个样本与解码时间相关联，解码时间例如可指示其过程何时开始。解码时间可例如使用解码时间到样本框('stts')或轨道片段报头框('tfhd')来给出。每个样本还与指示它何时被建议提出或输出的合成时间相关联。合成时间是特定于它们的轨道的，即，它们出现在轨道的媒体时间线上。内容作者可确定并指示将轨道的媒体时间线映射到电影时间线，例如通过在每个轨道中在编辑列表框('elst')中进行编辑来使轨道相对于彼此同步。如果不进行编辑，则媒体时间线被直接映射到电影时间线。
定时元数据轨道的样本可基于解码时间被时间映射到媒体样本。时间平行样本(在引用的轨道中，相对于特定轨道内的特定样本)可被定义为以下引用轨道中的样本：该引用轨道具有与特定轨道中的特定样本的解码时间相同的前导解码时间，或者当具有相同解码时间的样本不可用时，具有与特定轨道中的特定样本的解码时间最接近的前导解码时间。例如，当媒体轨道被定时元数据轨道(通过轨道引用)引用时，元数据样本的媒体轨道中的时间平行样本可被定义为以下媒体轨道中的样本：该媒体轨道具有与元数据样本的解码时间相同的前导解码时间，或者当具有相同解码时间的样本不可用时，具有与元数据样本的解码时间最接近的前导解码时间。因此，应当与任意媒体数据(诸如视频帧或音频帧)相关联的任意元数据都可被存储为如在相关标准中定义的定时元数据轨道。
ISOBMFF的轨道分组机制可用于指示轨道根据所指示的分组标准而被分组。在轨道框中包括的轨道群组框使得能够指示轨道的群组，其中每个群组共享特定的特征，或者群组内的轨道具有特定的关系。该框包含“零”个或多个框，特定的特征或关系由所包含的框的框类型指示。所包含的框包括标识符(32位无符号整数)，其可用于断定轨道属于同一轨道群组。包含轨道群组框内的相同类型的包含框并在这些包含框内具有相同标识符值的轨道属于同一轨道群组。
遵从ISOBMFF的文件可在元框(四字符代码：'meta')中包含被称为项、元项或元数据项的任何非定时对象。虽然元框的名称是指元数据，但项通常可包含元数据或媒体数据。元框可驻留在文件的最高级别(level)、在电影框(四字符代码：'moov')内、和在轨道框(四字符代码：'trak')内，但在文件级别、电影级别或轨道级别中的每一个上最多可出现一个元框。元框可能需要包含指示“元”框内容的结构或格式的“hdlr”框。元框可列出和表征任意数量的项，这些项可被引用并且它们中的每一个都可与文件名相关联，和文件一起由是整数值的项标识符(item_id)唯一地标识。元数据项例如可被存储在元框的'idat'框中或'mdat'框中或驻留在单独的文件中。如果元数据位于文件的外部，则其位置可由DataInformation框(四字符代码：'dinf')声明。在元数据被使用XML语法格式化并且需要被直接存储在MetaBox中的特定情况下，元数据可被封装到XML框(四字符代码：'xml')或二进制XML框(四字符代码：'bxml')中。项可被存储为连续字节范围，或者其可被存储在每个区间都是连续字节范围的若干区间中。换句话说，项可被分段存储到区间中，例如以使能交织。区间是连续字节资源子集；资源可通过连接区间来形成。
为了在任何层次级别(文件、电影或轨道)上支持多于一个的元框，可将元框容器框('meco')用作一个ISO基本媒体文件格式。元框容器框可在任何层次级别(文件、电影或轨道)上携带任意数量的附加元框。这可允许例如在两个不同的可替代的元数据系统中存在相同的元数据。元框关系框('mere')可使得能够描述不同的元框彼此如何相关，例如它们是否包含完全相同的元数据(但是用不同的方案描述)或者一个框是否代表另一个框的超集。
MPEG-H图像文件格式(ISO/IEC 23008-12)是ISO基本媒体文件格式(ISOBMFF)的派生规范。在撰写本专利申请时，ISO/IEC 23008-12是草案标准，因此需理解，标准的名称和/或别名在标准的最终版本中可能改变。诸如高效图像文件格式(HEIF)的名称已经被考虑。在标准规范本身内(否则或者当上下文清楚时)，名称“图像文件格式”可用于指代ISO/IEC 23008-12。
图像序列可被定义为可与建议定时相关联并且其中图像可被帧间预测的一系列图像。在MPEG-H图像文件格式中，图像序列根据ISOBMFF的轨道机制而被存储。当图像之间存在编码相关性或者当图像被定时播放时，可使用图像序列轨道。图像序列轨道中的定时可被定义为用于播放器的建议。为了区分图像序列与运动视频，已经在MPEG-H图像文件格式中引入新的处理器类型“pict”。
最近，3GPP已经采取措施将地理位置信息的存储标准化为3GP文件的定时元数据轨道。例如，这样的操作在3GPP 26.244版本12.3.0标准中被考虑。
如上所述，目前，地理位置数据在很大程度上依赖于全球定位系统(GPS)和类似的位置提供技术(例如，GLONASS)。众所周知，这种全球定位系统例如无法在室内、在崎岖不平的地理位置、在恶劣的天气条件下和在水下访问。因此，在这样的限制环境中，还能够跟踪位置信息的视听记录将无法存储与视听记录捕获有关的地理位置信息。本发明的实施例致力于至少解决这些不足。
此外，在某些类型的记录或内容中，诸如对于虚拟现实和临场类型体验，不能使用或没有理由使用或没必要使用诸如{纬度、经度、高度}三元组的地理位置，但他们可使用预定义的坐标系。
目前，许多具有媒体功能的设备配备有不同类型的运动/压力传感器(例如陀螺仪、加速度计、气压计等)，这些传感器可用于解释设备相对于先前的参考时间位置的位置差异。诸如惯性导航系统(INS)的方案是使用这种方法构建的并用于位置跟踪(例如室内)。这样的设备正变得日益精确。
目前没有任何办法以ISOBMFF派生文件格式存储这样的差分位置信息。在GPS信号丢失的情况下，记录将缺少位置信息。虽然可能具有必要传感器以计算差分位置，但没有任何机制和标准方法以将位置数据存储在视听媒体文件中。
本发明通过引入差分位置信息在媒体文件中的存储来改进当前的地理位置存储能力。
由于差分定位系统还因为传感器的精度的原因而引入误差，所以在实现中必须保持控制误差累积。传感器灵敏度属性也被存储在文件中以用于位置数据的进一步处理及其误差最小化。
在专利US3509765中解释了惯性导航系统。在专利US20140172906A1中确认了在图像中存储位置信息和相机定向信息(对于每个图像，作为图像数据的一部分)。该专利声称对于每个图像，位置和相机定向被存储在图像文件中。然而，该专利没有包含任何与视频媒体类型相关的权利要求，并且没有提供用于将位置信息作为单独的元数据存储在诸如3GP、MP4或任何遵从ISOBMFF的文件的层次文件格式中的方案。
此外，应注意，在3GPP文件格式中存储位置元数据被作为在2014年10月在S4-141345中向3GPP SA4标准化提交的变更请求而引入。在S4-141345中引入的方法可仅以纬度、经度和高度格式存储全球位置信息。它没有涵盖任何差分位置信息的存储。它也没有涵盖基于虚拟坐标系统(诸如虚拟现实环境中的坐标系统或识别室内环境的几何形状的坐标系统)的任何位置信息的存储。
本发明使得能够通过利用设备上传感器和/或与视听捕获设备或设备布置(例如，相机平台)物理连接的传感器的相关数据，在诸如ISOBMFF兼容媒体文件的多媒体容器文件中存储差分位置信息。这些传感器可以是(但不限于)加速度计、高度计或者用于表示特定的时间间隔内设备的速度和加速度的任何其它传感器。其使得能够在全球定位系统无法访问的情况下获取位置信息。
引入一种新类型的定时元数据样本条目和样本格式。还提供一种算法以避免或减少漂移误差。
在进一步详细描述本发明的示例性实施例之前，现在参考图2，图2示出了适用于实现本发明的示例性实施例的各种电子设备和装置的简化框图。在图2中，存在经由接口226耦合到网络节点/NN 223的第一网络接入节点/eNB 222，其中第一网络接入节点/eNB222被示出为适于通过无线链路与装置MR 221(诸如被配置为连接到网络的不同网络设备或节点或者更一般地被称为媒体记录设备的数据采集设备)进行通信。应注意，根据示例性实施例的操作不限于诸如MR 221的设备，而是可由根据实施例的任何类似配置的设备来执行。根据本发明的示例性实施例，网络节点eNB222或NN 223可分别包括差分处理器设备222G和223G，其至少包括在执行差分位置存储操作中使用的地理位置数据库。如上所述，eNB 222和NN 223可经由接口226与主网络通信耦合。接口226可用于分别经由eNB222的天线222F和NN 223的天线223F的无线通信。此外，在非限制性实施例中，eNB222和NN223可分别使用接口222H和223H进行耦合，所述接口耦合到其它网络(例如，PSTN和/或数据通信网络/因特网，和/或卫星系统)。NN 223可以是另一个网络设备或者更高的网络节点。此外，NN223可位于服务提供商或制造商网络中。此外，NN 223可被并入诸如网络基站的任何网络设备中。此外，NN 223可作为全球定位系统运行，并且可包括服务器。
MR 221包括诸如至少一个数据处理器221A的处理装置，诸如存储至少一个计算机程序221C的至少一个计算机可读存储器221B的存储装置，诸如经由一个或多个天线221F与eNB 222进行双向无线通信的发射机TX221D和接收机RX的通信装置。在非限制性实施例中，至少连接MR 221的存储器221B和DP 221A的是差分处理器221G。根据本发明的示例性实施例，MR 221可操作差分处理器221G以至少执行感测和存储MR 221的差分位置信息。根据本发明的示例性实施例，天线221F可配置有DP 221A以传输关于所检测的通信业务的信息，并且被配置为接收关于方向和/或操作的通知以防止/减少通信业务拥塞。
eNB 222包括诸如至少一个数据处理器222A的处理装置，诸如存储至少一个计算机程序222C的至少一个计算机可读存储器222B的存储装置，和诸如经由一个或多个天线222F诸如与其关联的MR 221进行双向无线通信的发射机TX 222D和接收机RX 222E的通信装置。根据本发明的示例性实施例，eNB222还可被配置为至少就在MR 221处感测和存储差分位置信息方面执行与NN 223的通信。
此外，NN 223包括诸如至少一个数据处理器223A的处理装置，诸如存储至少一个计算机程序223C的至少一个计算机可读存储器223B的存储装置，和诸如经由一个或多个天线223F诸如与其关联的eNB 222进行双向无线通信的发射机TX 223D和接收机RX 223E的通信装置。根据本发明的示例性实施例，NN 223还可被配置为至少就在MR 221处感测和存储差分位置信息方面执行与NN 223的通信。
实现本发明的各个方面的电子设备不需要是整个MR 221、eNB 222和/或NN 223，但示例性实施例可由一个或多个相同的组件实现，诸如上述有形存储的软件、硬件、固件和DP，或者片上系统SOC或专用集成电路ASIC或数字信号处理器DSP或调制解调器或通常被称为SIM卡的用户身份模块。
MR 221的各种实施例可包括但不限于：照相机、高程检测器、加速度和速度检测器、持续时间定时器，并且可被并入被配置为连接网络(诸如图2中的网络)的独立设备中。根据示例性实施例，如在本文中描述的媒体记录功能还可被并入用户设备(UE)中，诸如蜂窝电话、数据卡、USB加密狗、具有无线通信能力的个人便携式数字设备，其包括但不限于笔记本电脑/掌上电脑/平板电脑、数码照相机和音乐设备、电子阅读器和网络家电。所描述的MR 221的其它实施例可被实现为M2M设备，其可没有直接用户接口，而是被远程操控以进行无用户操作。
计算机可读MEM 221B、222B和223B的各种实施例包括适用于本地技术环境的任何数据存储技术类型，其包括但不限于基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器、可移动存储器、磁盘存储器、闪存存储器、DRAM、SRAM、EEPROM等。DP 221A、222A和223A的各种实施例包括但不限于通用计算机、专用计算机、微处理器，数字信号处理器(DSP)和多核处理器。
差分位置信息在媒体文件中的存储提供了全球定位系统信号无法被访问或不可用的室内、水下或虚拟环境媒体捕获场景中的位置数据。然而，差分位置信息在媒体文件中的存储不限于全球定位系统信号无法被访问或不可用的场景，而是可应用于所有场景，并且差分位置信息可与全球定位信息一起被存储。
在实施例中，一系列差分位置例如从一个或多个传感器中获取，其中序列中的每个差分位置可与时间相关联，所述时间例如可以是一个或多个传感器获取差分位置的时间。差分位置例如可通过朝向所指示的方向的加速度来表示。差分位置序列以其与存储在媒体文件中的定时媒体(诸如音频和视频)同步被使能的方式存储在媒体文件中。
在实施例中，差分位置信息可取决于由记录设备提供的初始速度和运动传感器(例如加速度计传感器)数据。传感器数据和初始速度的获取和计算不在本发明的范围内。
在实施例中，差分位置信息使用特定坐标系相对于参考时间或样本来表示。坐标系可在媒体文件中指示(例如作为已知坐标系中的索引或标识符)，可预定义(例如在定义媒体文件格式的标准中)，或者可以是未定义的。例如，具有朝向磁北的y轴、与y轴正交(例如朝向东)的x轴、与由x和y轴形成的平面正交的z轴的度量坐标系。参考时间或样本例如可以是先前的差分位置样本，全球定位数据可用于先前这样的时间或样本。可通过初始速度和所测量的加速度计算差分位置，所计算的差分位置可被存储在媒体文件中。例如，差分位置可被存储为所述特定坐标系的x、y和z坐标。
在实施例中，媒体文件遵从ISOBMFF，诸如音频和/或视频和/或图像序列的定时媒体被作为轨道存储在媒体文件中。
在实施例中，差分位置序列被作为定时元数据轨道存储在媒体文件中。如以上所解释的，差分位置序列与媒体轨道的同步可通过同步轨道之间的时间平行样本完成。
在实施例中，表示差分位置序列的定时元数据轨道采用ISOBMFF的轨道分组机制与一个或多个媒体轨道一起被分组。对于包含在轨道群组框中的框，特定框类型(在此被称为'jacq')可指示轨道例如是采用相同的设备或设备布置而共同获取或捕获的。当差分位置定时元数据轨道被指示为与媒体轨道在同一轨道群组中时，可认为意味着使用相同的捕获设备或设备布置(例如相机平台)以捕获差分位置信息以及媒体数据。
在实施例中，表示差分位置序列的定时元数据轨道被指示为指代一个或多个具有ISOBMFF的轨道引用机制的媒体轨道。例如，可使用'cdsc'轨道引用类型。可替代地，特定轨道引用类型(诸如'jacq')可用于指示定时元数据轨道提供与所链接的媒体轨道相关联的捕获设备的位置信息。
在实施例中，差分位置序列被作为样本辅助信息存储在遵从ISOBMFF的媒体文件中。在实施例中，差分位置序列被作为样本群组存储在遵从ISOBMFF的媒体文件中。
接下来描述与ISOBMFF相关的实施例。需理解，本发明的各方面可替代地通过采用ISOBMFF的其它类似方式和/或针对其它容器文件格式来实现。为了在ISOBMFF兼容文件中存储差分位置信息，定义了以下信息：
-DifferentialLocationSampleEntry：指示在轨道中存在差分定位样本的样本条目定义。该条目还可包含传感器特定属性，诸如供应商名称，错误率、版本等。
-差分位置定时元数据样本格式：用于存储差分位置数据的数据存储格式和语义。
DifferentialLocationSampleEntry：
一个新的框类型DifferentialLocationSampleEntry框可定义如下：
class DifferentialLocationSampleEntry()扩展SampleEntry('difl'){
unsigned int(8)version；
unsigned int(16)sample_resolution；
FullBox SensorPropertiesBox；
}
语义：
样本条目类和任何其它基类及其语义如在ISOBMFF规范ISO/IEC14496-12中所定义的。
version：DifferentialLocationSampleEntry的版本号。其假定为“0”。任何其它版本定义还必须提供DifferentialLocationSampleEntry的新语义和结构定义。
sample_resolution：表示1个测量单位。例如，如果该值是“1000”，则以任何轴的加速度计传感器测量1m/s2被表示为“1000”。
SensorPropertiesBox：提供样本的传感器的信息和规格数据。
语义：
sensor_type：标识传感器类型的枚举值。定义了以下值并且可扩展：
0x01：加速度计，具有(x,y,z)方向的加速度值，包括重力。其单位是m/s2；
0x02：线性加速度计，具有(x,y,z)方向的加速度值，不包括重力。其单位是m/s2。
sensor_vendor：供应商信息的字符串表示。
sensor_version：由传感器供应商提供的传感器版本的字符串表示。
axis_convention：指示所使用的轴规定的枚举值。定义了以下值并且可扩展：
0x01：ENU(东、北、上)坐标系(x轴正向指向东，y轴正向指向北，z轴正向指向上)；
0x02：NED(北、东、下)坐标系(x轴正向指向北，y轴正向指向东，z轴正向指向下)；
0x03：WND(西、北、下)坐标系(x轴正向指向西，y轴正向指向北，z轴正向指向下)。
accuracy_resolution：表示1个测量单位。例如，如果该值是“1000”，则以任何轴的加速度计传感器测量1m/s2被表示为“1000”。
sensor_accuracy_x：传感器在x轴上的精度，以precision_resolution单位给出。
sensor_accuracy_y：传感器在y轴上的精度，以precision_resolution单位给出。
sensor_accuracy_z：传感器在z轴上的精度，以precision_resolution单位给出。
差分位置样本条目信息可与handler_type‘meta’一起存储在样本描述框中，如在ISOBMFF规范ISO-IEC 14496-12中所定义的。
差分位置定时元数据样本格式：
可定义以存储差分样本数据的新的样本格式。
在这种格式中，X、Y和Z轴上的加速度值基于预先选择的轴规定(例如北、东、下)。
语义：
所有加速度值均以m/s2为单位，所有速度值均以m/s为单位，在这些值上应用分辨率值。
version：指示该样本格式的版本。在该定义中，其被假定为“0”。
initial_velocity_flag：指示在样本中存在初始速度数据。
initial_location_flag：指示在样本中存在初始位置数据。
orientation_flag：指示在样本中存在相机视图定向数据。
location_type：初始位置数据的类型。目前定义了两个值：
‘geol’：地理位置数据；
‘cord’：具有如在相关样本条目中所定义的坐标轴规定的坐标数据。
initial_longitude：以度为单位定义为32位浮点值的经度。
initial_latitude：以度为单位定义为32位浮点值的纬度。
initial_altitude：在WSG84参考椭球面上以米为单位定义为32位浮点值的高度。
initial_location_x：按照如在相关样本条目中所定义的坐标轴规定的初始位置的x坐标。
initial_location_y：按照如在相关样本条目中所定义的坐标轴规定的初始位置的y坐标。
initial_location_z：按照如在相关样本条目中所定义的坐标轴规定的初始位置的z坐标。
reserved：在该样本格式版本中目前保留的字段。
initial_velocity_x：初始速度的x轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定和分辨率来表示。
initial_velocity_y：初始速度的y轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
initial_velocity_z：初始速度的z轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
acceleration_x：加速度的x轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定和分辨率来表示。
acceleration_y：加速度的y轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定和分辨率来表示。
acceleration_z：加速度的z轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定和分辨率来表示。
orientation_vector_x：相机视图定向的x轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
orientation_vector_y：相机视图定向的y轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
orientation_vector_z：相机视图定向的z轴分量。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
translate_x：x轴上的相机位置转换。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
translate_y；y轴上的相机位置转换。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
translate_z；z轴上的相机位置转换。其按照在适当的DifferentialLocationSampleEntry中定义的坐标轴规定来表示。
angle_roll；相机翻滚角，以度为单位。
angle_pitch；相机俯仰角，以度为单位。
angle_yaw；相机偏航角，以度为单位。
应注意，上述结构可被扩展到涵盖不同的{lat,lon,alt}表示。例如，纬度和经度可被表示为带符号的32位整数。在类DifferentialLocationSample中考虑了最适当和无错的表示。
包含初始位置信息的样本可被视为“位置同步样本”。包含初始速度信息的样本可被视为“速度同步样本”。样本可包含上述两者。
可访问适当的传感器信息的媒体记录设备创建媒体记录，还记录传感器信息。每个传感器数据样本与特定的时间对应，如图3所示。
在创建媒体文件期间，这些传感器数据样本也与适当的定时信息一起被记录。如图4所示，它们被作为差分位置样本存储在文件中。如图4所示，示出了包括如图1所示的ISO文件格式框结构层次的ISOBMFF兼容文件。ISO文件格式框结构层次包括如以上所讨论的DifferentialLocationSampleEntry 115和样本到块框(stco)118。在图4中，使用时间到样本框(stss)127将音频/视频媒体数据125存储在差分位置样本128中。
这些样本由文件中的“定时元轨道”引用，并且具有与音频/视频数据匹配的时间戳(例如如在上面针对时间平行样本所定义的)。因此，具有相关时间信息的任何音频/视频数据都可具有存储为差分位置样本的相关传感器数据。从而传感器数据的采样频率可比音频/视频媒体数据的采样频率更稀疏或更密集。
基于所定义的样本格式，在全球定位系统存在的情况下，差分位置样本可将全球定位信息存储为“初始地理位置”信息。
在全球定位系统信号丢失的情况下，可将初始速度信息和传感器信息存储在差分位置样本中。因为在时间上的位置是采用与初始条件(在该情况下，是初始速度和位置)不同的方式计算的，所以将初始速度信息仅存储一次就足够了(但不限于此)。
图5示出了根据本发明的示例性实施例的可用于以最小误差记录差分位置信息的流程图。如在图5的步骤510中所示，检查绝对位置信息，诸如全球定位信息。如果可用(步骤520)，则在步骤525处，将位置信息和/或加速度传感器数据存储为差分位置样本。如果绝对位置信息不可用(步骤520)，则在步骤530处，确定初始速度是否被存储。其中如果初始速度被存储，则在步骤532处更新初始速度(如果需要的话)。在步骤534和536处，计算初始速度信息并将其存储在差分位置样本中。在步骤538处，将加速度传感器数据信息存储在差分位置样本中。
图6示出了可用于通过差分位置重构绝对位置的流程图。在图6的步骤605中，打开媒体文件并读取音频/视频结构。在步骤610读取差分位置样本条目并识别引用的媒体轨道。在步骤615处，从媒体轨道中读取具有显示解码时间和持续时间的音频视频样本。在步骤620处，在与相同的显示/解码时间对应的引用的差分位置轨道中查找相关的差分位置样本。在步骤625处，读取差分位置样本[n]。在步骤630处，确定差分位置样本是否包括类型‘geol’。如果不包括，则确定差分位置样本是否包括类型‘cord’类型。如果不包括，则确定差分位置样本是否包括初始速度。如果上述这些中的任何一个包括，则在步骤632、637和642中，分别设置初始地理位置、设置初始位置和设置初始速度。如果对步骤635的确定没有应答，则流程进行到步骤639并且可能进行到638。然后在步骤650处，在计算初始速度之后，确定差分位置样本是否包括类型‘cord’的位置。如果包括，则在步骤654处，将location_sample[n]设置为initial_location[n]。如果不包括，则在步骤652和656处，识别initial_location[n]，然后将其设置为location_sample[n]。应注意，initial_location[i]是指与具有相同时间位置的媒体样本对应的差分位置样本[i]的绝对位置向量，acceleration[i]是指从差分位置样本[i]中读取的向量[acceleration_x,acceleration_y,acceleration_z]。
根据本发明的示例性实施例，除非由DifferentialLocationSample[0]另行设置，否则initial_location[0]被假定为{0,0,0}。Location_Sample[0]被假定为initial_location[0]。
对于全球定位系统中断的场景，建议指代中断的第一差分位置样本包含最后可计算的地理位置和类型‘cord’的初始位置，以将地理位置注册到坐标位置。
附加实施例
在实施例中，除了设备的差分位置信息之外，还将设备的地理位置(诸如GPS位置)存储在文件中。地理位置可被存储在相同的样本中，或者例如可被单独存储在其自己的单独的定时元数据轨道中，该定时元数据轨道例如可使用轨道引用或轨道分组与差分位置定时元数据轨道相关联。地理位置轨道和/或差分位置轨道可包含关于样本数据可靠性和/或准确性的信息。可靠性和/或准确性数据例如可驻留在样本条目和/或样本格式中。例如，可指示特定的地理位置样本是不可靠的(例如由于所接收的GPS信号弱)，或者可指示关于可靠性的信息，诸如可存储的计算位置所基于的卫星数量。准确性数据例如可指示地理位置可具有多大误差的估计。文件解析器可通过地理位置轨道和/或差分位置轨道的可靠性和/或准确性来推断哪些样本被解析以获取设备位置的估计。
在实施例中，可在差分位置样本中指示初始位置可从关联的地理位置轨道的时间对齐样本中获取，而不是将初始位置包括在差分位置样本内。
在实施例中，除了其差分位置信息之外，还将设备的定向存储在文件中。一系列装置定向例如从一个或多个传感器中获取，其中序列中的每个设备定向可与时间相关联，该时间例如可以是一个或多个传感器获取设备定向的时间。设备定向例如可指示在捕获视频序列中使用的相机方向也被存储在文件中。设备定向例如可由翻滚、俯仰和偏航角表示；或者其可由3×3旋转矩阵表示。定向可与差分位置信息一起存储在同一样本中，例如如前所述，或者其例如可被单独存储在其自己的单独的定时元数据轨道中，该定时元数据轨道例如可使用轨道引用或轨道分组与差分位置定时元数据轨道相关联。在某些情况下，设备可包含多个捕获装置，诸如照相机和/或麦克风，这些相机和/或麦克风可以或不可以单独定向。因此，差分位置信息可与多个捕获设备定向序列相关联，每个捕获设备定向序列例如都与不同的照相机、麦克风或一些其它传感器对应。
在实施例中，差分位置轨道和/或地理位置轨道和/或设备定向轨道与用相同的设备或设备布置(诸如相机平台，还包含获取差分位置和/或地理位置和/或设备定向所需的传感器设备)捕获的媒体轨道相关联。
在上面已经参考多媒体容器文件特别是ISOBMFF描述了本发明。需理解，本发明可采用其它多媒体容器文件格式(诸如Matroska)类似地实现。Matroska文件格式能够(但不限于)将视频、音频、图片或字幕轨道中的任何一个存储在一个文件中。Matroska可被用作派生文件格式(诸如WebM)的基本格式。Matroska使用可扩展二进制元语言(EBML)作为基础。EBML规定了由XML原理启发的二进制和八位字节(字节)对齐格式。EBML本身是二进制标记技术的广义描述。Matroska文件由构成EBML“文档”的元素组成。这些元素包括元素ID、元素大小的描述符和二进制数据本身。元素可嵌套。Matroska的分段元素是其它最高级别(级别1)元素的容器。Matroska文件可包括一个分段，但不限于由一个分段构成。Matroska文件中的多媒体数据被组织为集群(或集群元素)，每个集群通常包含几秒钟的多媒体数据。集群包括块群组元素，而块群组元素又包括块元素。提示元素包括可协助随机访问或查找的元数据，并且可包括用于查找点的文件指针或相应的时间戳。
需理解，本发明可被类似地实现为封装差分位置信息(代替或附加地将差分位置信息存储在媒体文件中)以用于传输。例如，实施例可被类似地实现为将差分位置数据封装到RTP分组中，其中RTP分组有效载荷基本包含与样本格式相同或类似的信息，MIME参数等可包含与样本条目相同或类似的信息。在另一个示例中，实施例可被类似地实现为将差分位置数据封装到MPEG-2传输流中，其中基本流被规定为包含存储在样本中的差分位置信息，和/或可被定义为包含与样本条目相同或类似的信息的信息的描述符等。在又一个示例中，实施例可通过根据容器文件格式(诸如ISOBMFF)和/或根据用于HTTP上的自适应流传输的分段格式(诸如在ISO/IEC国际标准23009-1中规定的MPEG-DASH标准中规定的基于ISOBMFF的分段格式)而将差分位置信息存储到媒体文件中来实现。存储在容器文件内和/或存储为一个或多个分段的差分位置信息可使用自适应HTTP流进行传输，其中客户端可对资源(诸如对包括差分位置信息的分段)发出HTTP GET请求。
实时传输协议(RTP)被广泛用于实时传输诸如音频和视频的定时媒体。RTP可在用户数据报协议(UDP)的上方运行，而UDP又可在因特网协议(IP)的上方运行。RTP在因特网工程任务组(IETF)请求注解(RFC)3550(可从www.ietf.org/rfc/rfc3550.txt获得)中规定。在RTP传输中，媒体数据被封装成RTP分组。通常，每个媒体类型或媒体编码格式都具有专用的RTP有效载荷格式。
多用途互联网邮件扩展(MIME)是对电子邮件协议的扩展，其使得能够在因特网上发送和接收不同种类的数据文件，例如视频和音频、图像、软件等。因特网媒体类型是在因特网上用以指示文件包含的数据的类型的标识符。这样的因特网媒体类型也可被称为内容类型。存在若干可包含不同媒体格式的MIME类型/子类型组合。除了类型/子类型之外，还可规定媒体格式特定的MIME参数。内容类型信息可在媒体传输开始时由发送实体包括在MIME报头中。因此，接收实体可能需要检查这样的媒体内容的详细信息，以确定给定一组可用的编解码器，特定元素是否可被描绘。在缺乏在此描述的参数的情况下，则有必要检查每个媒体元素以确定描绘内容所需的编解码器或其它特征。
在ISO/IEC 13818-1或等同地在ITU-T建议H.222.0中规定的MPEG-2传输流(TS)是用于在多路流中承载音频、视频和其它媒体以及节目元数据或其它元数据的格式。分组标识符(PID)用于标识TS内的基本流(也被称为分组化基本流)。因此，MPEG-2TS内的逻辑信道可被认为与特定PID值对应。
在DASH(HTTP上的动态自适应流传输)中，多媒体内容可被存储在HTTP服务器上并且可使用HTTP传送。内容可以两部分存储在服务器上：媒体呈现描述(MPD)，其描述可用内容、其各种替代、它们的URL地址、和其它特征的清单；以及分段，其在单个或多个文件中以块的形式的包含实际多媒体比特流。MPD为客户端提供建立HTTP上的动态自适应流传输的必要信息。MPD包含描述诸如每个分段的HTTP统一资源定位符(URL)的媒体呈现的信息以做出GET分段请求。为了播放内容，DASH客户端例如可通过使用HTTP、电子邮件、拇指驱动器、广播或其它传输方法来获取MPD。通过解析MPD，DASH客户端可了解节目定时、媒体内容可用性、媒体类型、分辨率、最小和最大带宽、以及多媒体要素的各种编码替代的存在、可访问性特征和所需的数字权限管理(DRM)、网络上的媒体要素位置、以及其它内容特征。使用该信息，DASH客户端可选择适当的编码替代，并通过例如使用HTTP GET请求取回分段来开始流传输内容。在适当缓冲以容许网络吞吐量变化后，客户端可继续取回后续分段，并且还监控网络带宽波动。客户端可通过取回不同替代(具有较低或较高比特率)的分段以维持足够的缓冲来决定如何适应可用带宽。
关于传输连接和协议的选项，DASH可采用使得能够请求分段或子分段的各种协议来实现，这些协议包括但不限于不同版本的HTTP，诸如HTTP/1.1和HTTP/2.0、WebSocket和SPDY。DASH可在客户端没有做出任何请求(诸如HTTP GET)的情况下应用，例如当客户端通过广播(诸如根据3GPP多媒体广播/组播服务(MBMS)的广播服务)接收数据时。
本发明改进了音频-视频序列的位置和相机定向信息在ISOBMFF兼容文件中的存储。通过利用设备上的传感器，即使没有全球定位系统信号覆盖，也可生成差分位置信息并将其存储在媒体文件中。该方法改进了先前向3GPP文件引入的地理位置存储机制。
一个可能问题是差分定位系统的误差累积性质。由于每个新位置是基于先前的位置信息而计算的(即基于积分的计算)，所以在差分位置样本中引入的任何误差都累积并影响将来的位置。这种误差通常是由传感器引入的。可通过对位置数据使用后处理算法来进一步减少这种误差。这种后处理算法通常作为后处理应用由传感器制造商提供。
图7示出了能够执行根据本发明的一些实施例的操作的移动手持装置的平面视图(左)和截面视图(右)的示意图。如图2所示，该移动手持装置可以是如图2所示的MR 221。在平面视图(左)和截面视图(右)两者中的UE 22可被配置为执行根据一些实施例的操作。如图7所示，UE22包括图形显示界面(例如，触摸屏)20、包括麦克风24和扬声器34的用户接口、在图形显示界面20处的触摸屏技术和/或用于在麦克风24处接收的音频信号的语音识别技术。电源致动器26控制UE 22被用户打开和/或关闭。UE 22可包括照相机模块28，其被示出为面向前方(例如，用于视频呼叫)，但可替代地或附加地面向后方(例如，用于捕获图像和视频以本地存储)。照相机28可由快门致动器30以及可选地由变焦致动器32控制，当照相机28未处于活动模式时，变焦致动器32可选地可用作扬声器34的音量调节。去往和来自照相机28的信号通过图像/视频处理器(视频)44，其对图像数据(例如，图像帧)进行编码和解码。还可具有单独的音频处理器46以控制去往和来自扬声器(spkr)34和麦克风24的信号。图形显示界面20通过由可处理去往和来自显示界面20的信号的用户GPU50控制的帧存储器(frame mem)48刷新。这些致动器也可使用触摸屏技术来实现。
同样在图7的截面视图中可看到通常用于无线通信(例如，蜂窝通信)的多个发射/接收天线36。天线36可以是多频带的以和UE中的其它无线电设备一起使用。天线36的可操作接地平面可遍及由UE壳体包围的整个空间，但在某些实施例中，接地平面可被限制在更小的区域，诸如被设置在在其上形成RF前端(RFFE)38的印刷线路板上。在使用空间分集的情况下，RFFE 38控制在同时进行传输的天线上和/或跨同时进行传输的天线进行传输的信道上的功率放大。RFFE 38向射频(RF)芯片40输出，该射频芯片放大、解调和下变换信号以用于模拟基带(ABB)处理。模数转换器(ADC)301将模拟信号转换成数字基带(DBB)芯片42检测并最终解码的比特流。对于在UE 22中产生和从UE传输的信号，类似的过程以相反的顺序发生。
此外，UE 22包括差分模块10C，其被配置为执行如在本文中描述的感测差分定位操作，以及执行包括与全球定位系统(诸如图2的NN 223)进行通信的相关的操作的工作。此外，根据本发明的示例性实施例，差分模块10C能够进行包括感测诸如但不限于指南针、高度、纬度和高程数据的数据的操作。
DBB和/或RFIC还可包括处理器和包括计算机程序代码的存储器中的任何一个，所述程序代码控制收发信机参数以优化其性能。程序代码可被存储到存储器中，并且其可包括算法和/或查找表(LUT)。此外应注意，这些组件中的任何一个的放置不受限制，在图7中示出的组件中的任何一个可不同地放置并且仍然根据实施例进行操作。例如，ADC和DAC可在RFIC侧上或在BB侧中，或者它们甚至可以彼此分离。应注意，在图7中示出的配置中的任何一个不限于根据本发明的实施例所执行的操作。
UE 22的某些实施例还可包括一个或多个辅助无线电设备，诸如无线局域网无线电设备(WLAN)37和/或蓝牙无线电设备(BT)39，其可合并一个或多个片上天线或者耦合到一个或多个片外天线。在整个UE 22中具有各种存储器125，诸如随机存取存储器(RAM)43、只读存储器(ROM)45，在某些实施例中，还具有诸如所示的存储卡47的可移动存储器。在某些实施例中，各种程序(诸如计算机程序代码315)被存储在存储卡47上。UE 22内的组件可由诸如电池49的便携式电源供电。
图8A示出了可由诸如但不限于被配置为与网络相连接的媒体记录设备(例如，图2中的MR 221)的设备执行的操作。如在图8A的步骤810中所示，由媒体记录设备确定差分位置样本，该差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的当前时间位置。然后在图8A的步骤820处，由媒体记录设备执行以下中的至少一个：将差分位置样本存储在视听媒体文件中；以及传输在视听媒体文件中的差分位置样本。
根据在以上段落中描述的一些实施例，其中：识别媒体记录设备的初始速度和加速度数据，其中，初始速度和加速度数据包括基于预先选择的轴规定的x、y和z轴值；以及将所识别的媒体记录设备的初始速度和加速度数据与差分位置样本一起存储在视听媒体文件中，其中，初始速度和加速度数据通过使用加速度计和高度传感器中的至少一个感测媒体记录设备来确定。
根据在以上段落中描述的一些实施例，视听媒体文件包括数据样本定义引用机制以指示差分位置样本数据存储格式，该差分位置样本数据存储格式具有关联的采样时间信息以将差分位置样本数据存储在视听媒体文件中。
根据在以上段落中描述的一些实施例，参考时间位置从与媒体记录设备相关联的地理位置轨迹的时间对齐样本中获取，其中，地理位置轨迹基于由媒体记录设备确定的实际地理坐标数据或虚拟现实地理坐标数据。
根据在以上段落中描述的一些实施例，其中，识别与媒体记录设备相关联的定向，并将该定向与差分位置样本一起存储在视听媒体文件中，其中，与媒体记录设备相关联的定向包括媒体记录设备的相机视图定向数据。
根据如上所述的本发明的实施例，提供一种装置，包括：用于由设备[例如，图2中的MR 221、eNB 222和/或NN 223]确定差分位置样本的装置[图2中的DP 221A]，该差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的当前时间位置。此外，提供用于由装置[例如，图2中的MR221、eNB 222和/或NN 223、DP 221A、DP 222A、DP 223A]执行将差分位置样本存储在视听媒体文件中以及传输在视听媒体文件中的差分位置样本中的至少一个的装置。
图8B示出了可由诸如但不限于媒体解析设备(例如，与如图2中的MR 221、eNB 222和/或NN 223合并)的设备执行的操作。如在图8B的步骤840中所示，由解析器设备接收视听媒体文件的多个差分位置样本，其中，每个差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的位置。如在图8B的步骤850中所示，该步骤包括解析多个差分位置样本以确定媒体记录设备的绝对位置。在步骤860处，确定当前差分位置样本包括坐标数据。在步骤865处，识别与坐标数据相关联的初始位置。在步骤870处，确定当前差分位置样本包括初始速度和加速度数据，其中，初始速度数据使用预先选择的轴规定。在步骤875处，识别与测量灵敏度相关的传感器特征信息以用于确定绝对位置。然后在图8B的步骤880处，至少基于初始位置、初始速度、加速度数据和传感器特征信息，确定媒体记录设备的绝对位置。
根据如上所述的本发明的实施例，提供一种装置，包括：用于用解析设备[例如，MR221、eNB和/或NN 223]接收视听媒体文件的多个差分位置样本的装置[例如，图2中的DP221A、DP 222A、DP 223A]，其中，每个差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的位置；用于解析多个差分位置样本以识别媒体记录设备的绝对位置的装置，其包括：用于确定当前差分位置样本包括坐标数据的装置；用于识别与坐标数据相关联的初始位置的装置；用于确定当前差分位置样本包括媒体记录设备的初始位置的装置[例如，图2中的DP 221A、DP 222A、DP 223A]；用于确定当前差分位置样本包括初始速度和加速度数据的装置，其中，初始速度数据使用预先选择的轴规定；用于识别与测量灵敏度相关的传感器特征信息以用于确定绝对位置的装置；以及用于至少基于初始位置、初始速度、加速度数据和传感器特征信息来确定媒体记录设备的绝对位置的装置。
与以上关于图8B所描述的实施例类似的实施例可通过使用通信协议和/或格式接收多个差分位置样本，然后根据通信协议和/或格式将多个差分位置样本解封装以识别媒体记录设备的绝对位置(代替或附加地解析视听媒体文件的多个差分位置样本)来类似地实现。例如，可在RTP分组、MPEG-2传输流或用于HTTP上的自适应流传输的分段(或其一部分)中接收并且从其中解封装多个差分位置样本。
在上面已经针对视听捕获和/或音频、视频和/或图像序列轨道描述了一些实施例。需理解，实施例可采用任何传感器数据捕获和任何类型的媒体或元数据轨道来类似地实现。例如，传感器数据可包括温度、(诸如移动蜂窝网络或无线局域网的无线接入网络的)信号强度信息，或(某波长范围的)辐射信息。
在上面已经针对差分位置信息在媒体文件中的存储描述了一些实施例。需理解，实施例可通过将差分位置信息存储在与媒体文件分离并且仅由媒体文件引用的文件中来类似地实现。例如，可使用ISOBMFF的数据引用机制。类似地，音频-视频数据(例如ISOBMFF的媒体轨道编码数据)可被存储在与媒体文件分离的文件中。媒体文件可遵从诸如ISOBMFF的容器文件格式，而包含差分位置信息和/或编码媒体数据的单独的文件不需要(但可以)遵从诸如ISOBMFF的容器文件格式。
在上面已经针对捕获音频-视频数据和差分位置信息描述了一些实施例。需理解，实施例可在音频-视频数据和/或差分位置信息不是被捕获而是被合成地生成时类似地实现。例如，根据上述一个或多个实施例，可用计算机生成的差分位置信息来生成计算机生成的视频剪辑，并且视频和差分位置信息两者都可被存储在媒体文件中。
通常，各种实施例可采用硬件或专用电路、软件、逻辑或其任何组合来实现。例如，某些方面可采用硬件来实现，而其它方面可采用由控制器、微处理器或其它计算设备执行的固件或软件来实现，尽管本发明不限于此。虽然本发明的各个方面可被示出和描述为框图、流程图，或者使用某些其它图形表示，但容易理解，在本文中描述的这些框、装置、系统、技术或方法可采用作为非限制性示例的硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备，或其一些组合来实现。
本发明的实施例可在诸如集成电路模块的各种组件中实现。集成电路的设计大体上是高度自动化的过程。复杂且强大的软件工具可用于将逻辑级设计转换成准备在半导体衬底上蚀刻和形成的半导体电路设计。
在本文中使用的词语“示例”可表示“用作示例、实例或说明”。在本文中被描述为“示例”的任何实施例并非被解释为比其它实施例优先或有利。在以上具体实施方式中描述的所有实施例是使本领域技术人员能够制造或使用本发明而所提供的示例性实施例，不限制由权利要求限定的本发明的范围。
前面的描述已经通过示例和非限制性示例提供了由发明人目前构想的用于实施本发明的最佳方法和装置的全面和信息性描述。然而，当结合附图和所附权利要求阅读时，鉴于前面的描述，各种修改和调整对相关领域的技术人员可变得显而易见。然而，所有这些和类似的本发明教导的修改仍将落入本发明的范围内。
应注意，术语“连接”、“耦合”或其任何变形表示任何在两个或更多元件之间直接或间接的连接或耦合，并且可涵盖在被“连接”或“耦合”在一起的两个元件之间存在一个或多个中间元件。元件之间的耦合或连接可以是物理的、逻辑的或其组合。如在本文中使用的，两个元件可被认为是通过使用一条或多条线、电缆和/或印刷电连接以及通过使用电磁能(诸如作为若干非限制性和非穷举示例的具有波长在射频区域、微波区域和光学(可见和不可见两者)区域的电磁能)而“连接”或“耦合”在一起的。
此外，可有利地使用本发明的优选实施例的一些特征，而无需相应地使用其它特征。因此，前面的描述应当被认为仅仅是对本发明的原理的说明，而不是对其进行限制。

Claims (20)

1.一种方法，包括：
由媒体记录设备确定差分位置样本，所述差分位置样本标识与所述媒体记录设备相关联的相对于参考时间位置的当前时间位置；以及
由所述媒体记录设备执行以下中的至少一个：将所述差分位置样本存储在视听媒体文件中；以及传输在视听媒体文件中的所述差分位置样本。
2.根据权利要求1所述的方法，包括：
识别所述媒体记录设备的初始速度和加速度数据，其中，所述初始速度和加速度数据包括基于预先选择的轴规定的x、y和z轴值；以及
将所识别的所述媒体记录设备的初始速度和加速度数据与所述差分位置样本一起存储在所述视听媒体文件中，其中，所述初始速度和加速度数据通过使用加速度计和高度传感器中的至少一个感测所述媒体记录设备来确定。
3.根据权利要求1所述的方法，其中，所述视听媒体文件包括数据样本定义引用机制以指示差分位置样本数据存储格式，所述差分位置样本数据存储格式具有关联的采样时间信息以将所述差分位置样本数据存储在所述视听媒体文件中。
4.根据权利要求1所述的方法，其中，所述参考时间位置从与所述媒体记录设备相关联的地理位置轨迹的时间对齐样本中获取，其中，所述地理位置轨迹基于由所述媒体记录设备确定的实际地理坐标数据或虚拟现实地理坐标数据。
5.根据权利要求1所述的方法，包括：
识别与所述媒体记录设备相关联的定向，并将所述定向与所述差分位置样本一起存储在所述视听媒体文件中，其中，与所述媒体记录设备相关联的所述定向包括所述媒体记录设备的相机视图定向数据。
6.根据权利要求1所述的方法，其由包括计算机程序代码的非暂时性计算机可读介质执行，并且所述计算机程序代码由至少一个处理器执行。
7.一种装置，包括：
至少一个处理器；以及
包括计算机程序代码的至少一个存储器，其中，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述装置至少：
用媒体记录设备确定差分位置样本，所述差分位置样本标识与所述媒体记录设备相关联的相对于参考时间位置的当前时间位置；以及
用所述媒体记录设备执行以下中的至少一个：将所述差分位置样本存储在视听媒体文件中；以及传输在视听媒体文件中的所述差分位置样本。
8.根据权利要求7所述的装置，其中，包括所述计算机程序代码的所述至少一个存储器被配置为与所述至少一个处理器一起，使所述装置：
识别所述媒体记录设备的初始速度和加速度数据，其中，所述初始速度和加速度数据包括基于预先选择的轴规定的x、y和z轴值；以及
将所识别的所述媒体记录设备的初始速度和加速度数据与所述差分位置样本一起存储在所述视听媒体文件中，其中，所述初始速度和加速度数据通过使用加速度计和高度传感器中的至少一个感测所述媒体记录设备来确定。
9.根据权利要求7所述的装置，其中，所述视听媒体文件包括数据样本定义引用机制以指示差分位置样本数据存储格式，所述差分位置样本数据存储格式具有关联的采样时间信息以将所述差分位置样本数据存储在所述视听媒体文件中。
10.根据权利要求7所述的装置，其中，所述参考时间位置从与所述媒体记录设备相关联的地理位置轨迹的时间对齐样本中获取，其中，所述地理位置轨迹基于由所述媒体记录设备确定的实际地理坐标数据或虚拟现实地理坐标数据。
11.根据权利要求7所述的装置，其中，包括所述计算机程序代码的所述至少一个存储器被配置为与所述至少一个处理器一起，使所述装置：
识别与所述媒体记录设备相关联的定向，并将所述定向与所述差分位置样本一起存储在所述视听媒体文件中，其中，与所述媒体记录设备相关联的所述定向包括所述媒体记录设备的相机视图定向数据。
12.一种装置，包括：
用于用媒体记录设备确定差分位置样本的装置，所述差分位置样本标识与所述媒体记录设备相关联的相对于参考时间位置的当前时间位置；以及
用于用所述媒体记录设备执行将所述差分位置样本存储在视听媒体文件中以及传输在视听媒体文件中的所述差分位置样本中的至少一个的装置。
13.根据权利要求12所述的装置，包括：
用于识别所述媒体记录设备的初始速度和加速度数据的装置，其中，所述初始速度和加速度数据包括基于预先选择的轴规定的x、y和z轴值；以及
用于将所识别的所述媒体记录设备的初始速度和加速度数据与所述差分位置样本一起存储在所述视听媒体文件中的装置，其中，所述初始速度和加速度数据使用加速度计和高度传感器中的至少一个感测所述媒体记录设备来确定。
14.根据权利要求12所述的装置，其中，所述视听媒体文件包括数据样本定义引用机制以指示差分位置样本数据存储格式，所述差分位置样本数据存储格式具有关联的采样时间信息以将所述差分位置样本数据存储在所述视听媒体文件中。
15.根据权利要求12所述的装置，其中，所述参考时间位置从与所述媒体记录设备相关联的地理位置轨迹的时间对齐样本中获取，其中，所述地理位置轨迹基于由所述媒体记录设备确定的实际地理坐标数据或虚拟现实地理坐标数据。
16.根据权利要求12所述的装置，包括：
用于识别与所述媒体记录设备相关联的定向的装置和用于将所述定向与所述差分位置样本一起存储在所述视听媒体文件中的装置，其中，与所述媒体记录设备相关联的所述定向包括所述媒体记录设备的相机视图定向数据。
17.根据权利要求12所述的装置，包括：
用于由所述媒体记录设备基于与所述视听媒体文件中的多个差分位置样本中的每一个相关联的定时元数据轨道，在所述视听媒体文件中定位所述视听媒体文件中的所述多个差分位置样本中的特定差分位置样本的装置；以及
用于在所述媒体记录设备上显示所定位的特定差分位置样本或用所述媒体记录设备发送所定位的特定差分位置样本的装置。
18.一种方法，包括：
由解析设备接收视听媒体文件的多个差分位置样本，其中，每个差分位置样本标识与媒体记录设备相关联的相对于参考时间位置的位置；以及
解析所述多个差分位置样本以确定所述媒体记录设备的绝对位置，其包括：
确定当前差分位置样本包括坐标数据；
识别与所述坐标数据相关联的初始位置；
确定当前差分位置样本包括初始速度和加速度数据，其中，所述初始速度数据使用预先选择的轴规定；
识别与测量灵敏度相关的传感器特征信息以用于确定所述绝对位置；以及
至少基于初始位置、所述初始速度、所述加速度数据和所述传感器特征信息，确定所述媒体记录设备的所述绝对位置。
19.一种装置，包括：
至少一个处理器；以及
包括计算机程序代码的至少一个存储器，其中，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述装置至少：
用解析设备接收视听媒体文件的多个差分位置样本，其中，每个差分位置样本标识与所述媒体记录设备相关联的相对于参考时间位置的位置；以及
用所述解析设备解析所述多个差分位置样本以确定所述媒体记录设备的绝对位置，其包括：
确定当前差分位置样本包括坐标数据；
识别与所述坐标数据相关联的初始位置；
确定当前差分位置样本包括初始速度和加速度数据，其中，所述初始速度数据使用预先选择的轴规定；
识别与测量灵敏度相关的传感器特征信息以用于确定所述绝对位置；以及
至少基于初始位置、所述初始速度、所述加速度数据和所述传感器特征信息，确定所述媒体记录设备的所述绝对位置。
20.一种装置，包括：
用于用解析设备接收视听媒体文件的多个差分位置样本的装置，其中，每个差分位置样本标识与所述媒体记录设备相关联的相对于参考时间位置的位置；以及
用于解析所述多个差分位置样本以确定所述媒体记录设备的绝对位置的装置，其包括：
用于确定当前差分位置样本包括坐标数据的装置；
用于识别与所述坐标数据相关联的初始位置的装置；
用于确定当前差分位置样本包括所述媒体记录设备的初始位置的装置；
用于确定当前差分位置样本包括初始速度和加速度数据的装置，其中，所述初始速度数据使用预先选择的轴规定；
用于识别与测量灵敏度相关的传感器特征信息以用于确定所述绝对位置的装置；以及
用于至少基于初始位置、所述初始速度、所述加速度数据和所述传感器特征信息来确定所述媒体记录设备的所述绝对位置的装置。
CN201680042462.7A 2015-05-20 2016-05-18 获取差分位置信息的方法和装置 Pending CN107850674A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/717,986 2015-05-20
US14/717,986 US9897450B2 (en) 2015-05-20 2015-05-20 Method and apparatus to obtain differential location information
PCT/FI2016/050331 WO2016185092A1 (en) 2015-05-20 2016-05-18 Method and apparatus to obtain differential location information

Publications (1)

Publication Number Publication Date
CN107850674A true CN107850674A (zh) 2018-03-27

Family

ID=57319504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680042462.7A Pending CN107850674A (zh) 2015-05-20 2016-05-18 获取差分位置信息的方法和装置

Country Status (4)

Country Link
US (1) US9897450B2 (zh)
EP (2) EP3629062A1 (zh)
CN (1) CN107850674A (zh)
WO (1) WO2016185092A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9897450B2 (en) * 2015-05-20 2018-02-20 Nokia Technologies Oy Method and apparatus to obtain differential location information
WO2018171758A1 (en) * 2017-03-24 2018-09-27 Mediatek Inc. Method and apparatus for deriving vr projection, packing, roi and viewport related tracks in isobmff and supporting viewport roll signaling
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US10819907B2 (en) * 2017-03-30 2020-10-27 Mediatek Inc. Method and apparatus for signaling spherical region information in ISOBMFF
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
GB2567625B (en) * 2017-10-12 2020-07-15 Canon Kk Method, device, and computer program for generating timed media data
EP3854105A4 (en) * 2018-09-20 2022-06-22 Nokia Technologies Oy ARTIFICIAL INTELLIGENCE APPARATUS AND METHOD
US11457231B2 (en) 2019-03-15 2022-09-27 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling spatial relationships for point cloud multimedia data tracks
US11245926B2 (en) * 2019-03-19 2022-02-08 Mediatek Singapore Pte. Ltd. Methods and apparatus for track derivation for immersive media data tracks
CN112148115A (zh) * 2019-06-28 2020-12-29 中兴通讯股份有限公司 媒体处理方法、装置、系统和可读存储介质
CN114128249A (zh) * 2019-07-30 2022-03-01 索尼集团公司 文件处理设备、文件处理方法和程序
GB2620584A (en) * 2022-07-11 2024-01-17 Canon Kk Method, Device, and computer program for extrapolation regions in region tracks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218895A1 (en) * 2003-04-30 2004-11-04 Ramin Samadani Apparatus and method for recording "path-enhanced" multimedia
CN101578570A (zh) * 2007-07-04 2009-11-11 索尼株式会社 输入设备、控制设备、控制系统、控制方法、以及手持设备
US20100188503A1 (en) * 2009-01-28 2010-07-29 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
CN102301353A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 便携型通信装置、通信方法、集成电路、程序
CN104102667A (zh) * 2013-04-11 2014-10-15 北京四维图新科技股份有限公司 一种poi信息差分方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3509765A (en) 1965-12-17 1970-05-05 Gen Motors Corp Inertial navigation system
US6504571B1 (en) 1998-05-18 2003-01-07 International Business Machines Corporation System and methods for querying digital image archives using recorded parameters
US7239949B2 (en) * 2003-02-26 2007-07-03 Ford Global Technologies, Llc Integrated sensing system
CA2559726C (en) 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
US8078396B2 (en) * 2004-08-31 2011-12-13 Meadow William D Methods for and apparatus for generating a continuum of three dimensional image data
FR2915304B1 (fr) * 2007-04-20 2009-06-05 Thales Sa Procede de calcul de trajectoire d'approche pour aeronef
US8260535B2 (en) * 2007-09-28 2012-09-04 Bombardier Recreational Products Inc. Load sensor for a vehicle electronic stability system
DE102008001970A1 (de) * 2008-05-26 2009-12-03 Robert Bosch Gmbh Verfahren zum Stabilisieren von Fahrbewegungen eines einspurigen Kraftfahrzeugs, unter Nutzung des Neigungswinkels und des Schwimmwinkels sowie Vorrichtung dafür
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
CN102821730B (zh) * 2010-09-13 2015-09-30 松下知识产权经营株式会社 搭乘型移动体及搭乘型移动体的控制方法
US9930298B2 (en) * 2011-04-19 2018-03-27 JoeBen Bevirt Tracking of dynamic object of interest and active stabilization of an autonomous airborne platform mounted camera
US9346510B2 (en) * 2011-07-28 2016-05-24 Yamaha Hatsudoki Kabushiki Kaisha Attitude controller and saddle riding type vehicle having the same
US20130188922A1 (en) * 2012-01-23 2013-07-25 Research In Motion Limited Multimedia File Support for Media Capture Device Position and Location Timed Metadata
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
US9897450B2 (en) * 2015-05-20 2018-02-20 Nokia Technologies Oy Method and apparatus to obtain differential location information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218895A1 (en) * 2003-04-30 2004-11-04 Ramin Samadani Apparatus and method for recording "path-enhanced" multimedia
CN101578570A (zh) * 2007-07-04 2009-11-11 索尼株式会社 输入设备、控制设备、控制系统、控制方法、以及手持设备
US20100188503A1 (en) * 2009-01-28 2010-07-29 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
CN102301353A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 便携型通信装置、通信方法、集成电路、程序
CN104102667A (zh) * 2013-04-11 2014-10-15 北京四维图新科技股份有限公司 一种poi信息差分方法和装置

Also Published As

Publication number Publication date
EP3629062A1 (en) 2020-04-01
US20160342596A1 (en) 2016-11-24
EP3298433A1 (en) 2018-03-28
WO2016185092A1 (en) 2016-11-24
US9897450B2 (en) 2018-02-20
EP3298433A4 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN107850674A (zh) 获取差分位置信息的方法和装置
US10431258B2 (en) Apparatus and methods for embedding metadata into video stream
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
CN101283351B (zh) 用于媒体数据传输的方法和设备
US20130188922A1 (en) Multimedia File Support for Media Capture Device Position and Location Timed Metadata
CN109076261A (zh) 媒体封装和解封装
TW201211916A (en) Method and apparatus for recognizing objects in media content
EP2614653A1 (en) A method and apparatus for adaptive streaming
EP3448044B1 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US20110264715A1 (en) Location Metadata In A Media File
KR102279598B1 (ko) 미디어 스트리밍을 위한 수신 디바이스, 수신 방법, 송신 디바이스, 및 송신 방법
US9413787B2 (en) Real-time delivery of location/orientation data
TW201838417A (zh) 用於發信空間區域資訊的方法及裝置
CN108810575B (zh) 一种发送目标视频的方法和装置
US20120165043A1 (en) Mobile communication based tagging
KR102373187B1 (ko) 수신 장치 및 데이터 처리 방법
de Castro Perdomo et al. A location-based architecture for video stream selection in the context of IoMT
EP4068781A1 (en) File format with identified media data box mapping with track fragment box
KR101561065B1 (ko) 멀티미디어 파일 관리 시스템 및 방법
CN117014696A (zh) 基于rtp的音视频传输方法、装置、电子设备及存储介质
JP2022139106A (ja) 送信装置及び受信装置
KR101274820B1 (ko) 위치정보 및 사물정보 연동형 방송 서비스 제공 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327

WD01 Invention patent application deemed withdrawn after publication