CN117348718A - 一种非物质文化遗产数字化展示系统及方法 - Google Patents

一种非物质文化遗产数字化展示系统及方法 Download PDF

Info

Publication number
CN117348718A
CN117348718A CN202311195992.3A CN202311195992A CN117348718A CN 117348718 A CN117348718 A CN 117348718A CN 202311195992 A CN202311195992 A CN 202311195992A CN 117348718 A CN117348718 A CN 117348718A
Authority
CN
China
Prior art keywords
data
displayed
video
area
prop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311195992.3A
Other languages
English (en)
Inventor
桑海伟
王明
余雄
王桥
邓江远
贺文周
杨菊
余娅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Education University
Original Assignee
Guizhou Education University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Education University filed Critical Guizhou Education University
Priority to CN202311195992.3A priority Critical patent/CN117348718A/zh
Publication of CN117348718A publication Critical patent/CN117348718A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明提供了一种非物质文化遗产数字化展示方法及系统，其中，所述方法包括：获取非物质文化遗产的待展示数据，并解析所述待展示数据中的多个定位信息；在线下展示道具所在的区域中，确定各个所述定位信息对应的实体操作点；将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域，并解析所述待展示数据中的时间轴，以通过所述时间轴驱动所述线下展示道具进行同步运作。本发明提供的技术方案，能够提高非物质文化遗产的展示效果。

Description

一种非物质文化遗产数字化展示系统及方法
技术领域
本发明涉及数据处理技术领域，特别涉及一种非物质文化遗产数字化展示系统及方法。
背景技术
目前，为了有效地传承非物质文化遗产，通常是拍摄非物质文化遗产的运作过程，然后在博物馆或者其它场所进行播放。
然而，这样的通过视频播放的方式，并不能完全体现非物质文化遗产的精髓，例如，非物质文化遗产中包含的实体道具就很难直观地在视频中进行展示。
鉴于此，目前需要一种更加有效的非物质文化遗产的展示方法。
发明内容
本发明提供一种非物质文化遗产数字化展示系统及方法，能够提高非物质文化遗产的展示效果。
鉴于此，本发明一方面提供一种非物质文化遗产数字化展示方法，所述方法包括：
获取非物质文化遗产的待展示数据，并解析所述待展示数据中的多个定位信息；
在线下展示道具所在的区域中，确定各个所述定位信息对应的实体操作点；
将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域，并解析所述待展示数据中的时间轴，以通过所述时间轴驱动所述线下展示道具进行同步运作。
在一个实施方式中，确定各个所述定位信息对应的实体操作点包括：
根据投影摄像机和所述线下展示道具所在的区域之间的位姿关系，确定所述投影摄像机的标定参数；
确定所述定位信息在相机坐标系下的第一坐标，并根据所述标定参数将所述第一坐标映射为世界坐标系下的第二坐标；
将所述第二坐标表征的位置作为所述定位信息对应的实体操作点。
在一个实施方式中，将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域包括：
基于所述实体操作点的位置信息，生成映射矩阵；
通过所述映射矩阵，将所述待展示数据表征的视频画面中的各个像素点映射至所述线下展示道具所在的区域内。
在一个实施方式中，在通过所述时间轴驱动所述线下展示道具进行同步运作之后，所述方法还包括：
拍摄所述线下展示道具所在的区域内的演示视频：
根据拍摄所述演示视频的相机的标定系数，将所述演示视频中的视频画面逆投影为对应的全景图像，并将所述全景图像发送至用户的全景相机中进行播放。
播放过程中实时检测音视频相关位点参数，并根据校准算法对音频信息进行调整，确保播放时图像画面和音频一致，避免出现音频滞后或者超前的情况，给用户以极致的视听体验。校准算法如下：
设音频流中第i帧数据单元的播放时刻为Pai，第i帧数据单元的产生时刻为Gai，视频流中第j帧数据单元的播放时刻为Pvj，第j帧数据单元的产生时刻为Gvj，则最临近帧i和j的同步相位失真值Sij为：
Sij＝(Pai-Pvj)-(Gai-Gvj)
当Sij不超过±60ms时，用户对于播映情况非常满意，当Sij超过±160ms时，用户会明显感觉到音视频不同步，对播映情况非常不满意，因此需要对每次采集的Sav值进行统计分析，通过如下算法确定是否需要对当前音频进行跳帧或者停帧操作，从而确保用户完美的播放体验：
其中FN为视频播放至第N帧时的综合失真值，当FN大于120时，有音频超前风险，需停帧；当FN小于-120时，有音频滞后风险，需跳帧。n为视频播放前各帧编号，n＝1，2，3…，N。Pan、Pvn、Gan、Gvn分别为第n帧的音频流产生时刻、视频流产生时刻、音频流播放时刻、视频流播放时刻。tN为调节系数，其计算公式为：
其中为N个(Pan-Pvn)-(Gan-Gvn)中的最大值。
本发明另一方面提供一种非物质文化遗产数字化展示系统，所述系统包括：
信息解析单元，用于获取非物质文化遗产的待展示数据，并解析所述待展示数据中的多个定位信息；
实体操作点确定单元，用于在线下展示道具所在的区域中，确定各个所述定位信息对应的实体操作点；
线下驱动单元，用于将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域，并解析所述待展示数据中的时间轴，以通过所述时间轴驱动所述线下展示道具进行同步运作。
在一个实施方式中，所述实体操作点确定单元具体用于，根据投影摄像机和所述线下展示道具所在的区域之间的位姿关系，确定所述投影摄像机的标定参数；确定所述定位信息在相机坐标系下的第一坐标，并根据所述标定参数将所述第一坐标映射为世界坐标系下的第二坐标；将所述第二坐标表征的位置作为所述定位信息对应的实体操作点。
在一个实施方式中，所述线下驱动单元具体用于，基于所述实体操作点的位置信息，生成映射矩阵；通过所述映射矩阵，将所述待展示数据表征的视频画面中的各个像素点映射至所述线下展示道具所在的区域内。
在一个实施方式中，所述系统还包括全景图像生成单元，所述全景图像生成单元，用于拍摄所述线下展示道具所在的区域内的演示视频：根据拍摄所述演示视频的相机的标定系数，将所述演示视频中的视频画面逆投影为对应的全景图像，并将所述全景图像发送至用户的全景相机中进行播放。
本发明提供的技术方案，可以将非物质文化遗产在展示过程中的视频画面与线下场景中的实体道具进行结合，进行同步展示。这样，用户在观看到非物质文化遗产的运作过程的情况下，还能够近距离观看实体道具的具体运作过程，极大地提高了非物质文化遗产的展示效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种非物质文化遗产数字化展示方法的步骤示意图；
图2为本发明实施例中一种非物质文化遗产数字化展示系统的功能模块示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
请参阅图1，本申请一个实施方式提供一种非物质文化遗产数字化展示方法，所述方法包括：
S1：获取非物质文化遗产的待展示数据，并解析所述待展示数据中的多个定位信息；
S2：在线下展示道具所在的区域中，确定各个所述定位信息对应的实体操作点；
S3：将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域，并解析所述待展示数据中的时间轴，以通过所述时间轴驱动所述线下展示道具进行同步运作。
在本实施方式中，待展示数据中可以具备数据标签，部分数据标签可以表征数据的类型为位置类型。这部分数据可以作为待展示数据中的定位信息。
通常而言，待展示数据是通过投影摄像机渲染后投影至线下展示道具所在的区域，那么定位信息与线下的实体操作点之间就具备映射关系。其中，定位信息表征的是相机坐标系下的位置，而实体操作点表征的是世界坐标系下的位置。这样，根据投影摄像机和所述线下展示道具所在的区域之间的位姿关系，可以确定所述投影摄像机的标定参数。其中，位姿关系可以是投影摄像机相对于线下展示道具所在的区域的距离、俯仰角等，标定参数可以是旋转和平移参数。通过该标定参数，可以将相机坐标系下的坐标映射到世界坐标系内。这样，可以确定所述定位信息在相机坐标系下的第一坐标，并根据所述标定参数将所述第一坐标映射为世界坐标系下的第二坐标。具体地映射过程可以是将第一坐标系与标定参数进行矩阵乘积，从而进行矩阵变换，从相机坐标系下映射至世界坐标系下。后续，所述第二坐标表征的位置就可以作为所述定位信息对应的实体操作点。
实体操作点可以作为视频映射的定位点，这样，基于所述实体操作点的位置信息，可以生成映射矩阵，该映射矩阵可以表征视频中的各个像素点与线下展示道具所在的区域中各个现实点之间的映射关系。通过所述映射矩阵，便可以将所述待展示数据表征的视频画面中的各个像素点映射至所述线下展示道具所在的区域内。
待展示数据在线下展示道具所在的区域中可以通过全息投影的方式进行播放，为了使得线下展示道具的运作能够与待展示数据同步，可以提取待展示数据中的时间轴，并基于该时间轴驱动线下展示道具的运作，使得视频展示的内容和线下展示道具能够不同协调，共同配合展示出实际的非物质文化遗产的运作过程。
在一个实施方式中，在通过所述时间轴驱动所述线下展示道具进行同步运作之后，所述方法还包括：
拍摄所述线下展示道具所在的区域内的演示视频：
根据拍摄所述演示视频的相机的标定系数，将所述演示视频中的视频画面逆投影为对应的全景图像，并将所述全景图像发送至用户的全景相机中进行播放。
用户可以佩戴虚拟现实设备，通过虚拟现实设备中的全景相机来沉浸式地观看非物质文化遗产的运作过程。具体地，相机拍摄的演示视频是平面视频，不是360度的全景视频，通过平面图像与全景图像之间的逆投影关系，可以将平面的视频画面逆投影为全景图像，从而在用户的虚拟现实设备中播放全景视频。其中，上述的逆投影关系可以根据全景相机的模型来确定。例如，全景相机可以采用KBCM模型，基于该模型的逆投影函数，便可以表征上述的逆投影关系。
播放过程中实时检测音视频相关位点参数，并根据校准算法对音频信息进行调整，确保播放时图像画面和音频一致，避免出现音频滞后或者超前的情况，给用户以极致的视听体验。校准算法如下：
设音频流中第i帧数据单元的播放时刻为Pai，第i帧数据单元的产生时刻为Gai，视频流中第j帧数据单元的播放时刻为Pvj，第j帧数据单元的产生时刻为Gvj，则最临近帧i和j的同步相位失真值Sij为：
Sij＝(Pai-Pvj)-(Gai-Gvj)
当Sij不超过±60ms时，用户对于播映情况非常满意，当Sij超过±160ms时，用户会明显感觉到音视频不同步，对播映情况非常不满意，因此需要对每次采集的Sav值进行统计分析，通过如下算法确定是否需要对当前音频进行跳帧或者停帧操作，从而确保用户完美的播放体验：
其中FN为视频播放至第N帧时的综合失真值，当FN大于120时，有音频超前风险，需停帧；当FN小于-120时，有音频滞后风险，需跳帧。n为视频播放前各帧编号，n＝1，2，3…，N。Pan、Pvn、Gan、Gvn分别为第n帧的音频流产生时刻、视频流产生时刻、音频流播放时刻、视频流播放时刻。tN为调节系数，其计算公式为：
其中为N个(Pan-Pvn)-(Gan-Gvn)中的最大值。
请参阅图2，本发明另一方面提供一种非物质文化遗产数字化展示系统，所述系统包括：
信息解析单元，用于获取非物质文化遗产的待展示数据，并解析所述待展示数据中的多个定位信息；
实体操作点确定单元，用于在线下展示道具所在的区域中，确定各个所述定位信息对应的实体操作点；
线下驱动单元，用于将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域，并解析所述待展示数据中的时间轴，以通过所述时间轴驱动所述线下展示道具进行同步运作。
在一个实施方式中，所述实体操作点确定单元具体用于，根据投影摄像机和所述线下展示道具所在的区域之间的位姿关系，并基于所述位姿关系，确定所述投影摄像机的标定参数；确定所述定位信息在相机坐标系下的第一坐标，并根据所述标定参数将所述第一坐标映射为世界坐标系下的第二坐标；将所述第二坐标表征的位置作为所述定位信息对应的实体操作点。
在一个实施方式中，所述线下驱动单元具体用于，基于所述实体操作点的位置信息，生成映射矩阵；通过所述映射矩阵，将所述待展示数据表征的视频画面中的各个像素点映射至所述线下展示道具所在的区域内。
在一个实施方式中，所述系统还包括全景图像生成单元，所述全景图像生成单元，用于拍摄所述线下展示道具所在的区域内的演示视频：根据拍摄所述演示视频的相机的标定系数，将所述演示视频中的视频画面逆投影为对应的全景图像，并将所述全景图像发送至用户的全景相机中进行播放。
本发明提供的技术方案，可以将非物质文化遗产在展示过程中的视频画面与线下场景中的实体道具进行结合，进行同步展示。这样，用户在观看到非物质文化遗产的运作过程的情况下，还能够近距离观看实体道具的具体运作过程，极大地提高了非物质文化遗产的展示效果。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种非物质文化遗产数字化展示方法，其特征在于，所述方法包括：
获取非物质文化遗产的待展示数据，并解析所述待展示数据中的多个定位信息；
在线下展示道具所在的区域中，确定各个所述定位信息对应的实体操作点；
将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域，并解析所述待展示数据中的时间轴，以通过所述时间轴驱动所述线下展示道具进行同步运作。
2.根据权利要求1所述的方法，其特征在于，确定各个所述定位信息对应的实体操作点包括：
根据投影摄像机和所述线下展示道具所在的区域之间的位姿关系，确定所述投影摄像机的标定参数；
确定所述定位信息在相机坐标系下的第一坐标，并根据所述标定参数将所述第一坐标映射为世界坐标系下的第二坐标；
将所述第二坐标表征的位置作为所述定位信息对应的实体操作点。
3.根据权利要求1所述的方法，其特征在于，将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域包括：
基于所述实体操作点的位置信息，生成映射矩阵；
通过所述映射矩阵，将所述待展示数据表征的视频画面中的各个像素点映射至所述线下展示道具所在的区域内。
4.根据权利要求1所述的方法，其特征在于，在通过所述时间轴驱动所述线下展示道具进行同步运作之后，所述方法还包括：
拍摄所述线下展示道具所在的区域内的演示视频：
根据拍摄所述演示视频的相机的标定系数，将所述演示视频中的视频画面逆投影为对应的全景图像，并将所述全景图像发送至用户的全景相机中进行播放。
5.根据权利要求4所述的方法，其特征在于，所述全景图像通过音频流和视频流进行播放；所述方法还包括：
设音频流中第i帧数据单元的播放时刻为Pai，第i帧数据单元的产生时刻为Gai，视频流中第j帧数据单元的播放时刻为Pvj，第j帧数据单元的产生时刻为Gvj，则最临近帧i和j的同步相位失真值Sij为：
Sij＝(Pai-Pvj)-(Gai-Gvj)
通过如下算法确定是否需要对当前音频进行跳帧或者停帧操作：
其中FN为视频播放至第N帧时的综合失真值，当FN大于120时，需停帧；当FN小于-120时，需跳帧；n为视频播放前各帧编号，Pan、Pvn、Gan、Gvn分别为第n帧的音频流产生时刻、视频流产生时刻、音频流播放时刻、视频流播放时刻，tN为调节系数，其计算公式为：
其中为N个(Pan-Pvn)-(Gan-Gvn)中的最大值。
6.一种非物质文化遗产数字化展示系统，其特征在于，所述系统包括：
信息解析单元，用于获取非物质文化遗产的待展示数据，并解析所述待展示数据中的多个定位信息；
实体操作点确定单元，用于在线下展示道具所在的区域中，确定各个所述定位信息对应的实体操作点；
线下驱动单元，用于将所述待展示数据按照所述实体操作点投影至所述线下展示道具所在的区域，并解析所述待展示数据中的时间轴，以通过所述时间轴驱动所述线下展示道具进行同步运作。
7.根据权利要求6所述的系统，其特征在于，所述实体操作点确定单元具体用于，根据投影摄像机和所述线下展示道具所在的区域之间的位姿关系，确定所述投影摄像机的标定参数；确定所述定位信息在相机坐标系下的第一坐标，并根据所述标定参数将所述第一坐标映射为世界坐标系下的第二坐标；将所述第二坐标表征的位置作为所述定位信息对应的实体操作点。
8.根据权利要求6所述的系统，其特征在于，所述线下驱动单元具体用于，基于所述实体操作点的位置信息，生成映射矩阵；通过所述映射矩阵，将所述待展示数据表征的视频画面中的各个像素点映射至所述线下展示道具所在的区域内。
9.根据权利要求6所述的系统，其特征在于，所述系统还包括全景图像生成单元，所述全景图像生成单元，用于拍摄所述线下展示道具所在的区域内的演示视频：根据拍摄所述演示视频的相机的标定系数，将所述演示视频中的视频画面逆投影为对应的全景图像，并将所述全景图像发送至用户的全景相机中进行播放。
CN202311195992.3A 2023-09-15 2023-09-15 一种非物质文化遗产数字化展示系统及方法 Pending CN117348718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311195992.3A CN117348718A (zh) 2023-09-15 2023-09-15 一种非物质文化遗产数字化展示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311195992.3A CN117348718A (zh) 2023-09-15 2023-09-15 一种非物质文化遗产数字化展示系统及方法

Publications (1)

Publication Number Publication Date
CN117348718A true CN117348718A (zh) 2024-01-05

Family

ID=89370116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311195992.3A Pending CN117348718A (zh) 2023-09-15 2023-09-15 一种非物质文化遗产数字化展示系统及方法

Country Status (1)

Country Link
CN (1) CN117348718A (zh)

Similar Documents

Publication Publication Date Title
CN109348119B (zh) 一种全景监控系统
US7307654B2 (en) Image capture and viewing system and method for generating a synthesized image
US6839067B2 (en) Capturing and producing shared multi-resolution video
CN110992484B (zh) 一种交通动态视频在真景三维平台中的显示方法
CN109120901B (zh) 一种摄像机间画面切换的方法
CN114520877A (zh) 视频录制方法、装置和电子设备
KR101269900B1 (ko) 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示系统
US11128815B2 (en) Device, method and computer program for extracting object from video
CN111669547B (zh) 全景视频结构化方法
WO2023236656A1 (zh) 互动画面的渲染方法、装置、设备、存储介质及程序产品
CN117348718A (zh) 一种非物质文化遗产数字化展示系统及方法
CN115580691A (zh) 一种用于虚拟制片的图像渲染合成系统
JP2009246917A (ja) 映像表示装置及び映像処理装置
CN107491934B (zh) 一种基于虚拟现实的3d面试系统
CN112866507B (zh) 智能化的全景视频合成方法、系统、电子设备及介质
JP5645448B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112887653B (zh) 一种信息处理方法和信息处理装置
JP2000270261A (ja) 撮像装置及び画像合成方法並びに記録媒体
US20200226716A1 (en) Network-based image processing apparatus and method
CN113411543A (zh) 一种多路监控视频融合显示方法及系统
Okura et al. Addressing temporal inconsistency in indirect augmented reality
KR102505117B1 (ko) 원격지 스트리밍에 최적화된 다면 영상 스트리밍 시스템
CN114710713B (zh) 基于深度学习的自动化视频摘要生成方法
JP2023070220A (ja) カメラ操作模擬装置およびそのプログラム、ならびに、カメラ映像生成装置およびそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication