CN111445453B - 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置 - Google Patents

摄像机获取的琴键图像的偏移判断方法、系统、介质及装置 Download PDF

Info

Publication number
CN111445453B
CN111445453B CN202010219260.3A CN202010219260A CN111445453B CN 111445453 B CN111445453 B CN 111445453B CN 202010219260 A CN202010219260 A CN 202010219260A CN 111445453 B CN111445453 B CN 111445453B
Authority
CN
China
Prior art keywords
error
camera
display
image
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010219260.3A
Other languages
English (en)
Other versions
CN111445453A (zh
Inventor
许楠
刘晓露
孙旭
喻玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senlan Information Technology Shanghai Co ltd
Original Assignee
Senlan Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senlan Information Technology Shanghai Co ltd filed Critical Senlan Information Technology Shanghai Co ltd
Priority to CN202010219260.3A priority Critical patent/CN111445453B/zh
Publication of CN111445453A publication Critical patent/CN111445453A/zh
Application granted granted Critical
Publication of CN111445453B publication Critical patent/CN111445453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种摄像机获取的琴键图像的偏移判断方法、系统、介质及装置，所述方法包括以下步骤：预设目标图像上的采样点坐标与显示图像的像素坐标的转换公式；基于所述转换公式和目标图像上的定位标记的采样点坐标获取显示图像的定位标记的像素坐标，基于所述显示图像的定位标记的像素坐标生成至少两个定位标记并显示于所述显示器；通过摄像机获取包含钢琴琴键和所述显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述定位标记的屏幕坐标{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，并判断摄像机获取的琴键图像是否偏移。本发明用于判断用于拍摄获取钢琴琴键图像的摄像头是否摆正。

Description

摄像机获取的琴键图像的偏移判断方法、系统、介质及装置
技术领域
本发明涉及图像识别技术领域，特别是涉及一种摄像机获取的琴键图像的偏移判断方法、系统、介质及装置。
背景技术
在钢琴教学中，经常需要获取弹奏钢琴的视频，往往需要在钢琴的正上方设置用于拍摄弹奏琴键的视频的摄像头，为了让摄像头获取的视频中的琴键的画面是俯视图，那么就需要摆正摄像头。
然而在实际操作中无法实时关注摄像头是否摆正，且用肉眼也无法正确识别所述摄像头是否设立于所述钢琴的琴键的正上方。
因此，希望能够解决如何判别用于拍摄钢琴的琴键的摄像头是否摆正的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种摄像机获取的琴键图像的偏移判断方法、系统、介质及装置，用于解决现有技术中如何判别用于拍摄钢琴的琴键的摄像头是否摆正的问题。
为实现上述目的及其他相关目的，本发明提供一种摄像机获取的琴键图像的偏移判断方法，应用于钢琴系统，所述钢琴系统包括在钢琴琴键的侧前方倾斜设置的显示器，在所述钢琴琴键的上方设置能够同时拍摄到所述钢琴琴键和所述显示器的摄像机；包括以下步骤：预设目标图像上的采样点坐标与显示图像的像素坐标的转换公式；基于所述转换公式和目标图像上的定位标记的采样点坐标获取显示图像的定位标记的像素坐标，基于所述显示图像的定位标记的像素坐标生成至少两个定位标记并显示于所述显示器；通过摄像机获取包含钢琴琴键和所述显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，通过所述平移误差Terror、缩放误差Serror、视图平面方向误差Rerror判断摄像机获取的琴键图像是否偏移。
于本发明的一实施例中，所述转换公式为：
Figure BDA0002425501770000011
其中：
pt：目标图像上的采样点坐标，
ps：显示图像的像素坐标，
Ts：显示器贴图纹理矩阵，
Ms：将显示器局部坐标转换到全局坐标的变换矩阵，
Mc：摄像机视图矩阵，
Mproj：摄像机透视投影矩阵，
Tview：目标图像在屏幕上的贴图纹理矩阵。
于本发明的一实施例中，通过以下公式计算所述平移误差Terror、所述缩放误差Serror和所述视图平面方向误差Rerror：
Figure BDA0002425501770000021
Figure BDA0002425501770000022
Figure BDA0002425501770000023
其中，mstd为标准标记重心，dstd为标准测距，Vstd为标准方向向量。
于本发明的一实施例中，所述定位标记为ArUco Marker。
为实现上述目的，本发明还提供一种摄像机获取的琴键图像的偏移判断系统，应用于钢琴系统，所述钢琴系统包括在钢琴琴键的侧前方倾斜设置的显示器，在所述钢琴琴键的上方设置能够同时拍摄到所述钢琴琴键和所述显示器的摄像机；所述摄像机获取的琴键图像的偏移判断系统包括：预设模块、显示模块和判断模块；所述预设模块用于预设目标图像上的采样点坐标与显示图像的像素坐标的转换公式；所述显示模块用于基于所述转换公式和目标图像上的定位标记的采样点坐标获取显示图像的定位标记的像素坐标，基于所述显示图像的定位标记的像素坐标生成至少两个定位标记并显示于所述显示器；所述判断模块用于通过摄像机获取包含钢琴琴键和所述显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，通过所述平移误差Terror、缩放误差Serror、视图平面方向误差Rerror判断摄像机获取的琴键图像是否偏移。
于本发明的一实施例中，所述转换公式为：
Figure BDA0002425501770000024
其中：
pt：目标图像上的采样点坐标，
ps：显示图像的像素坐标，
Ts：显示器贴图纹理矩阵，
Ms：将显示器局部坐标转换到全局坐标的变换矩阵，
Mc：摄像机视图矩阵，
Mproj：摄像机透视投影矩阵，
Tview：目标图像在屏幕上的贴图纹理矩阵。
于本发明的一实施例中，通过以下公式计算所述平移误差Terror、所述缩放误差Serror和所述视图平面方向误差Rerror：
Figure BDA0002425501770000031
Figure BDA0002425501770000032
Figure BDA0002425501770000033
其中，mstd为标准标记重心，dstd为标准测距，Vstd为标准方向向量。
于本发明的一实施例中，所述定位标记为ArUco Marker。
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述摄像机获取的琴键图像的偏移判断方法。
为实现上述目的，本发明还提供一种摄像机获取的琴键图像的偏移判断装置，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述摄像机获取的琴键图像的偏移判断装置执行任一上述的摄像机获取的琴键图像的偏移判断方法。
如上所述，本发明的一种摄像机获取的琴键图像的偏移判断方法、系统、介质及装置，具有以下有益效果：基于显示器显示至少两个定位标记，用摄像机获取所述显示器显示至少两个定位标记的图像为拍摄图像，通过误差计算判断所述摄像机获取的琴键图像是否偏移，即判断摄像机的摆放位置是否正确，从而统一位于钢琴上方的摄像头的姿态参数标准，为摄像头是否偏移提供自动化的校准提示。
附图说明
图1a显示为本发明的摄像机获取的琴键图像的偏移判断方法于一实施例中的流程图；
图1b显示为本发明的钢琴系统于一实施例中的正视图结构示意图；
图1c显示为本发明的钢琴系统于一实施例中的侧视图结构示意图；
图1d显示为本发明的钢琴系统于一实施例中的透视图结构示意图；
图1e显示为本发明的钢琴系统于一实施例中的俯视图结构示意图；
图1f显示为本发明的摄像机获取的琴键图像的偏移判断方法于一实施例中的目标图像示意图；
图1g显示为本发明的摄像机获取的琴键图像的偏移判断方法于一实施例中的显示图像示意图；
图2显示为本发明的摄像机获取的琴键图像的偏移判断系统于一实施例中的结构示意图；
图3显示为本发明的摄像机获取的琴键图像的偏移判断装置于一实施例中的结构示意图。
元件标号说明
111    钢琴琴键
112    显示器
113    摄像机
114    摄像机拍摄范围
21     预设模块
22     显示模块
23     判断模块
31     处理器
32     存储器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的摄像机获取的琴键图像的偏移判断方法、系统、介质及装置，基于显示器显示至少两个定位标记，用摄像机获取所述显示器显示至少两个定位标记的图像为拍摄图像，通过误差计算判断所述摄像机获取的琴键图像是否偏移，即判断摄像机的摆放位置是否正确。
如图1a所示，于一实施例中，本发明的摄像机获取的琴键图像的偏移判断方法，应用于钢琴系统如图1b-1e所示，所述钢琴系统包括在钢琴琴键111的侧前方倾斜设置的显示器112，所述钢琴琴键111和所述显示器112的位置相对固定，在所述钢琴琴键111的上方设置能够同时拍摄到所述钢琴琴键111和所述显示器112的摄像机113。在所述显示器112的用于显示至少两个定位标记。优选的，所述至少两个定位标记对称设置于所述显示器112的下侧。所述所述钢琴琴键111的上方设置能够同时拍摄到所述钢琴琴键111和所述显示器112的摄像机113，从所述摄像机113从上往下进行拍摄，可以将所述显示器112和所述钢琴琴键111都落入所述摄像机113的摄像机拍摄范围114。
包括以下步骤：
步骤S11、预设目标图像上的采样点坐标与显示图像的像素坐标的转换公式。
具体地，所述转换公式为：
Figure BDA0002425501770000051
其中：
pt：目标图像上的采样点坐标，
ps：显示图像的像素坐标，
Ts：显示器贴图纹理矩阵，
Ms：将显示器局部坐标转换到全局坐标的变换矩阵，
Mc：摄像机视图矩阵，
Mproj：摄像机透视投影矩阵，
Tview：目标图像在屏幕上的贴图纹理矩阵。
具体的，目标图像是指想要通过所述摄像机拍摄显示在所述显示器112的图像从而获取的图像，是通过所述摄像机拍摄得到的图像，如图1f所示。
ps：显示图像的像素坐标，通过遍历所述显示图像的像素采集得到；所述显示图像是指显示在所述显示器112的图像，所述显示图像如图1g所示。
Ts：显示器贴图纹理矩阵，为将三维的模型矩阵转换为二维的纹理矩阵的转换矩阵；
而Ts -1是为将三维的模型矩阵转换为二维的纹理矩阵的转换矩阵的逆矩阵，也就是将二维的纹理矩阵转换为三维的模型矩阵的转换矩阵；
Ms：将显示器局部坐标为局部坐标系转换到以全局坐标为坐标系的变换矩阵，以显示器局部坐标为局部坐标系，具体的如图1c和图1d的x轴、y轴、z轴(小写xyz)所示的坐标系，变换到以全局坐标为坐标系，全局为坐标系，具体的如图1b、图1c、图1d和图1e的X轴、Y轴、Z轴(大写XYZ)所示的坐标系。
Mc：摄像机视图矩阵，也就是以全局坐标为坐标系转换为以摄像机局部坐标为局部坐标系的变换矩阵。
Mproj：摄像机透视投影矩阵，从摄像机视点发出的光线到显示器截面的投影矩阵。
Tview：目标图像在显示器的屏幕上的贴图纹理矩阵，为三维的模型矩阵转换为二维的纹理矩阵的转换矩阵。
步骤S12、基于所述转换公式和目标图像上的定位标记的采样点坐标获取显示图像的定位标记的像素坐标，基于所述显示图像的定位标记的像素坐标生成至少两个定位标记并显示于所述显示器。
具体地，所述目标图像上的定位标记也就是如图1f所示的这两个小方块。
具体的，所述显示图像的定位标记也就是如图1g所示的这两个小四边形。
具体的，所述定位标记为ArUco Marker。一个ArUco Marker是一个二进制平方标记，它由一个宽的黑边和一个内部的二进制矩阵组成，内部的矩阵决定了他们的id，黑色的边界有利于快速检测到图像，二进制编码可以验证id，并且允许错误检测和矫正技术的应用。
具体的，所述定位标记为二维码。
具体的，所述定位标记为两种不同颜色的彩色二维码。它由一个宽的某种颜色边和一个内部的二进制矩阵组成，内部的矩阵决定了他们的id，某种颜色的边界有利于快速检测到图像，二进制编码可以验证id，并且允许错误检测和矫正技术的应用。例如红绿、蓝黄等，这样的颜色可以与黑白的钢琴键区分开来。例如：它由一个宽的红色的颜色边和一个内部的二进制矩阵组成，内部的矩阵由红绿两种颜色决定了他们的id，红色的颜色的边界有利于快速检测到图像，二进制编码可以验证id，并且允许错误检测和矫正技术的应用。
步骤S13、通过摄像机获取包含钢琴琴键和所述显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，通过所述平移误差Terror、缩放误差Serror、视图平面方向误差Rerror判断摄像机获取的琴键图像是否偏移。
具体地，通过以下公式计算所述平移误差Terror、所述缩放误差Serror和所述视图平面方向误差Rerror：
Figure BDA0002425501770000061
Figure BDA0002425501770000071
Figure BDA0002425501770000072
其中，i＝1,2,…,n，且
Figure BDA0002425501770000073
的i和n分别为求和公式的下标和上标，其中i表示下界，n表示上界，mi从i开始取数，一直取到n全部加起来。
其中
Figure BDA0002425501770000074
i＝1,2,…,n，且
Figure BDA0002425501770000075
的i和(n-1)分别为求和公式的下标和上标，其中i表示下界，(n-1)表示上界，(mi+1-mi)从i开始取数，一直取到(n-1)全部加起来。
其中，mstd为标准标记重心，dstd为标准测距，Vstd为标准方向向量。即所述拍摄图像的定位标记的标准标记重心。此处的cos(，)并非标准的余弦函数，而是代表两向量的夹角余弦。例如在一实施中采用两个ArUco Marker作为定位标记，那么这两个ArUco Marker在摄像机摆放位置完全正确的时候的拍摄图像的定位标记的这两个ArUco Marker的重心为标准标记重心。那么这两个ArUco Marker在摄像机摆放位置完全正确的时候的拍摄图像的定位标记的这两个ArUco Marker的距离为标准测距。那么这两个ArUco Marker在摄像机摆放位置完全正确的时候的拍摄图像的定位标记的这两个ArUco Marker之间的方向向量为标准方向向量。
具体地，也可以采用均匀分布的3个、4个、5个等以上的ArUco Marker作为定位标记。
具体的，当所述平移误差Terror、所述缩放误差Serror和所述视图平面方向误差Rerror超过一定预设阈值时那么所述摄像机获取的琴键图像偏移。因为，摄像机获取的琴键图像的偏移判断系统，应用于钢琴系统，所述钢琴系统包括在钢琴琴键的侧前方倾斜设置的显示器，所述钢琴琴键和所述显示器相对位置固定，所述显示器显示定位标记，在所述钢琴琴键的上方设置能够同时拍摄到所述钢琴琴键和所述显示器的摄像机。在所述摄像机拍摄获得的拍摄图像的定位标记的平移误差Terror、缩放误差Serror和视图平面方向误差Rerror超过一定预设阈值时那么所述摄像机获取的定位标记偏移，从而说明所述摄像机获取的琴键图像偏移。
当然，严格的来说当出现所述平移误差Terror、所述缩放误差Serror或所述视图平面方向误差Rerror时，所述摄像机获取的琴键图像偏移。
当摄像机获取的琴键图像偏移时，发出提示，则为摄像头是否偏移提供自动化的校准提示。
如图2所示，于一实施例中，本发明的摄像机获取的琴键图像的偏移判断系统，应用于钢琴系统，所述钢琴系统包括在钢琴琴键的侧前方倾斜设置的显示器，在所述钢琴琴键的上方设置能够同时拍摄到所述钢琴琴键和所述显示器的摄像机；所述摄像机获取的琴键图像的偏移判断系统包括：预设模块21、显示模块22和判断模块23；所述预设模块21用于预设目标图像上的采样点坐标与显示图像的像素坐标的转换公式；所述显示模块22用于基于所述转换公式和目标图像上的定位标记的采样点坐标获取显示图像的定位标记的像素坐标，基于所述显示图像的定位标记的像素坐标生成至少两个定位标记并显示于所述显示器；所述判断模块23用于通过摄像机获取包含钢琴琴键和所述显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，通过所述平移误差Terror、缩放误差Serror、视图平面方向误差Rerror判断摄像机获取的琴键图像是否偏移。
具体地，所述转换公式为：
Figure BDA0002425501770000081
其中：
pt：目标图像上的采样点坐标，
ps：显示图像的像素坐标，
Ts：显示器贴图纹理矩阵，
Ms：将显示器局部坐标转换到全局坐标的变换矩阵，
Mc：摄像机视图矩阵，
Mproj：摄像机透视投影矩阵，
Tview：目标图像在屏幕上的贴图纹理矩阵。
具体地，通过以下公式计算所述平移误差Terror、所述缩放误差Serror和所述视图平面方向误差Rerror：
Figure BDA0002425501770000082
Figure BDA0002425501770000083
Figure BDA0002425501770000084
其中，mstd为标准标记重心，dstd为标准测距，Vstd为标准方向向量。
具体地，所述定位标记为ArUco Marker。
需要说明的是，预设模块21、显示模块22和判断模块23的结构和原理与上述摄像机获取的琴键图像的偏移判断方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述摄像机获取的琴键图像的偏移判断方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图3所示，于一实施例中，本发明的摄像机获取的琴键图像的偏移判断装置包括：处理器31和存储器32；所述存储器32用于存储计算机程序；所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述摄像机获取的琴键图像的偏移判断装置执行任一所述的摄像机获取的琴键图像的偏移判断方法。
具体地，所述存储器32包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
优选地，所述处理器31可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明摄像机获取的琴键图像的偏移判断方法、系统、介质及装置，通过摄像机获取包含钢琴琴键和显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述定位标记的屏幕坐标{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，并判断摄像机获取的琴键图像是否偏移。从而判断所述摄像头摆放的位置是否正确，因为只有在摄像头摆放位置正确的条件下才可以拍摄出完整、正确摆放的钢琴琴键。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种摄像机获取的琴键图像的偏移判断方法，其特征在于，应用于钢琴系统，所述钢琴系统包括在钢琴琴键的侧前方倾斜设置的显示器，在所述钢琴琴键的上方设置能够同时拍摄到所述钢琴琴键和所述显示器的摄像机；包括以下步骤：
预设目标图像上的采样点坐标与显示图像的像素坐标的转换公式；其中，所述目标图像为期望得到的摄像机拍摄图像；
基于所述转换公式和目标图像上的定位标记的采样点坐标获取显示图像的定位标记的像素坐标，基于所述显示图像的定位标记的像素坐标生成至少两个定位标记并显示于所述显示器；
通过摄像机获取包含钢琴琴键和所述显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述拍摄图像的定位标记的屏幕坐标
{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，通过所述平移误差Terror、缩放误差Serror、视图平面方向误差Rerror判断摄像机获取的琴键图像是否偏移。
2.根据权利要求1所述的摄像机获取的琴键图像的偏移判断方法，其特征在于，所述转换公式为：
其中：
pt：目标图像上的采样点坐标，
ps：显示图像的像素坐标，
Ts：显示器贴图纹理矩阵，
Ms：将显示器局部坐标转换到全局坐标的变换矩阵，
Mc：摄像机视图矩阵，
Mproj：摄像机透视投影矩阵，
Tview：目标图像在屏幕上的贴图纹理矩阵。
3.根据权利要求1所述的摄像机获取的琴键图像的偏移判断方法，其特征在于，通过以下公式计算所述平移误差Terror、所述缩放误差Serror和所述视图平面方向误差Rerror：
其中，mstd为标准标记重心，dstd为标准测距，Vstd为标准方向向量。
4.根据权利要求1所述的摄像机获取的琴键图像的偏移判断方法，其特征在于，所述定位标记为ArUco Marker。
5.一种摄像机获取的琴键图像的偏移判断系统，其特征在于，应用于钢琴系统，所述钢琴系统包括在钢琴琴键的侧前方倾斜设置的显示器，在所述钢琴琴键的上方设置能够同时拍摄到所述钢琴琴键和所述显示器的摄像机；所述摄像机获取的琴键图像的偏移判断系统包括：预设模块、显示模块和判断模块；
所述预设模块用于预设目标图像上的采样点坐标与显示图像的像素坐标的转换公式；其中，所述目标图像为期望得到的摄像机拍摄图像；
所述显示模块用于基于所述转换公式和目标图像上的定位标记的采样点坐标获取显示图像的定位标记的像素坐标，基于所述显示图像的定位标记的像素坐标生成至少两个定位标记并显示于所述显示器；
所述判断模块用于通过摄像机获取包含钢琴琴键和所述显示器的拍摄图像，并获取所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n，计算获得所述拍摄图像的定位标记的屏幕坐标{mi}i＝1,2,…,n的平移误差Terror、缩放误差Serror、视图平面方向误差Rerror，通过所述平移误差Terror、缩放误差Serror、视图平面方向误差Rerror判断摄像机获取的琴键图像是否偏移。
6.根据权利要求5所述的摄像机获取的琴键图像的偏移判断系统，其特征在于，所述转换公式为：
其中：
pt：目标图像上的采样点坐标，
ps：显示图像的像素坐标，
Ts：显示器贴图纹理矩阵，
Ms：将显示器局部坐标转换到全局坐标的变换矩阵，
Mc：摄像机视图矩阵，
Mproj：摄像机透视投影矩阵，
Tview：目标图像在屏幕上的贴图纹理矩阵。
7.根据权利要求5所述的摄像机获取的琴键图像的偏移判断系统，其特征在于，通过以下公式计算所述平移误差Terror、所述缩放误差Serror和所述视图平面方向误差Rerror：
其中，mstd为标准标记重心，dstd为标准测距，Vstd为标准方向向量。
8.根据权利要求5所述的摄像机获取的琴键图像的偏移判断系统，其特征在于，所述定位标记为ArUco Marker。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求1至4中任一项所述摄像机获取的琴键图像的偏移判断方法。
10.一种摄像机获取的琴键图像的偏移判断装置，其特征在于，包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述摄像机获取的琴键图像的偏移判断装置执行权利要求1至4中任一项所述的摄像机获取的琴键图像的偏移判断方法。
CN202010219260.3A 2020-03-25 2020-03-25 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置 Active CN111445453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219260.3A CN111445453B (zh) 2020-03-25 2020-03-25 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219260.3A CN111445453B (zh) 2020-03-25 2020-03-25 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置

Publications (2)

Publication Number Publication Date
CN111445453A CN111445453A (zh) 2020-07-24
CN111445453B true CN111445453B (zh) 2023-04-25

Family

ID=71655710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219260.3A Active CN111445453B (zh) 2020-03-25 2020-03-25 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置

Country Status (1)

Country Link
CN (1) CN111445453B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115826766B (zh) * 2023-02-16 2023-04-21 北京睛采智能科技有限公司 基于显示模拟器的眼动目标获取装置、方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615664A (zh) * 2018-12-12 2019-04-12 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980218B1 (en) * 2000-08-23 2005-12-27 Nintendo Co., Ltd. Method and apparatus for efficient generation of texture coordinate displacements for implementing emboss-style bump mapping in a graphics rendering system
US7154507B1 (en) * 2000-10-02 2006-12-26 Nvidia Corporation System, method and computer program product for texture shading
US7950849B2 (en) * 2005-11-29 2011-05-31 General Electric Company Method and device for geometry analysis and calibration of volumetric imaging systems
KR101595884B1 (ko) * 2009-07-16 2016-02-22 한화테크윈 주식회사 감시 카메라, 그 제어방법
JP5041079B2 (ja) * 2011-01-11 2012-10-03 富士通株式会社 画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置
CN104748746B (zh) * 2013-12-29 2017-11-03 刘进 智能机姿态测定及虚拟现实漫游方法
CN108476311B (zh) * 2015-11-04 2021-04-27 奇跃公司 可穿戴显示系统和用于校准可穿戴显示器的方法
WO2018018357A1 (zh) * 2016-07-25 2018-02-01 深圳市同盛绿色科技有限公司 Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
CN109700550B (zh) * 2019-01-22 2020-06-26 雅客智慧（北京）科技有限公司 一种用于牙科手术的增强现实方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615664A (zh) * 2018-12-12 2019-04-12 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备

Also Published As

Publication number Publication date
CN111445453A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN105453546B (zh) 图像处理装置、图像处理系统和图像处理方法
CN110956660B (zh) 定位方法、机器人以及计算机存储介质
JP2007036482A (ja) 情報投影表示装置およびプログラム
US10027954B2 (en) Registering cameras in a multi-camera imager
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
WO2017205102A1 (en) Imaging system comprising real-time image registration
WO2023273108A1 (zh) 单目测距方法、装置及智能装置
US10339662B2 (en) Registering cameras with virtual fiducials
US11380016B2 (en) Fisheye camera calibration system, method and electronic device
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
CN108846796A (zh) 图像拼接方法及电子设备
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
CN114820814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
CN113329179A (zh) 拍摄对位方法、装置、设备及存储介质
CN112991456A (zh) 拍摄定位方法、装置、计算机设备和存储介质
Finlayson et al. Color homography color correction
CN111445453B (zh) 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
JP6088864B2 (ja) キャリブレーションシステム、およびキャリブレーション方法
CN114549660A (zh) 基于圆柱形自识别标记物的多相机标定方法、装置及设备
CN111131801A (zh) 投影仪校正系统、方法及投影仪
CN113259642B (zh) 一种影片视角调节方法及系统
CN115375741A (zh) 一种全景图与激光点云的配准方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200724

Assignee: Fanda Information Technology (Kunshan) Co.,Ltd.

Assignor: Senlan information technology (Shanghai) Co.,Ltd.

Contract record no.: X2023990000958

Denomination of invention: Method, system, medium, and device for determining the offset of piano key images obtained by cameras

Granted publication date: 20230425

License type: Common License

Record date: 20231205

EE01 Entry into force of recordation of patent licensing contract