CN113316017B - 检测分辨率的方法和电子装置 - Google Patents

检测分辨率的方法和电子装置 Download PDF

Info

Publication number
CN113316017B
CN113316017B CN202010122937.1A CN202010122937A CN113316017B CN 113316017 B CN113316017 B CN 113316017B CN 202010122937 A CN202010122937 A CN 202010122937A CN 113316017 B CN113316017 B CN 113316017B
Authority
CN
China
Prior art keywords
frame
sub
resolution
image data
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010122937.1A
Other languages
English (en)
Other versions
CN113316017A (zh
Inventor
陈庆隆
高宇哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN202010122937.1A priority Critical patent/CN113316017B/zh
Publication of CN113316017A publication Critical patent/CN113316017A/zh
Application granted granted Critical
Publication of CN113316017B publication Critical patent/CN113316017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种检测影像资料的分辨率的方法和电子装置。该方法应用于电子装置，该电子装置的计算电路执行人工智能模型。该影像资料包含多个图帧，每一图帧包含多个子图帧。该人工智能模型处理多个像素数据来产生对应于这些像素数据的中间分辨率。该方法包含：(A)产生目标子图帧，该目标子图帧的像素个数小于任一图帧的像素个数；(B)将该目标子图帧输入该人工智能模型，以得到该中间分辨率；(C)储存该中间分辨率；(D)重复步骤(A)至步骤(C)，以得到多个中间分辨率；以及(E)根据这些中间分辨率决定该影像资料的该分辨率。

Description

检测分辨率的方法和电子装置
技术领域
本发明是关于影像处理，尤其是关于检测影像资料(video material)的分辨率。
背景技术
目前的一些电子装置(例如电视、屏幕、多媒体播放器、机顶盒、手机、电脑、笔记本电脑、平板电脑等)可播放或处理超高清(Ultra-high-definition,UHD)的影像资料，但是这些高分辨率的影像资料可能是由分辨率较低的影像资料放大(scale up)而来，换言之，这些高分辨率的影像资料可能具有低的原始分辨率。
为了提升影像质量，电子装置通常会根据影像资料的原始分辨率(originalresolution)对影像资料施以不同的图像质量处理(picture quality function)。传统方法是通过监测影像资料的像素值的更新频率来检测影像资料的分辨率。然而此做法需要特别设计的硬件和算法，造成实施上缺乏弹性。
随着人工智能(Artificial Intelligence,AI)蓬勃发展，有越来越多的影像处理相关的机器学习(machine learning)算法或深度学习(deep learning)算法被提出。神经网络(Neural Network,NN)或卷积神经网络(Convolutional Neural Network,CNN)是广泛被用于影像处理的人工智能模型。目前已有人工智能模型被训练来检测影像资料的原始分辨率(请参考：https://github.com/subpic/koniq)，然而，当影像资料的标称(nominal)分辨率越高时，人工智能模型所需处理的影像资料就越多，检测分辨率的程序也就越耗时。这会造成执行该人工智能模型的硬件(例如中央处理器、图形处理器(Graphics ProcessingUnit,GPU))被检测分辨率的程序长时间占用，而降低电子装置的效能。
发明内容
鉴于现有技术的不足，本发明的一个目的在于提供一种检测分辨率的方法和电子装置。
本发明公开一种检测影像资料的分辨率的方法。该方法应用于电子装置，该电子装置的计算电路执行人工智能模型。该影像资料包含多个图帧，每一图帧包含多个子图帧。该人工智能模型处理多个像素数据来产生对应于这些像素数据的中间分辨率。该方法包含：(A)产生目标子图帧，该目标子图帧的像素个数小于任一这些图帧的像素个数；(B)将该目标子图帧输入该人工智能模型，以得到该中间分辨率；(C)储存该中间分辨率；(D)重复步骤(A)至步骤(C)，以得到多个中间分辨率；以及(E)根据这些中间分辨率决定该影像资料的该分辨率。
本发明还公开一种电子装置，用于检测影像资料的分辨率。该影像资料包含多个图帧，每一图帧包含多个子图帧。该电子装置包含储存电路和计算电路。储存电路储存多个程序指令或程序代码。计算电路耦合到该储存电路，并且执行这些程序指令或程序代码来执行人工智能模型。该人工智能模型处理多个像素数据来产生对应于这些像素数据的中间分辨率。该计算电路还执行该些程序指令或程序代码来执行以下步骤：(A)产生目标子图帧，该目标子图帧的像素个数小于任一这些图帧的像素个数；(B)将该目标子图帧输入该人工智能模型，以得到该中间分辨率；(C)储存该中间分辨率；(D)重复步骤(A)至步骤(C)，以得到多个中间分辨率；以及(E)根据这些中间分辨率决定该影像资料的该分辨率。
本发明还公开一种检测影像资料的分辨率的方法。该方法应用于包含计算电路和储存电路的电子装置。该储存电路储存多个程序指令或程序代码，该计算电路执行这些程序指令或程序代码来执行第一人工智能模型，该第一人工智能模型包含多个子模型。该方法包含：(A)取得该影像资料的图帧；(B)将该图帧输入这些子模型的目标子模型，以得到第一中间结果；(C)储存该第一中间结果；(D)使用该计算电路执行第二人工智能模型；(E)以该目标子模型的下一子模型作为该目标子模型；(F)将该第一中间结果输入该目标子模型，以得到第二中间结果或该影像资料的该分辨率；以及(G)当步骤(F)得到该第二中间结果而非该影像资料的该分辨率时，以该第二中间结果作为该第一中间结果，并重复执行步骤(C)至步骤(F)，直到步骤(F)得到该影像资料的该分辨率。
相较于传统技术，本发明的检测分辨率的方法和电子装置不会长时间占用电子装置的软硬件资源，因此可以增加电子装置的效能(例如减少储存电路或存储器的带宽需求，和/或减少计算量)。
有关本发明的特征、实施与功效，现在配合附图作实施例详细说明如下。
附图说明
图1示出本发明电子装置的部分组件；
图2示出本发明检测影像资料的分辨率的方法的一实施例的流程图；
图3A和图3B分别示出由多个子图帧所构成的一个图帧；
图4示出本发明检测影像资料的分辨率的方法的另一实施例的流程图；
图5示出对应于图4的实施例的图帧、子图帧和存储器；
图6示出对应于图4的流程的另一示例的图帧和子图帧；
图7示出本发明检测影像资料的分辨率的方法的另一实施例的流程图；
图8示出对应于图7的实施例的图帧、子图帧和存储器；
图9示出本发明检测影像资料的分辨率的方法的另一实施例的流程图；
图10示出人工智能模型包含多个子模型；以及
图11示出步骤S930的子步骤(对应于图10的实施例)。
具体实施方式
以下说明内容的技术用语是参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。
本发明的公开内容包含检测分辨率的方法和电子装置。由于本发明的电子装置所包含的部分组件单独而言可能为已知组件，因此在不影响该装置发明的充分公开和可实施性的前提下，以下说明对于已知组件的细节将予以省略。此外，本发明的检测分辨率的方法的部分或全部流程可以是软件和/或固件的形式，并且可通过本发明的电子装置或其等效装置来执行，在不影响该方法发明的充分公开和可实施性的前提下，以下方法发明的说明将着重于步骤内容而非硬件。
图1示出本发明电子装置的部分组件。电子装置100包含计算电路110和储存电路120。储存电路120可以储存部分的影像资料，而影像资料包含多个图帧。在一些实施例中，储存电路120包含多条线缓冲器(line buffer)以储存整个或部分图帧。储存电路120可以是动态随机存取存储器、静态随机存取存储器、其等效的硬件，或多种存储器的组合。储存电路120还储存有多个程序指令、人工智能模型参数和其他参数，而计算电路110利用这些程序指令、人工智能模型参数和其他参数来执行人工智能模型(包含但不限于神经网络(Neural Network,NN)或卷积神经网络(Convolutional Neural Network,CNN))，以及来执行检测影像资料的分辨率的方法。电子装置100例如是(但不限于)电视、屏幕、多媒体播放器、机顶盒、手机、电脑、笔记本电脑、平板电脑等。
计算电路110可以是具有程序执行能力的电路或电子组件，例如中央处理器、图形处理器、或专用集成电路(Application Specific Integrated Circuit,ASIC)。专用集成电路例如是人工智能模型加速器。
图2示出本发明检测影像资料的分辨率的方法的一实施例的流程图。电子装置100接收影像资料(步骤S210)，影像资料包含多个图帧，且每个图帧包含多个子图帧。接着计算电路110从多个图帧中决定一个目标图帧(步骤S220)，例如目前正被电子装置100接收的图帧。然后计算电路110从同一个目标图帧中选取一个目标子图帧(步骤S230)。
图3A和图3B分别示出由多个子图帧所构成的一个图帧。图帧310包含9个子图帧(SF1-1、SF1-2、SF1-3、…、SF1-9)，每个子图帧的大小相同。图帧320包含8个子图帧(SF2-1、SF2-2、SF2-3、…、SF2-8)，8个子图帧有多种大小。在一些实施例中，计算电路110在步骤S230选取子图帧SF1-1或子图帧SF2-1作为目标子图帧。在图3A的例子中，每次步骤S230所选取的目标图帧的大小相同。在图3B的例子中，每次步骤S230所选取的目标图帧的大小不一定相同。图3A和图3B的子图帧个数仅为示例，实施本案者可依实际应用决定子图帧的个数。
回到图2，决定目标子图帧后，计算电路110将该目标子图帧输入人工智能模型，以得到对应于该目标子图帧的中间分辨率(步骤S240)。换言之，人工智能模型以目标子图帧的多个像素数据作为输入数据，然后基于这些像素数据计算或判断该目标子图帧的分辨率。在一些实施例中，子图帧的像素个数例如大于等于图帧的像素个数的5％。
人工智能模型产生该中间分辨率之后，计算电路110储存该中间分辨率(步骤S250)，例如将中间分辨率储存到储存电路120的特定的储存空间或特定位置。步骤S250完成后，计算电路110判断现有的中间分辨率的个数是否大于等于目标值(步骤S260)。当中间分辨率的个数大于等于目标值时，计算电路110分析已得到的中间分辨率来决定影像资料的分辨率(步骤S270)。当中间分辨率的个数小于目标值时，计算电路110从同一个目标图帧(即目前的目标图帧)选取另一个目标子图帧(步骤S230)，然后重复执行步骤S230至步骤S250，直到步骤S260的判断为是。
在一些实施例中，目标值等于一个图帧的子图帧的个数；换言之，计算电路110需要将一个图帧的全部子图帧输入人工智能模型以得到该图帧的分辨率。对图3A和图3B的例子而言，对应于图帧310的目标值为9，而对应于图帧320的目标值为8。
在其他的实施例中，目标值小于一个图帧的子图帧的个数；换言之，计算电路110只需要将一个图帧的部分子图帧，而非全部子图帧，输入人工智能模型即可得到该图帧的分辨率。
在一些实施例中，步骤S240所得到的中间分辨率可以是数个类别(例如高、中、低)的其中之一，而使用者可以自行定义各类别的实际分辨率。举例来说，高、中和低的中间分辨率分别对应4K、2K和1080P。在一些实施例中，计算电路110在步骤S270中以中间分辨率的众数作为该图帧的分辨率。如果有一个以上的众数，则计算电路110取任一众数作为该图帧的分辨率。因为在多数的情况下影像资料不会时常切换分辨率，所以图2的流程等效于检测影像资料的分辨率。步骤S270完成后，计算电路110删除已储存的中间分辨率，然后结束图2的流程(即停止检测影像资料的分辨率)，或是回到步骤S220以继续检测影像资料的分辨率。如果继续检测影像资料的分辨率，则计算电路110在步骤S220中所决定的目标图帧不同于前一个目标图帧。
图4示出本发明检测影像资料的分辨率的方法的另一实施例的流程图。图5示出对应于图4的实施例的图帧、子图帧和存储器。图4的步骤S410和步骤S420分别与图2的步骤S210和步骤S220相同，故不再赘述。在步骤S430中，计算电路110决定目标图帧的区域。图5的存储器510是储存电路120的一部分，用来储存子图帧。
请参照图5，图5示出影像资料包含多个图帧(F1、F2、...Fk、...、Fn，1≤k≤n)，且每个图帧包含9个子图帧(SF1、SF2、SF3、…、SF9)(子图帧的个数仅用于示例，并非用以限定本发明)。任一图帧的任一子图帧分别对应于该图帧的一个区域。任一区域可以以该区域位于(即相对于)该图帧的坐标来表示。在图5的例子中，当步骤S420所决定的目标图帧是图帧F1时，步骤S430所决定的区域为子图帧SF1所对应的区域(以灰色表示)；当步骤S420所决定的目标图帧是图帧F2时，步骤S430所决定的区域为子图帧SF2所对应的区域；当步骤S420所决定的目标图帧是图帧Fk时，步骤S430所决定的区域为子图帧SF9所对应的区域；以及当步骤S420所决定的目标图帧是图帧Fn时，步骤S430所决定的区域为子图帧SF1所对应的区域。在一些实施例中，连续两次的步骤S430所决定的两个区域有不同的位置或坐标，例如，图帧F1的子图帧SF1的位置或坐标不同于图帧F2的子图帧SF2的位置或坐标。
决定区域后，计算电路110选取该区域的像素作为目标子图帧(步骤S435)，换言之，目标子图帧包含该区域的所有像素(储存在存储器510中)，亦即目标子图帧由该区域的所有像素所组成。在一些实施例中，步骤S430和步骤S435可以等效于从目标图帧中选取一个目标子图帧。在一些实施例中，存储器510可以设计为刚好可以储存一个子图帧，以节省硬件资源。
步骤S435完成后，计算电路110执行步骤S440至步骤S470来得到影像资料的分辨率。由于步骤S440、S450、S460、S470分别与步骤S240、S250、S260、S270相同，故不再赘述。
在图4和图5的实施例中，在得到影像资料的分辨率之前，计算电路110执行数次步骤S420(即决定多个目标图帧，例如图5所示的图帧F1、F2、...)以及数次步骤S430～S435(即决定多个子图帧，例如图5所示的图帧F1的子图帧SF1、图帧F1的子图帧SF2、...)。需注意的是，在产生一次影像资料的分辨率的过程中(即执行多次步骤S420～S460)，至少有一个步骤S430所决定的区域与前次所决定的区域不同。举例来说，如图5所示，连续两次的步骤S430分别决定图帧F1的子图帧SF1所对应的区域和图帧F2的子图帧SF2所对应的区域。
图6示出对应于图4的流程的另一示例的图帧和子图帧。图6的图帧F1、F2、F3、F4、F5为连续的图帧。在本例中，计算电路110在步骤S420中可以不选择连续的图帧，例如图帧F2未被选为目标图帧。此外，在本例中，计算电路110可以在连续两次的步骤S430中决定同一个区域，例如图帧F3和图帧F4的被决定的区域都是子图帧SF2所对应的区域。
相较于图2的实施例，图4的实施例所需同时储存的像素较少，换言之，图4的实施例占用较少的储存电路120。更明确地说，假设图2的实施例和图4的实施例使用相同大小的子图帧(假设包含q个像素)，且目标值(假设为p)相同，则图2的实施例需同时储存q×p个像素的数据，而图2的实施例只需同时储存q个像素的数据。
图7示出本发明检测影像资料的分辨率的方法的另一实施例的流程图。图8示出对应于图7的实施例的图帧、子图帧和存储器。图7的步骤S710、S740、S750、S760和S770分别与图2的步骤S210、S240、S250、S260和S270相同，故不再赘述。在步骤S720中，计算电路110决定第一目标图帧和第二目标图帧，例如分别是图帧F1和图帧F2。在步骤S730中，计算电路110决定第一区域和第二区域，例如分别是子图帧SF1所对应的区域(以灰色表示)和子图帧SF2所对应的区域(以灰色表示)。在步骤S735中，计算电路110组合图帧F1的子图帧SF1(即第一目标图帧的该第一区域的像素)与图帧F2的子图帧SF2(即第二目标图帧的该第二区域的像素)，来产生目标子图帧。换句话说，本实施例的子图帧包含第一图帧的多个像素和第二图帧的多个像素。
图8的存储器810是储存电路120的一部分，用来储存子图帧。在一些实施例中，可以将存储器810视为包含两个子存储器：子存储器812和子存储器814。子存储器812用来储存第一图帧的该第一区域的像素，子存储器814用来储存第二图帧的该第二区域的像素。
在一些实施例中，第一图帧和第二图帧为连续的图帧(例如图8的图帧F1和图帧F2)。在其他的实施例中，第一图帧和第二图帧为不连续的图帧(例如图6的图帧F1和图帧F3)。
在目标值相同(所处理的子图帧个数相同)的前提下，相较于图4的实施例，图7的实施例可以参考取自于更多的图帧的像素值来决定影像资料的分辨率。在某些应用中，图7的实施例有可能获得比图4的实施例更准确的分辨率。
在一些实施例中，第一区域的大小等于第二区域的大小，且各为图4的实施例所采用的区域的大小的一半。如此一来，图7的实施例的子图帧的大小等于图4的实施例的子图帧的大小，即，存储器810与存储器510的储存容量相同。
由于在图2、图4和图7的方法中人工智能模型一次只处理一个子图帧，而非完整的图帧，所以可以缩短人工智能模型被连续占用的时间，以避免电子装置100长时间处理同一操作或任务而降低效能。此外，因为图2、图4和图7的流程可被中断再接续执行(例如计算电路110在完成步骤S250/S450/S750后以该人工智能模型执行另一操作或任务，然后再从步骤S260/S460/S760接续分辨率检测的操作)，所以可以增加电子装置100的设计或操作弹性。
在某些情况下，除了执行用来检测影像资料的分辨率的人工智能模型(以下简称第一人工智能模型)之外，电子装置100可能会执行另外一个人工智能模型(以下简称第二人工智能模型)来处理实时性或重要性较高的任务(以下简称主要任务)，例如物体辨识(包含但不限于脸部辨识)。图9示出本发明检测影像资料的分辨率的方法的另一实施例的流程图。实施图9的流程的程序指令、第一及第二人工智能模型参数和其他参数同样储存在储存电路120中，由计算电路110执行。当计算电路110判断有待处理的主要任务时(步骤S910判断为是)，计算电路110执行储存于储存电路120中的第二人工智能模型来处理该主要任务(步骤S920)。步骤S920完成后，流程回到步骤S910。当计算电路110判断目前没有待处理的主要任务时(步骤S910判断为否)，计算电路110利用储存电路120中的第一人工智能模型执行检测影像资料的分辨率的操作的其中一个子操作(步骤S930)。步骤S930完成后，计算电路110判断该分辨率检测的操作的所有子操作是否都已完成(步骤S940)。当步骤S940判断为否时，计算电路110继续判断目前是否有待处理的主要任务(步骤S910)。当步骤S940判断为是时，计算电路110决定影像资料的分辨率(步骤S950)。
在一些实施例中，步骤S930所指的子操作可以是图2、图4和图7的实施例中的产生一个中间分辨率的操作，步骤S940的细节是判断已储存的中间分辨率的个数是否大于等于目标值，而步骤S950的细节与步骤S270相同。换言之，步骤S930可以等效于图2的步骤S210至S250(其中步骤S210和S220只需执行一次)、等效于图4的步骤S410至S450(其中步骤S410只需执行一次)，或是等效于图7的步骤S710至S750(其中步骤S710只需执行一次)。因为步骤S930处理一个图帧的部分像素，而非全部像素，所以计算电路110可以在执行两个主要任务之间，以同一个人工智能模型加速器执行检测分辨率的操作，而不影响主要任务。换言之，基于图2、图4和图7的实施例，单一人工智能模型加速器可以同时满足实时需求任务(例如主要任务)和非实时需求任务(例如检测分辨率的操作)，增加了电子装置100的效能和使用弹性。
在另一个实施例中，步骤S930的子操作是第一人工智能模型的一个子模型。请参照图10，图10示出第一人工智能模型包含多个子模型。第一人工智能模型1000包含子模型1010_1、子模型1010_2、…、子模型1010_k、…、子模型1010_n(2≤n，2≤k≤n)。第一个子模型1010_1接收并处理图帧，而得到中间结果R1。计算电路110不将中间结果R1直接输入下一个子模型1010_2，而是将其储存至储存电路120。最后一个子模型1010_n以前一个子模型的中间结果作为输入，并且产生该图帧的分辨率。位于中间的子模型(即除了第一个子模型1010_1和最后一个子模型1010_n之外的子模型)以前一个子模型的中间结果作为输入，并且产生中间结果。在一些实施例中，中间结果R1、R2、…、Rk-1、Rk、…、Rn-1包含第一人工智能模型1000在运算过程中所产生的特征图、隐藏层输出和其他参数。在一些实施例中，第一人工智能模型1000可以由解码器模型(decoder model)、编码器模型(encoder model)和波网模型(WaveNet model)组合而成(请参考：https://github.com/Rayhane-mamah/ Tacotron-2)。
图11示出对应于该实施例的步骤S930的子步骤。首先，计算电路110判断储存电路120中是否已储存有中间结果(步骤S1110)。当计算电路110第一次执行图9的步骤S930时，由于储存电路120尚未储存任何中间结果，所以判断结果为否。接着，计算电路110取得影像资料的一个图帧(步骤S1120)，然后以这些子模型的第一个子模型作为目标子模型，并且将该图帧输入该目标子模型，以得到中间结果R1(步骤S1130)。在计算电路110将中间结果R1储存在储存电路120之后(步骤S1140)，步骤S930结束，计算电路110继续执行步骤S940。
当计算电路110非第一次执行步骤S930时，步骤S1110的判断结果为是，计算电路110选取当前的目标子模型的下一个子模型作为目标子模型(步骤S1150)。当前的目标子模型即计算电路110前一次执行步骤S930(即图11的流程)时所决定的目标子模型。举例来说，当计算电路110第二次执行步骤S930时，当前的目标子模型为子模型1010_1，因此计算电路110在步骤S1150中将以子模型1010_1的下一个子模型(即子模型1010_2)作为目标子模型。当计算电路110第k次执行步骤S930时，当前的目标子模型为子模型1010_k-1(图未示)，因此计算电路110在步骤S1150中将以子模型1010_k-1的下一个子模型(即子模型1010_k)作为目标子模型。
决定新的目标子模型后(即步骤S1150完成后)，计算电路110从储存电路120读取前一个(即前次储存的)中间结果，然后将中间结果输入目标子模型。更明确地说，当计算电路110第k次执行步骤S930时，计算电路110在步骤S1160中以中间结果Rk-1输入子模型1010_k。
步骤S1160产生中间结果(当k≠n)或图帧的分辨率(当k＝n)。更明确地说，当步骤S1150所决定的目标子模型不是第一人工智能模型1000的最后一个子模型时，步骤S1160产生中间结果；当步骤S1150所决定的目标子模型是第一人工智能模型1000的最后一个子模型时，步骤S1160产生分辨率。换言之，当计算电路110执行多次步骤S930以执行完成第一人工智能模型1000的全部的子模型1010之后，即可得到图帧的分辨率(即影像资料的分辨率)。因此，当计算电路110在步骤S1170中判断步骤S1160的输出为中间结果时，计算电路110将中间结果储存至储存电路120(步骤S1140)，然后结束步骤S930；而当计算电路110在步骤S1170中判断步骤S1160的输出为分辨率时，计算电路110储存或输出分辨率(步骤S1180)，然后结束步骤S930。在一些实施例中，分辨率例如是单一数值或一个字符串，而中间结果例如是多个特征图、隐藏层输出和/或其他参数的集合。
在图9的实施例中，人工智能模型加速器被多个任务共用，换言之，电子装置100可以利用同一组装置(硬件(例如计算电路110和储存电路120)与软件(即第一和第二人工智能模型)的组合)来交替地执行分辨率检测和物体辨识，以节省成本(例如共用计算电路110和/或使用较少的储存电路)。再者，因为分辨率检测的操作被拆分为多个子操作来执行，所以即使硬件被多个人工智能模型共用，重要性较高的主要任务(例如基于安全性的脸部辨识)也不会受到分辨率检测操作的影响。
由于本领域普通技术人员可以通过本发明的装置发明的公开内容来了解本发明的方法发明的实施细节与变化，因此，为避免赘述，在不影响该方法发明的公开要求和可实施性的前提下，重复的说明在此予以省略。请注意，前述图示中，组件的形状、尺寸、比例以及步骤的顺序等仅为示意，是供本领域普通技术人员了解本发明之用，并非用以限制本发明。
虽然本发明的实施例如上所述，然而这些实施例并非用来限定本发明，本领域普通技术人员可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均属于本发明的专利保护范围，换言之，本发明的专利保护范围须视本说明书的申请专利范围所界定者为准。
附图标记说明
100:电子装置
110:计算电路
120:储存电路
310,320:图帧
SF1-1,SF1-2,SF1-3,SF1-4,SF1-5,SF1-6,SF1-7,SF1-8,SF1-9,SF2-1,SF2-2,SF2-3,SF2-4,SF2-5,SF2-6,SF2-7,SF2-8:子图帧
510,810:存储器
F1,F2,F3,F4,F5,Fk,Fn:图帧
SF1,SF2,SF3,SF4,SF5,SF6,SF7,SF8,SF9:子图帧
R1,R2,Rk-1,Rk,Rn-1:中间结果
812,814:子存储器
1000:第一人工智能模型
1010_1,1010_2,1010_k,1010_n:子模型
S210～S270,S410～S470,S710～S770,S910～S950,S1110～S1180:步骤

Claims (10)

1.一种检测影像资料的分辨率的方法，应用于电子装置，所述电子装置的计算电路执行人工智能模型，所述影像资料包含多个图帧，每一图帧包含多个子图帧，所述方法包含：
(A)产生目标子图帧，所述目标子图帧的像素个数小于任一这些图帧的像素个数；
(B)将所述目标子图帧输入所述人工智能模型，所述人工智能模型处理所述目标子图帧的多个像素数据来产生对应于这些像素数据的中间分辨率；
(C)储存所述中间分辨率；
(D)重复步骤(A)至步骤(C)，以得到多个中间分辨率；以及
(E)根据这些中间分辨率决定所述影像资料的所述分辨率。
2.如权利要求1所述的方法，其中步骤(D)包含：
当所述中间分辨率的个数大于等于目标值，停止执行步骤(A)至步骤(C)。
3.如权利要求2所述的方法，其中所述目标值是同一目标图帧的子图帧的个数。
4.如权利要求2所述的方法，其中所述图帧包含第一图帧和第二图帧，且连续两次的步骤(A)所产生的两个目标子图帧分别选自所述第一图帧和所述第二图帧。
5.如权利要求4所述的方法，其中连续两次的步骤(A)所产生的所述两个目标子图帧分别选自所述第一图帧的第一区域和所述第二图帧的第二区域，所述第一区域对应于所述第一图帧的位置等于或不等于所述第二区域对应于所述第二图帧的位置。
6.如权利要求1所述的方法，其中步骤(E)包含：
以这些中间分辨率的众数作为所述分辨率。
7.一种电子装置，用于检测影像资料的分辨率，所述影像资料包含多个图帧，每一图帧包含多个子图帧，所述电子装置包含：
储存电路，储存多个程序指令或程序代码；
计算电路，耦合到所述储存电路，其中所述计算电路执行这些程序指令或程序代码来执行人工智能模型，所述计算电路还执行这些程序指令或程序代码来执行以下步骤：
(A)产生目标子图帧，所述目标子图帧的像素个数小于任一这些图帧的像素个数；
(B)将所述目标子图帧输入所述人工智能模型，所述人工智能模型处理所述目标子图帧的多个像素数据来产生对应于这些像素数据的中间分辨率；
(C)储存所述中间分辨率；
(D)重复步骤(A)至步骤(C)，以得到多个中间分辨率；以及
(E)根据这些中间分辨率决定所述影像资料的所述分辨率。
8.如权利要求7所述的电子装置，其中步骤(D)包含：
当所述中间分辨率的个数大于等于目标值，停止执行步骤(A)至步骤(C)。
9.如权利要求8所述的电子装置，其中所述图帧包含第一图帧和第二图帧，且连续两次的步骤(A)所产生的两个目标子图帧分别选自所述第一图帧和所述第二图帧。
10.一种检测影像资料的分辨率的方法，应用于电子装置，所述电子装置包含计算电路和储存电路，所述储存电路储存多个程序指令或程序代码，所述计算电路执行这些程序指令或程序代码来执行第一人工智能模型，所述第一人工智能模型包含多个子模型，所述方法包含：
(A)取得所述影像资料的图帧；
(B)将所述图帧输入这些子模型的目标子模型，以得到第一中间结果；
(C)储存所述第一中间结果；
(D)使用所述计算电路执行第二人工智能模型；
(E)以所述目标子模型的下一子模型作为所述目标子模型；
(F)将所述第一中间结果输入所述目标子模型，以得到第二中间结果或所述影像资料的所述分辨率；以及
(G)当步骤(F)得到所述第二中间结果而非所述影像资料的所述分辨率时，以所述第二中间结果作为所述第一中间结果，并重复执行步骤(C)至步骤(F)，直到步骤(F)得到所述影像资料的所述分辨率。
CN202010122937.1A 2020-02-27 2020-02-27 检测分辨率的方法和电子装置 Active CN113316017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010122937.1A CN113316017B (zh) 2020-02-27 2020-02-27 检测分辨率的方法和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010122937.1A CN113316017B (zh) 2020-02-27 2020-02-27 检测分辨率的方法和电子装置

Publications (2)

Publication Number Publication Date
CN113316017A CN113316017A (zh) 2021-08-27
CN113316017B true CN113316017B (zh) 2023-08-22

Family

ID=77370047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010122937.1A Active CN113316017B (zh) 2020-02-27 2020-02-27 检测分辨率的方法和电子装置

Country Status (1)

Country Link
CN (1) CN113316017B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112574A (ko) * 2012-04-04 2013-10-14 삼성전자주식회사 확대된 영상의 화질을 개선하기 위한 장치 및 방법
CN104581180A (zh) * 2014-12-31 2015-04-29 乐视网信息技术（北京）股份有限公司 一种视频编码方法及装置
CN105074781A (zh) * 2013-03-15 2015-11-18 英特尔公司 可变分辨率深度表示

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112574A (ko) * 2012-04-04 2013-10-14 삼성전자주식회사 확대된 영상의 화질을 개선하기 위한 장치 및 방법
CN105074781A (zh) * 2013-03-15 2015-11-18 英特尔公司 可变分辨率深度表示
CN104581180A (zh) * 2014-12-31 2015-04-29 乐视网信息技术（北京）股份有限公司 一种视频编码方法及装置

Also Published As

Publication number Publication date
CN113316017A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
US11250591B2 (en) Target detection method, system, and non-volatile storage medium
US11783522B2 (en) Animation rendering method and apparatus, computer-readable storage medium, and computer device
EP3525138A1 (en) Operation apparatus, operation execution device, operation excecution method and non-transitory computer-readable storage medium
US20210357759A1 (en) Task processing method and device based on neural network
US11611715B2 (en) System and method for event camera data processing
US20210089871A1 (en) Processing system and method for binary weight convolutional neural network
US20180137407A1 (en) Convolution operation device and convolution operation method
US11257252B2 (en) Image coding apparatus, probability model generating apparatus and image compression system
US7912128B2 (en) Motion vector estimation system and method thereof
US8295551B2 (en) System and method of adaptive vertical search range tracking for motion estimation in digital video
JP2006094494A (ja) グラフィックス処理装置を使用した加速ビデオ符号化
WO2019210546A1 (zh) 一种数据处理方法及计算设备
Berjon et al. GPU-based implementation of an optimized nonparametric background modeling for real-time moving object detection
US6668020B2 (en) Method for motion estimation in video coding
US8780120B2 (en) GPU self throttling
CN113316017B (zh) 检测分辨率的方法和电子装置
CN113923472A (zh) 视频内容分析方法、装置、电子设备及存储介质
TWI715448B (zh) 偵測解析度的方法及電子裝置
CN110289861B (zh) 半精度压缩感知采样方法
US8559518B2 (en) System and method for motion estimation of digital video using multiple recursion rules
KR20030025058A (ko) 완전 탐색블록 정합회로 및 완전 탐색블록 정합방법
JP4488805B2 (ja) 動きベクトル検出装置および方法
US10152766B2 (en) Image processor, method, and chipset for increasing intergration and performance of image processing
JP3094893B2 (ja) 動画像符号化装置
US20210287340A1 (en) Online ai super resolution engine and operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant