CN115511950A - 使用lidar确定图像传感器设置 - Google Patents

使用lidar确定图像传感器设置 Download PDF

Info

Publication number
CN115511950A
CN115511950A CN202210389147.9A CN202210389147A CN115511950A CN 115511950 A CN115511950 A CN 115511950A CN 202210389147 A CN202210389147 A CN 202210389147A CN 115511950 A CN115511950 A CN 115511950A
Authority
CN
China
Prior art keywords
signaling
image sensor
image
data
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210389147.9A
Other languages
English (en)
Inventor
A·文卡塔克里尚南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN115511950A publication Critical patent/CN115511950A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

描述了涉及使用LiDAR确定图像传感器设置的方法和装置。在实例中，一种方法可包含：在处理资源处经由LiDAR传感器接收指示与对象相关联的方位数据、高程数据和/或光能量强度数据的第一信令；在所述处理资源处经由图像传感器接收指示表示所述对象的图像的数据的第二信令；至少部分地基于所述第一信令而生成表示所述对象的参考系的额外数据；将指示表示所述对象的所述参考系的所述数据和表示所述对象的所述图像的所述数据的第三信令传输到用户界面；以及在所述用户界面处且至少部分地基于所述第三信令显示包括所述参考系和表示所述图像的所述数据的组合的另一图像。

Description

使用LIDAR确定图像传感器设置
技术领域
本公开涉及使用光检测和测距(LiDAR)确定图像传感器设置。
背景技术
计算装置可以是例如智能电话、可穿戴装置、平板计算机、膝上型计算机、台式计算机或智能助理装置。计算装置可接收和/或传输数据，且可包含或耦合到一或多个存储器装置。通常将存储器装置提供为计算机或其它电子系统中的内部半导体集成电路。存在许多不同类型的存储器，包含易失性和非易失性存储器。易失性存储器可能需要电力以维持其数据(例如，主机数据、错误数据等)，且包含随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM)和晶闸管随机存取存储器(TRAM)等。非易失性存储器可通过在未供电时保留所存储数据来提供永久数据，且可包含NAND快闪存储器、NOR快闪存储器和电阻可变存储器，例如相变随机存取存储器(PCRAM)、电阻式随机存取存储器(RRAM)和磁阻式随机存取存储器(MRAM)，例如自旋力矩转移随机存取存储器(STT RAM)等。
发明内容
在一个方面，本公开涉及一种确定图像传感器设置的方法(440)，其包括：在计算装置(100)的处理资源(104)处经由光检测和测距(LiDAR)传感器(102)接收指示与对象相关联的方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令；在所述计算装置的所述处理资源处经由图像传感器(112)接收指示表示所述对象的图像的数据的第二信令；至少部分地基于所述第一信令而生成表示所述对象的参考系(226)的额外数据；将指示表示所述对象的所述参考系的所述数据和表示所述对象的所述图像的所述数据的第三信令传输到用户界面(110；310)；以及在所述用户界面处且至少部分地基于所述第三信令显示包括所述参考系和表示所述图像的所述数据的组合的另一图像。
在另一方面，本公开涉及一种用于确定图像传感器设置的设备，其包括：光检测和测距(LiDAR)传感器(102)；用户界面(110；310)；以及处理资源(104)，其耦合到所述LiDAR传感器和所述用户界面，其中所述处理资源经配置以：经由所述LiDAR传感器接收指示与对象相关联的方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令；接收指示表示数个相片的数据的第二信令；至少部分地基于所述第一信令表示或所述第二信令中的至少一者或其任何组合来生成表示数个图像传感器设置(228)的数据；将指示表示所述数个图像传感器设置的所述数据的第三信令传输到所述用户界面；以及在所述用户界面处且至少部分地基于所述第三信令来显示表示所述数个图像传感器设置的所述数据。
在另一方面，本公开涉及一种用于确定图像传感器设置的设备，其包括：光检测和测距(LiDAR)传感器(102)；图像传感器(112)；用户界面(110；310)；以及处理资源(104)，其耦合到所述LiDAR传感器、所述图像传感器和所述用户界面，其中所述处理资源经配置以：经由所述LiDAR传感器接收指示与对象相关联的方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令；经由所述图像传感器接收指示表示所述对象的图像的数据的第二信令；接收指示表示数个相片的数据的第三信令；至少部分地基于所述第一信令、所述第二信令或所述第三信令中的至少一者或其任何组合来生成表示数个图像传感器设置(228)的数据；将指示表示所述数个图像传感器设置的所述数据的第四信令传输到所述图像传感器；以及在所述图像传感器处且至少部分地基于所述第四信令调整表示所述数个图像传感器设置的所述数据。
附图说明
图1说明根据本公开的数个实施例的使用LIDAR确定图像传感器设置的计算装置的实例。
图2说明根据本公开的数个实施例的使用AI模型确定图像传感器设置的流程图的实例。
图3A说明根据本公开的数个实施例的计算装置的用户界面的实例。
图3B说明根据本公开的数个实施例的计算装置的用户界面的实例。
图4是根据本公开的数个实施例的使用LiDAR确定图像传感器设置的方法的流程图。
具体实施方式
本公开包含与以下相关的方法和设备：在计算装置的处理资源处经由LiDAR传感器接收指示与对象相关联的方位数据、高程数据和/或光能量强度数据的第一信令；以及在所述处理资源处经由图像传感器接收指示表示所述对象的图像的数据的第二信令。可基于第一信令生成表示对象的参考系的额外数据，且可将指示表示对象的参考系的数据和表示所述对象的图像的数据的第三信令传输到用户界面。在一些实例中，用户界面可基于第三信令显示另一图像，所述另一图像包括参考系和表示图像的数据的组合。
通常在捕捉到后将相片(例如照片)进行修改、编辑和/或修图。举例来说，可将过滤器应用于照片和/或可移除照片的一部分。然而，在捕捉到照片之后修改照片可能有限制性。在一些实例中，拍摄照片的角度、亮度、模式、相机类型和/或使用的曝光时间可能不适合照片，且编辑工具可能无法将照片修复或修改到需要的程度。因而，在捕捉照片之前调整图像传感器设置和/或参考系可产生比捕捉之后修改的照片更好和/或质量更高的照片。
可基于来自LiDAR传感器、图像传感器、设备上和/或设备外部的存储器108、互联网、云装置和/或全球定位系统(GPS)的数据生成图像传感器设置和/或参考系。图像传感器设置可包含例如焦点、亮度、对比度、相机模式、相机类型、闪光灯和/或曝光长度。图像传感器设置可作为对用户的建议显示在用户界面上，和/或图像传感器设置可在无用户输入的情况下由计算装置进行调整。
参考系可以是捕捉经改善照片的相机的角度和/或位置。举例来说，照片的照明在不同角度下可能更好。可在用户界面上显示图像传感器的参考系和实况(例如，当前或流式传输)图像。用户可移动图像传感器以使参考系与实况图像对准。一旦实况图像与参考系对准，用户便可经由用户界面、按钮和/或口头命令捕捉照片。
可教示人工智能(AI)模型以生成图像传感器设置和/或参考系。举例来说，AI模型可学习构成好照片的内容和/或用户的照片偏好，且生成图像传感器设置以捕捉好照片和/或用户会喜欢的照片。
如本文所使用，“数个”某物可指一或多个此类事物。“多个”某物意指两个或更多个。本文中的图遵循编号惯例，其中前一或多个数字对应于图式编号，且其余的数字标识图中的元件或组件。可通过使用类似数字来标识不同图之间的类似元件或组件。举例来说，附图标号116可指图1中的元件“16”，且类似元件在图2中可表示为216。在一些情况下，同一图中或不同图中的多个类似但在功能上和/或结构上可区分的元件或组件可以同一元件编号依序指代。如应了解，可添加、交换和/或去除本文中的各种实施例中展示的元件，从而提供本公开的数个额外实施例。另外，图中所提供的元件的比例和相对尺度意图说明本公开的各种实施例，而非以限制性意义来使用。
图1说明根据本公开的数个实施例的使用LIDAR确定图像传感器设置的计算装置100的实例。计算装置100可以是但不限于智能电话、可穿戴装置、平板计算机、膝上型计算机、台式计算机、智能辅助装置或其任何组合。
LiDAR传感器102、处理资源104、无线电设备106、存储器108、用户界面110、图像传感器112和/或全球定位系统(GPS)114可包含于计算装置100中和/或耦合到所述计算装置。计算装置100可使用例如但不限于无线电设备106等通信装置(例如，中间装置)经由有线和/或无线传输接收和/或传输数据。无线电设备106通过信令(例如，无线电信号)和/或网络关系可使计算装置100能够与计算装置100的一或多个组件、一或多个其它计算装置、可穿戴装置、电话、传感器、智能助理和/或云计算装置通信。此类网络关系的实例可包含蓝牙、隔空投送(AirDrop)、点对点Wi-Fi网络、蜂窝网络、分布式计算环境(例如，云计算环境)、例如互联网等广域网(WAN)、局域网(LAN)、个域网(PAN)、校园网(CAN)或城域网(MAN)，以及其它类型的网络关系。
存储器108可包含易失性和/或非易失性存储器，例如DRAM、NAND和/或3D交叉点。存储器108可耦合到处理资源104且可存储AI模型116和/或照片118。存储器108可以是可由处理资源104存取以执行本公开的各种实例的任何类型的存储媒体。举例来说，存储器108可以是其上存储有计算机可读指令(例如，计算机程序指令)的非暂时性计算机可读媒体，所述计算机可读指令可由处理资源104执行以：在计算装置100的处理资源104处经由LiDAR传感器102接收指示方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令；在计算装置100的处理资源104处经由图像传感器112接收指示表示对象的图像的数据的第二信令；至少部分地基于第一信令生成表示所述对象的参考系的额外数据；向用户界面110传输指示表示所述对象的参考系的数据和表示所述对象的图像的数据的第三信令；以及在用户界面110处且至少部分地基于第三信令来显示包括所述参考系和表示所述图像的数据的组合的另一图像。
在一些实例中，处理资源104可接收信令，所述信令指示来自例如互联网、云装置和/或计算装置100上和/或外部的存储器108的表示数个照片118的数据。可基于方位数据、高程数据、光能量强度数据、表示对象的图像的数据和/或表示所述数个照片118的数据生成且传输图像传感器设置。在数个实施例中，可在用户界面110上接收且显示图像传感器设置，和/或图像传感器112可响应于接收到所述图像传感器设置而调整所述图像传感器设置。
用户界面110可由计算装置100响应于从处理资源104接收到信令而生成。用户界面110可以是可将信息提供到计算装置100的用户和/或从所述用户接收信息的图形用户界面(GUI)。在数个实施例中，可在计算装置100的显示器和/或全息图上展示用户界面110。
用户可经由用户界面110接收数据和/或传输选择(例如，命令)。举例来说，用户界面110可显示数个选项，且用户界面110可响应于用户在用户界面110上选择一或多个选项而接收对所述数个选项中的一或多者的选择。在一些实例中，用户界面110可接收图像传感器设置的输入、图像传感器设置的选择和/或捕捉照片的选择。响应于输入，用户界面110可将包含表示图像传感器设置的数据和/或表示捕捉照片的命令的数据的信令传输到图像传感器112。
图像传感器设置和/或参考系可从表示由GPS 114生成的计算装置100的方位的数据导出。表示计算装置100的方位的数据可从GPS 114传输到处理资源104，且处理资源104和/或AI模型116可至少部分地基于表示计算装置100的方位的数据来生成表示图像传感器设置和/或参考系的数据。响应于接收到表示计算装置的方位的数据，处理资源104可在互联网、云装置和/或在计算装置100上和/或外部的存储器108上搜索在离计算装置100的方位某一特定距离内捕捉到的多个照片118。处理资源104可响应于找到在离计算装置100的方位所述特定距离内捕捉的多个照片118而接收指示表示多个照片118的数据的信令。
在一些实例中，处理资源104可从互联网、云装置和/或计算装置100上和/或外部的存储器108搜索和接收在类似条件下捕捉的多个照片118。这些类似条件可包含例如在如上文所论述的特定距离内、以特定角度、在特定日时期间、在特定天气模式期间和/或在特定季节期间捕捉的图像。
表示从互联网接收的多个照片118的包含与多个照片118中的每一者相关联的元数据的数据可存储在存储器108中。所述元数据可包含照片具有的查看(view)次数、点赞次数和/或分享次数。在一些实例中，表示数个图像传感器设置的数据和/或表示参考系的数据可由处理资源104至少部分地基于表示多个照片118的数据来生成。
处理资源104可至少部分地基于照片具有的查看次数、点赞次数和/或分享次数而选择多个照片118中的数个照片。举例来说，表示数个图像传感器设置的数据和/或表示参考系的数据可基于流行和/或很受喜爱的照片生成，以帮助计算装置的用户捕捉优质和/或好的照片。
在数个实施例中，多个照片118和多个照片118的元数据可存储在存储器108中。多个照片118可以是如先前所描述来自互联网的照片，和/或先前由计算装置100的用户捕捉、接收和/或下载的照片。可响应于从处理资源104接收到请求而从存储器108传输多个照片118。处理资源104可至少部分地基于照片的元数据而从多个照片118中选择数个照片，所述元数据包含照片具有的主题、上传次数、查看次数、点赞次数和/或分享次数。在一些实例中，用户界面110可显示多个照片118，从用户接收多个照片118中的数个照片的选择，以及将表示所述数个照片的数据传输到处理资源104。举例来说，用户可从多个照片118选择其喜欢的数个照片。图像传感器设置和/或参考系可从表示从多个照片118选择的数个照片的数据导出。举例来说，表示数个图像传感器设置的数据和/或表示参考系的数据可基于计算装置100的用户喜欢的数个照片来生成。
在一些实例中，可在用户界面110上显示图像传感器设置和/或参考系，和/或用于图像传感器112的命令可基于图像传感器设置而创建和执行。举例来说，表示通知的数据可基于表示数个图像传感器设置的数据而生成、传输到用户界面110且在用户界面110上显示。用户可选择和/或忽略在用户界面110上显示的图像传感器设置和/或参考系。在一些实例中，表示命令的数据可基于表示数个图像传感器设置的数据而生成、被传输到图像传感器112，且图像传感器112可调整所述数个图像传感器设置。
处理资源104可包含经配置以使得计算装置100能够执行AI操作的组件。在一些实例中，AI操作可包含训练操作或干扰操作，或这两者。在数个实施例中，AI模型116可使用样本数据在云中进行远程训练且传输到计算装置100，和/或在计算装置100上进行训练。在一些实例中，表示参考系的数据和/或表示数个图像传感器设置的数据可通过使用AI模型116对方位数据、高程数据、光能量强度数据、表示对象的图像的数据、表示数个照片118的数据和/或表示计算装置100的方位的数据执行AI操作来生成。
图2说明根据本公开的数个实施例的使用AI模型216确定图像传感器设置的流程图的实例。AI模型216可对应于图1中的AI模型116。AI模型216可接收LiDAR数据220、图像数据222和/或照片数据224。在一些实例中，AI模型216可接收数据且生成参考系226和/或图像传感器设置228。
LiDAR数据220可包含与对象相关联的方位数据、高程数据和/或光能量强度数据，且可由LiDAR传感器(例如，图1中的LiDAR传感器102)生成。LiDAR数据220可包含具有相关联的X、Y和Z坐标值和光能量强度值的数据点。举例来说，与光能量强度值相关联的方位可为X和Y坐标，且与光能量强度值相关联的高程可为Z坐标。LiDAR数据220可被输入到AI模型216中，且AI模型216可基于LiDAR数据220确定参考系226和/或图像传感器设置228。在一些实例中，AI模型216可基于LiDAR数据220确定从图像传感器(例如，图1中的图像传感器112)的当前位置拍摄的和/或使用当前图像传感器设置的照片的照明可能太暗。举例来说，与照片背景的坐标的光强度值相比，照片对象(例如，主题)的坐标的光强度值可能较暗。因此，AI模型216可确定具有更好图像捕捉角度和/或位置的特定参考系226，以获得可使照片对象变亮的更好照明的照片和/或图像传感器设置228。举例来说，参考系226可指示用户将图像传感器移动到正面照亮对象的角度，和/或可调整图像传感器设置228以启用闪光灯。
图像数据222可以是表示对象的图像的数据，且可包含方位、日时和/或当前传感器设置。图像数据222可以是由图像传感器生成的对象的图像的实况图像。在一些实例中，图像数据222可被输入到AI模型216中，且AI模型216可基于图像数据222确定参考系226和/或图像传感器设置228。举例来说，AI模型216能够基于图像数据222确定用户希望捕捉的主题。在一些实例中，AI模型216可确定用户希望拍摄的照片的类型。举例来说，如果图像数据222的相当大部分包含人，则AI模型216可确定用户希望捕捉肖像。响应于确定用户希望捕捉肖像，AI模型216可生成参考系226，其指示用户移动更靠近或更远离肖像中的人和/或生成用于肖像的图像传感器设置228。
照片数据224可以是表示数个照片的数据。所述数个照片可选自来自互联网、云装置和/或计算装置(例如，图1中的计算装置100)的存储器(例如，图1中存储器108)的多个照片(例如，图1中的照片118)。举例来说，可响应于在离对象的图像的方位某一特定距离内捕捉所述多个照片中的所述数个照片而选择所述数个照片。可基于GPS(例如，图1中的GPS114)和/或经由社交媒体和/或消息标识其方位的用户来确定图像和/或对象的方位。
在数个实施例中，可响应于通过对图像和/或对象执行图像辨识而标识图像和/或对象来选择多个照片中的数个照片。在一些实例中，用户可在用户界面上选择图像的一部分，指示表示命令的数据的信令可响应于用户界面接收到所述选择而从用户界面发送到处理资源，且所述处理资源可对图像的选定部分执行图像辨识。举例来说，图像传感器可捕捉包含作为对象的华盛顿纪念碑(Washington Monument)的华盛顿国家广场(NationalMall)的实况图像。计算装置可将表示图像和/或对象的一部分的数据与表示图像和/或对象的其它数据进行比较，以将图像标识为华盛顿国家广场且将华盛顿纪念碑标识为对象，和/或搜索和查找包含图像的一部分和/或对象的一部分的其它照片。举例来说，计算装置可搜索包含华盛顿纪念碑的华盛顿国家广场的多个照片。
在一些实例中，可基于查看次数、点赞次数和/或分享次数而从所述多个照片中选择数个照片。举例来说，可选择很受喜爱的照片以包含于照片数据224中且输入到AI模型216中。在数个实施例中，可基于用户查看次数和/或用户经由消息和/或社交媒体分享照片的次数而从用户捕捉的照片中选择所述多个照片中的数个照片。举例来说，可选择经常分享的照片以包含于照片数据224中且输入到AI模型216中。
AI模型216可比较照片数据224中包含的所述数个照片以确定共性。举例来说，AI模型216可确定所述数个照片中的大多数是在离对象某一特定距离处拍摄。因此，AI模型216可生成参考系226和/或图像传感器设置228，以在存在和/或不存在用户输入的情况下改变图像传感器的变焦、镜头和/或其与对象的距离。
在数个实施例中，AI模型216可比较来自照片数据224的数个照片与来自图像数据222和/或LiDAR数据220的实况图像以确定哪个照片和/或哪些照片最接近于实况图像。举例来说，如果实况图像是风景，则AI模型216可确定所述数个照片的风景照片之间的共性。AI模型216可确定所述数个照片中的大多数风景照片具有特定亮度。响应于根据照片数据224确定特定亮度，AI模型216可生成参考系226和/或图像传感器设置228，以在存在和/或不存在用户输入的情况下改变图像传感器的亮度和/或其方位。
参考系226可以是捕捉经改善照片的图像传感器的角度和/或位置。举例来说，照片的构图在不同角度和/或不同位置可能更好。参考系226和图像数据222(例如，由图像传感器捕捉的实况图像)可显示在用户界面(例如，图1中的用户界面110)上。用户可移动图像传感器以使实况图像与参考系226对准。参考系226可以是一或多个对象的轮廓和/或特定位置中的一或多个对象的叠加。一旦通过将实况图像的一或多个对象放置在与参考系中的一或多个对象相同或类似的位置而将实况图像与参考系226对准，用户就可拍摄照片。在一些实施例中，参考系226可包含显示于用户界面上和/或从计算装置的扬声器输出的说明。举例来说，参考系226可以是使用户在特定方向上移动的指令，且一旦用户将实况图像与参考系226匹配，用户就可被指示捕捉图像。
图像传感器设置228可作为通知和/或用以选择的选项显示在用户界面上，和/或作为对用户的建议从计算装置的扬声器输出。在一些实例中，可在无用户的情况下由计算装置调整图像传感器设置228。举例来说，AI模型216可将命令输出且传输到图像传感器以调整图像传感器设置228。图像传感器设置228可包含焦点、取景(例如，参考系)、亮度、对比度、相机模式、相机类型、闪光灯和/或曝光长度。
图3A说明根据本公开的数个实施例的计算装置(例如，图1中计算装置100)的用户界面310的实例。用户界面310可对应于图1中的用户界面110。用户界面310可显示实况图像330、参考系326和/或文本332。
实况图像330可以是从图像传感器(例如，图1中的图像传感器112)和/或LiDAR传感器(例如，图1中的LiDAR传感器102)流式传输的图像。实况图像330可响应于图像传感器和/或LiDAR传感器在移动和/或响应于图像传感器设置(例如，图2中的图像传感器设置228)被调整而改变。图3A中所说明的实例中的实况图像330可包含彼此连接的两个建筑物。
参考系326可对应于图2中的参考系226。参考系226可以是一或多个对象的轮廓和/或叠加，所述对象的角度和/或位置与来自图像传感器的实况图像330中流式传输的一或多个对象不同。图3A中说明的实例中的参考系326可包含彼此连接的作为实况图像330中的一或多个对象的两个建筑物，且以与实况图像330中流式传输的两个建筑物不同的角度显示这两个建筑物。
文本332可包含用于改变图像传感器设置228、移动图像传感器以将实况图像330定位在参考系326内和/或在参考系的范围内和/或拍摄照片的通知、建议和/或指令。举例来说，文本332可包含在不同方向上移动图像传感器和/或调整图像传感器的亮度、对比度、模式、类型、闪光灯和/或曝光长度的说明。
图3B说明根据本公开的数个实施例的计算装置(例如，图1中计算装置100)的用户界面310的实例。用户界面310可对应于图1中的用户界面110和/或图3B中的用户界面310。用户界面310可显示实况图像330、参考系326和/或文本332，如先前结合图3A所描述。
用户可移动图像传感器以将实况图像330与参考系326对准，如图3B中所说明。一旦实况图像330与参考系326对准和/或图像传感器设置被调整，用户就可经由用户界面310、按钮和/或口头命令拍摄照片。在数个实施例中，文本332可包含用以响应于实况图像330在参考系326内和/或在参考系的范围内和/或响应于图像传感器设置被调整而捕捉图像的指令。在一些实例中，计算装置可响应于实况图像330与参考系326对准和/或图像传感器设置被调整而在无用户输入的情况下捕捉图像。
图4是根据本公开的数个实施例的使用LiDAR确定图像传感器设置的方法440的流程图。在框442，方法440可包含在计算装置的处理资源处经由LiDAR传感器接收指示与对象相关联的方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令。所述对象可例如是图像的主题。
在框444，方法440可包含在计算装置的处理资源处经由图像传感器接收指示表示对象的图像的数据的第二信令。在一些实例中，图像传感器可以是数码相机和/或相机模块。
在框446，方法440可包含至少部分地基于第一信令来生成表示所述对象的参考系的额外数据。参考系可以是捕捉理想照片的相机的角度和/或位置。
在框448，方法440可包含将指示表示对象的参考系的数据和表示对象的图像的数据的第三信令传输到用户界面。可在计算装置的显示器和/或全息图上展示用户界面。
在框450，方法440可包含在用户界面处且至少部分地基于第三信令显示包括参考系和表示图像的数据的组合的另一图像。用户可移动相机以使参考系与实况图像对准。一旦实况图像与参考系对准，用户就可拍摄照片。
尽管已在本文中说明并描述了具体实施例，但所属领域的一般技术人员应了解，经计算以实现相同结果的布置可取代所展示的具体实施例。本公开旨在涵盖本公开的一或多个实施例的调适或变化。应理解，以说明方式而非限制方式进行了以上描述。在查阅以上描述后，以上实施例和本文未具体描述的其它实施例的组合对于所属领域的技术人员来说将显而易见。本公开的一或多个实施例的范围包含使用以上结构和方法的其它应用。因此，本公开的一或多个实施例的范围应参考所附权利要求书以及此类权利要求被赋予的等同物的完整范围而确定。
在前述具体实施方式中，出于简化本公开的目的而将一些特征一起分组在单个实施例中。本公开的这一方法不应被理解为反映本公开的所公开实施例必须使用比每个权利要求中明确陈述的特征多的特征的意图。实际上，如所附权利要求书所反映，本发明主题在于单个公开实施例的不到全部的特征。因此，所附权利要求书特此并入于具体实施方式中，其中每个权利要求就其自身而言作为单独实施例。

Claims (18)

1.一种确定图像传感器设置的方法(440)，其包括：
在计算装置(100)的处理资源(104)处经由光检测和测距LiDAR传感器(102)接收指示与对象相关联的方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令；
在所述计算装置的所述处理资源处经由图像传感器(112)接收指示表示所述对象的图像的数据的第二信令；
至少部分地基于所述第一信令而生成表示所述对象的参考系(226)的额外数据；
将指示表示所述对象的所述参考系的所述数据和表示所述对象的所述图像的所述数据的第三信令传输到用户界面(110；310)；以及
在所述用户界面处且至少部分地基于所述第三信令显示包括所述参考系和表示所述图像的所述数据的组合的另一图像。
2.根据权利要求1所述的方法，其另外包括：
至少部分地基于所述第一信令而确定表示以下中的至少一者的数据：所述对象的方位、所述对象的角度、时间、天气或季节；
选择多个相片中的数个相片，所述数个相片至少是以下中的至少一者：在离所述对象的所述方位某一特定距离内拍摄、在离所述对象的所述角度某一特定量角度内拍摄、在离所述时间某一特定量时间内拍摄、在所述天气期间拍摄或在所述季节期间拍摄；以及
至少部分地基于表示选定的所述数个相片的数据而生成表示所述对象的所述参考系的所述额外数据。
3.根据权利要求2所述的方法，其另外包括至少部分地基于查看次数、点赞次数或分享次数中的至少一者或其任何组合而从互联网、云装置或所述计算装置的存储器中的至少一者选择所述多个相片中的所述数个相片。
4.根据权利要求2所述的方法，其另外包括至少部分地基于用户查看的次数或分享次数中的至少一者或其任何组合而从所述计算装置选择所述多个相片中的所述数个相片。
5.根据权利要求1到3中任一项所述的方法，其另外包括至少部分地基于所述第一信令或所述第二信令或其任何组合而确定表示数个图像传感器设置(228)的数据。
6.根据权利要求5所述的方法，其另外包括：
至少部分地基于表示所述数个图像传感器设置的所述数据，生成表示通知(332)的数据；
将指示表示所述通知的所述数据的第四信令传输到所述用户界面；以及
在所述用户界面处且至少部分地基于所述第四信令显示所述通知。
7.根据权利要求5所述的方法，其另外包括：
至少部分地基于表示所述数个图像传感器设置的所述数据，生成表示命令的数据；
将指示表示所述命令的所述数据的第四信令传输到所述图像传感器；以及
在所述图像传感器处且至少部分地基于所述第四信令调整所述数个图像传感器设置。
8.根据权利要求1到3中任一项所述的方法，其另外包括：
在所述用户界面处接收来自所述计算装置的用户的选择；
响应于所述用户界面接收到所述选择而从所述用户界面向所述图像传感器传输指示表示命令的数据的第四信令；
响应于接收到所述第四信令而在所述图像传感器处捕捉所述对象的所述图像；
在所述处理资源处对表示所述对象的所述图像的所述数据执行图像辨识；
响应于执行所述图像辨识而生成表示所述对象的标识的数据；以及
至少部分地基于表示所述对象的所述标识的所述数据，生成表示所述对象的所述参考系的所述数据。
9.根据权利要求8所述的方法，其另外包括：
在所述用户界面处经由所述图像传感器接收指示表示所述对象的所述图像的所述数据的所述第二信令；
在所述用户界面处且至少部分地基于所述第二信令显示所述对象的所述图像；
在所述用户界面上接收对所述图像的一部分的选择；
响应于所述用户界面接收到所述选择而从所述用户界面向所述处理资源传输指示表示命令的数据的第四信令；以及
在所述处理资源处对所述图像的所述选定部分执行所述图像辨识。
10.一种用于确定图像传感器设置的设备，其包括：
光检测和测距LiDAR传感器(102)；
用户界面(110；310)；以及
处理资源(104)，其耦合到所述LiDAR传感器和所述用户界面，其中所述处理资源经配置以：
经由所述LiDAR传感器接收指示与对象相关联的方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令；
接收指示表示数个相片的数据的第二信令；
至少部分地基于所述第一信令表示或所述第二信令中的至少一者或其任何组合来生成表示数个图像传感器设置(228)的数据；
将指示表示所述数个图像传感器设置的所述数据的第三信令传输到所述用户界面；以及
在所述用户界面处且至少部分地基于所述第三信令来显示表示所述数个图像传感器设置的所述数据。
11.根据权利要求10所述的设备，其中表示所述数个图像传感器设置的所述数据包含：
调整取景的建议(332)；以及
焦点、亮度、对比度、相机模式、相机类型、闪光灯和/或曝光长度中的至少一者或其任何组合。
12.根据权利要求10到11中任一项所述的设备，其另外包括全球定位系统GPS(114)，其中所述GPS经配置以：
生成表示所述设备的方位的数据；以及
将指示表示所述设备的所述方位的所述数据的第四信令传输到所述处理资源。
13.根据权利要求12所述的设备，其中所述处理资源经配置以：
在互联网上搜索在离所述设备的所述方位某一特定距离内拍摄的相片；以及
响应于在互联网上找到在离所述设备的所述方位所述特定距离内拍摄的所述相片而接收指示表示所述数个相片的所述数据的所述第二信令。
14.根据权利要求10到11中任一项所述的设备，其包括存储器(108)，其中所述存储器经配置以响应于从所述处理资源接收到请求而将所述数个相片从所述存储器传输到所述处理资源。
15.根据权利要求10到11中任一项所述的设备，其中所述处理资源经配置以：
从图像传感器(112)接收指示表示图像的数据的第四信令；
在互联网上搜索与所述图像的一部分匹配的相片；以及
响应于在互联网上找到与所述图像的所述部分匹配的所述相片而接收指示表示所述数个相片的所述数据的所述第二信令。
16.根据权利要求10到11中任一项所述的设备，其中所述用户界面经配置以：
显示多个相片；
从所述设备的用户接收对所述多个相片中的所述数个相片的选择；以及
将指示表示所述数个相片的所述数据的所述第二信令传输到所述处理资源。
17.一种用于确定图像传感器设置的设备，其包括：
光检测和测距LiDAR传感器(102)；
图像传感器(112)；
用户界面(110；310)；以及
处理资源(104)，其耦合到所述LiDAR传感器、所述图像传感器和所述用户界面，其中所述处理资源经配置以：
经由所述LiDAR传感器接收指示与对象相关联的方位数据、高程数据或光能量强度数据中的至少一者或其任何组合的第一信令；
经由所述图像传感器接收指示表示所述对象的图像的数据的第二信令；
接收指示表示数个相片的数据的第三信令；
至少部分地基于所述第一信令、所述第二信令或所述第三信令中的至少一者或其任何组合来生成表示数个图像传感器设置(228)的数据；
将指示表示所述数个图像传感器设置的所述数据的第四信令传输到所述图像传感器；以及
在所述图像传感器处且至少部分地基于所述第四信令调整表示所述数个图像传感器设置的所述数据。
18.根据权利要求17所述的设备，其中表示所述数个图像传感器设置的所述数据包含亮度、对比度、相机模式、相机类型、闪光灯或曝光长度中的至少一者，或其任何组合。
CN202210389147.9A 2021-06-04 2022-04-13 使用lidar确定图像传感器设置 Pending CN115511950A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/339,040 2021-06-04
US17/339,040 US11663804B2 (en) 2021-06-04 2021-06-04 Determining image sensor settings using LiDAR

Publications (1)

Publication Number Publication Date
CN115511950A true CN115511950A (zh) 2022-12-23

Family

ID=84102087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210389147.9A Pending CN115511950A (zh) 2021-06-04 2022-04-13 使用lidar确定图像传感器设置

Country Status (3)

Country Link
US (1) US11663804B2 (zh)
CN (1) CN115511950A (zh)
DE (1) DE102022110280A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9996976B2 (en) 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US10620807B2 (en) 2015-09-16 2020-04-14 Lenovo (Singapore) Pte. Ltd. Association of objects in a three-dimensional model with time-related metadata
US10829911B2 (en) * 2018-09-05 2020-11-10 Deere & Company Visual assistance and control system for a work machine

Also Published As

Publication number Publication date
US11663804B2 (en) 2023-05-30
US20220394172A1 (en) 2022-12-08
DE102022110280A1 (de) 2022-12-08

Similar Documents

Publication Publication Date Title
US10713469B2 (en) Intelligent auto cropping of digital images
US10264177B2 (en) Methods and systems to obtain desired self-pictures with an image capture device
EP3320397B1 (en) System and method for controlling capture of images
US9661214B2 (en) Depth determination using camera focus
EP2225607B1 (en) Guided photography based on image capturing device rendered user recommendations
EP3704508B1 (en) Aperture supervision for single-view depth prediction
US11388334B2 (en) Automatic camera guidance and settings adjustment
US10089762B2 (en) Methods for navigating through a set of images
US9141848B2 (en) Automatic media distribution
CN115511950A (zh) 使用lidar确定图像传感器设置
CN110503123B (zh) 图像定位方法、装置、计算机设备和存储介质
WO2020211003A1 (zh) 图像处理方法、计算机可读存储介质和计算机设备
KR102619846B1 (ko) 촬영 구도 제안을 위한 전자 장치, 전자 장치의 촬영 구도 제안 방법
CN111429377B (zh) 一种图像处理方法及终端、存储介质
JP7393133B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体
US9058674B1 (en) Enhancing resolution of single images
TW201913562A (zh) 全景影像生成裝置及方法
US11445121B2 (en) Movable photographing system and photography composition control method
AU2023202429A1 (en) Image rotation
Jung et al. A Suggestion of Image’s Position Analysis System Using Beacon Positioning
CN110730297A (zh) 一种照片数据处理方法、系统、装置和存储介质
KR20120137973A (ko) 포토북 제작용 이미지 컨텐츠 생성 기능을 포함하는 휴대용 단말기 및 이를 이용한 포토북 제작용 이미지 컨텐츠 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination