CN110168606A - 从实体物品生成合成图像 - Google Patents

从实体物品生成合成图像 Download PDF

Info

Publication number
CN110168606A
CN110168606A CN201680083169.5A CN201680083169A CN110168606A CN 110168606 A CN110168606 A CN 110168606A CN 201680083169 A CN201680083169 A CN 201680083169A CN 110168606 A CN110168606 A CN 110168606A
Authority
CN
China
Prior art keywords
image
pixel value
camera
subsequent
physical item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680083169.5A
Other languages
English (en)
Other versions
CN110168606B (zh
Inventor
朱丽亚·温
大卫·利布
埃里克·亨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110168606A publication Critical patent/CN110168606A/zh
Application granted granted Critical
Publication of CN110168606B publication Critical patent/CN110168606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183—Photography assistance, e.g. displaying suggestions to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种计算机实现的方法，包括在第一相机位置用相机捕获实体物品的第一图像，基于第一图像，检测与实体物品关联的边界，生成包括多个对象的叠加层，多个对象位于与实体物品关联的一个以上的边界之内，用相机捕获实体物品的后续图像，其中在相应的后续相机位置捕获每个后续图像，以及在捕获后续图像期间，显示包括叠加层的图像预览。该方法进一步包括建立第一图像的像素和每个后续图像的像素之间的对应关系，并且生成实体物品的合成图像，其中合成图像的每个像素值是基于第一图像和后续图像的对应像素值。

Description

从实体物品生成合成图像
相关申请的交叉引用
本申请要求2016年6月8日提交的名称为“从实体对象生成电子图像”的美国临时专利申请No.62/347,572的优先权，通过引用将其全部内容结合在此。
背景技术
人们经常拥有纪念他们生活中的重要事件的实体照片。将实体照片转换为电子版本可能是有利的。例如，因为人们可能丢失实体照片或者实体照片可以受到毁坏，所以实体照片是易损的。人们可能更喜欢他们可以共享、搜索、以及将其组织成电子相册的电子版本。然而，可能难以将实体照片转换为吸引人的图像。
当用相机捕获实体照片的图像时，光可能被实体照片反射，并且可能以图像包括眩光的方式被相机捕获。由于光源、实体照片、以及相机的相对位置，可能出现眩光。眩光还可能是由图像捕获期间使用闪光所致。因为在有眩光的部分中缺少图像细节，所以眩光被理解为低品质图像。例如，图1图示了如何由于在捕获的时候在实体照片上的高处的光源而导致转换图像100可能包括眩光101。
这里提供的背景技术说明是为了大体呈现本公开的背景。在这个背景技术部分中描述的程度的当前署名的发明人的工作、以及在提交的时候可能没有另外作为现有技术的说明书的方面既不明确地也不隐含地被承认作为针对本公开的现有技术。
发明内容
实施方式大体涉及生成合成图像的计算机实现的方法。该方法包括在第一相机位置用相机捕获实体物品的第一图像。该方法进一步包括检测与所述实体物品关联的边界。该方法进一步包括基于所述第一图像，生成叠加层，所述叠加层包括位于与所述实体物品关联的一个以上的所述边界之内的多个对象。该方法进一步包括用所述相机捕获所述实体物品的后续图像，其中在相应的后续相机位置捕获每个后续图像。该方法进一步包括在捕获所述后续图像期间，显示包括所述叠加层的图像预览。随着所述相机移动，所述多个对象在所述叠加层中保持固定。响应于在每个相应的后续相机位置捕获预定数量的后续图像，更新所述多个对象中的一个对象的属性。更新所述多个对象的所述属性对应于捕获的完成。该方法进一步包括建立第一图像的像素和每个后续图像的像素之间的对应关系。该方法进一步包括生成所述实体物品的合成图像，其中，所述合成图像的每个像素值是基于所述第一图像和所述后续图像的对应的像素值。
在一些实施方式中，叠加层进一步包括标线，该标线响应于移动相机而移动，并且响应于至少一部分标线与对象重叠而捕获后续图像。在一些实施方式中，所述叠加层进一步包括箭头，所述箭头指向移动所述标线的方向。在一些实施方式中，响应于所述第一图像的尺寸超过预定阈值，将所述叠加层分割成为多个部分，并将所述多个对象中的每个对象放置在各个部分的中心。在一些实施方式中，响应于与第一图像的检测关联的至少一个置信度值超过阈值置信度值，将所述叠加层分割成为多个部分，并将所述多个对象中的每个对象放置在各个部分的中心。在一些实施方式中，属性是颜色，并且更新所述多个对象的所述颜色使得完成的指示出现。在一些实施方式中，响应于更新所述多个对象中的所述对象的所述属性，从所述叠加层移除所述对象。在一些实施方式中，所述合成图像的每个像素值是所述第一图像和所述后续图像的所述对应的像素值中的最小值。在一些实施方式中，生成所述合成图像进一步包括为所述合成图像的每个像素值，选择试验像素值，并且将所述试验像素值与像素的周围像素值进行比较，以确认所述周围像素值中的每个周围像素值在所述试验像素值的阈值差之内，所述像素围绕对应于所述像素值的像素。在一些实施方式中，响应于所述试验像素值和所述周围像素值中的一个周围像素值之间的差超过所述阈值差，将所述试验像素值修改为在所述阈值差之内。
在一些实施方式中，系统包括一个以上的处理器和存储由一个以上的处理器执行的指令的内存该指令包括：用相机捕获实体物品的第一图像，显示第一图像，且彩色叠加层在第一图像的第一部分之上，捕获实体物品的一个以上的后续图像，其中随着相机相对于实体物品移动而捕获每个后续图像，在捕获每个后续图像期间，显示第一图像，且彩色叠加层在第一图像的第二部分之上，其中第二部分包括第一部分以及基于相机的移动确定的附加部分，建立第一图像的像素和一个以上的后续图像中的每个后续图像的像素之间的对应关系，并且生成实体物品的合成图像，其中合成图像的每个像素值是基于第一图像和一个以上的后续图像的对应像素值。
在一些实施方式中，该指令进一步包括将第一图像转换为预设纵横比，响应于第一图像是倒置和侧向中的至少一个将第一图像修改为正面朝上，以及采用白平衡来校正第一图像的成分。在一些实施方式中，所述叠加层进一步包括目标，所述目标被放置为指示移动所述相机的方向。在一些实施方式中，所述目标随着所述相机移动而移动。
在一些实施方式中，该方法可以包括用相机捕获在第一相机位置的实体物品的第一图像的手段。该方法可以进一步包括检测与所述实体物品关联的边界的手段。该方法可以进一步包括基于所述第一图像生成叠加层的手段，所述叠加层包括位于与所述实体物品关联的一个以上的所述边界之内的多个对象。该方法可以进一步包括用所述相机捕获所述实体物品的后续图像的手段，其中在各自的后续相机位置捕获每个后续图像。该方法可以进一步包括在捕获所述后续图像期间，显示包括所述叠加层的图像预览的手段。随着所述相机移动，所述多个对象在所述叠加层中保持固定。响应于在各自的后续相机位置捕获预定数量的后续图像，更新所述多个对象中的一个对象的颜色。更新所述多个对象的颜色对应于捕获的完成。该方法可以进一步包括建立第一图像的像素和每个后续图像的像素之间的对应关系的手段。该方法可以进一步包括生成所述实体物品的合成图像的手段，其中，所述合成图像的每个像素值是基于所述第一图像和所述后续图像的对应的像素值。
如下所述的系统和方法有利地解决了由捕获实体物品的图像而产生的眩光和伪像的问题。此外，如下所述的系统和方法可以减少或者消除模糊，模糊来自于捕获图像时晃动的手。
本申请的技术优势是如下所述的系统和方法生成用户界面，该用户界面为用户提供捕获图像的指导，这导致生成高品质的合成图像。例如，用户界面提供实体物品和捕获图像的移动装置之间的最佳距离的指示。此外，用户界面提供调整移动装置的朝向的指示，以致例如通过将移动装置放置为平行于实体物品的平面，捕获的图像不具有梯形伪像。
此外，通过创建捕获图像的游戏，系统和方法避免为用户提供关于如何捕获实体物品的图像的复杂的指令。用户界面引导用户水平地和竖直地移动该移动装置，以便捕获后续图像。例如，用户可以享受移动移动装置，以用标线覆盖叠加层中的圆点。在另一个示例中，用户可以享受移动移动装置，使得看起来像是将颜色喷漆到图像上。在捕获图像的同时，用户界面还引导用户缓慢地移动该移动装置，以防止捕获模糊的图像。
另一个技术优势是，系统和方法通过生成合成图像来消除眩光和伪像。例如通过相对于实体物品移动相机，从不同的相机位置捕获实体物品的多个图像。捕获的图像被组合，并且从捕获的图像选择像素值，以减少或者消除眩光。合成图像包括从实际捕获的图像确定的像素值，并且该像素值不与可能本身包括眩光的相邻像素值近似。
又一个技术优势是，可以以任何照明条件进行图像捕获，并且不需要指定的光源配置、相机和实体物品。此外，系统和方法可以由移动装置进行，而不是由专用设备进行，诸如平板扫描仪。
附图说明
通过举例而不是通过限制附图中的图来图示本公开，在附图中，相同的参考数字用于引用类似的元件。
图1图示了现有技术的照片的图形表示。
图2图示了根据一些实施方式的从实体物品生成合成图像的示例系统的方框图。
图3图示了根据一些实施方式的从实体物品生成合成图像的示例计算装置的方框图。
图4A图示了包含四个圆点的图像的图形表示，四个圆点各自在检测到的象限中。
图4B图示了显示叠加层和纵向图像的移动装置的图形表示。
图4C图示了显示叠加层和歪的图像的移动装置的图形表示。
图4D图示了显示叠加层和小图像的移动装置的图形表示。
图4E图示了显示叠加层并且无图像的移动装置的图形表示。
图4F图示了显示叠加层和成一定角度的图像的移动装置的图形表示。
图4G图示了显示叠加层和横向图像的移动装置的图形表示。
图5A图示了显示叠加层的移动装置的图形表示，叠加层具有四个对象和标线。
图5B图示了显示标线围绕第一对象的叠加层的移动装置的图形表示。
图5C图示了显示标线围绕第二对象的叠加层的移动装置的图形表示。
图5D图示了显示标线围绕第三对象的叠加层的移动装置的图形表示。
图5E图示了显示标线围绕第四对象的叠加层的移动装置的图形表示。
图5F图示了显示捕获处理完成的移动装置的图形表示。
图6A图示了根据一些实施方式的显示在图像的第一部分之上的彩色叠加层的移动装置的图形表示。
图6B图示了根据一些实施方式的彩色叠加层在图像的第二部分之上的示例用户界面的图形表示。
图6C图示了根据一些实施方式的彩色叠加层在全部图像之上的示例用户界面的图形表示。
图7图示了根据一些实施方式的从实体物品生成合成图像的示例方法的流程图。
图8图示了根据一些实施方式的从实体物品生成合成图像的另一个示例方法的流程图。
具体实施方式
在一些实施方式中，相机捕获实体物品的第一图像。例如，该实体物品是照片。与该实体物品关联的边界被检测到。例如，照片一般形状像矩形，并且边界可能是矩形。可以基于第一图像来生成叠加层，该第一图像包括对象以及标线，其中该对象位于与该实体物品关联的边界之内。例如，第一图像包括位于矩形的边缘的四个蓝色圆点及在中心的标线。
实体物品的后续图像被捕获，其中利用相应的后续相机位置捕获每个后续图像。例如，用户可能倾斜并且转动相机，以不同的角度捕获后续图像。在后续图像的捕获期间，显示包括叠加层的图像预览。随着相机移动，多个对象仍然固定在该叠加层中。标线响应于移动相机而移动。响应于至少一部分标线与对象中的一个重叠而捕获后续图像。例如，用户可以移动相机到左下角的对象。
响应于在每个相应的后续相机位置的预定数量的后续图像的捕获，更新对象的属性。例如，蓝色圆点改变为灰色圆点。响应于移动标线直到多个对象的属性被更新，捕获的完成发生。例如，用户将标线从第一对象移动到右下角的第二对象，然后移动到右上角的第三对象，然后移动到左上角的第四对象。一旦所有的对象改变为灰色，捕获就完成了。在一些实施方式中，在对象的颜色被更新之后，完成的指示出现。例如，显示有钩形符号的绿色圆圈。
示例系统
图2图示了生成合成图像的示例系统200的方框图。图示的系统200包括媒体服务器111、移动装置115a、115n、以及网络105。用户125a，125n可以与各自的移动装置115a，115n关联。在一些实施方式中，系统200可以包括图1没有显示的其他服务器或装置。在图1和其余图中，参考数字之后的字母，例如“115a”表示对具有特定参考数字的元件的引用。本文中没有跟随字母的参考数字，例如“115”，表示对于承担那个参考数字的元件的实施方式的一般引用。
在图示的实施方式中，系统200的实体经由网络105被通信地耦接。网络105可以是常用类型、有线或者无线，并且可以具有众多不同的配置，包含星形配置、令牌环配置或者其他配置。此外，网络105可以包含局域网(LAN)、广域网(WAN)(例如，因特网)、和/或多个装置可以经过其进行通信的其他互连的数据通路。在一些实施方式中，网络105可以是对等网络。网络105还可以被耦接到远程通信网的一部分或者包括远程通信网的一部分，远程通信网的一部分用于以各种不同的通信协议发送数据。在一些实施方式中，网络105包括用于发送和接收数据的通信网络、或者蜂窝式通信网络，发送和接收数据包括经由短消息服务(SMS)、多媒体消息服务(MMS)、超级文本传输协议(HTTP)、直接数据连接、电子邮件等等。尽管图1图示了耦接到移动装置115和媒体服务器111的一个网络105，但是实际上一个以上的网络105可以被耦接到这些实体。
媒体服务器111可以包括处理器、内存和网络通信能力。在一些实施方式中，媒体服务器111是硬件服务器。媒体服务器111经由信号线102被通信地耦接到网络105。信号线102可以是有线连接，诸如以太网、同轴电缆、光纤电缆等等，或者可以是无线连接，诸如 或者其他无线技术。在一些实施方式中，媒体服务器111经由网络105发送数据给一个以上的移动装置115a，115n，并从一个以上的115a，115n接收数据。媒体服务器111可以包含媒体应用103a和数据库199。
媒体应用103a可以是可操作为生成合成图像的代码和例行程序。在一些实施方式中，可以使用硬件来实现媒体应用103a，该硬件包括现场可编程门阵列(FPGA)或者专用集成电路(ASIC)。在一些实例中，可以使用硬件和软件的组合来实现媒体应用103a。
数据库199可以存储由与移动装置115关联的用户125捕获的图像以及从该图像生成的合成图像。在一些实施方式中，数据库199可以存储不依赖于移动装置115而生成的合成图像。数据库199还可以存储与用户125关联的社交网络数据、用户125的用户偏好等等。
移动装置115可以是包括内存、硬件处理器、以及相机的计算装置。例如，移动装置可以包含平板电脑、移动电话、可穿戴装置、头戴式的显示器、移动电子邮件装置、便携式游戏机、便携式音乐播放器、阅读装置、或者能够访问网络105的其他电子装置。
在图示的实施方式中，移动装置115a经由信号线108被耦接到网络105，并且移动装置115n经由信号线110被耦接到网络105。信号线108和110可以是有线连接，诸如以太网、同轴电缆、光纤电缆等等，或者可以是无线连接，诸如 或者其他无线技术。移动装置115a，115n分别被用户125，125n访问。图1中的移动装置115a、115n用于示例。虽然图1图示了两个移动装置115a和115n，但是本公开适用于具有一个以上的移动装置115的系统结构。
在一些实施方式中，用户装置115可以是包含在用户125穿戴的可穿戴装置中的移动装置。例如，移动装置115被包含作为夹子(例如，表带)的一部分、首饰的一部分、或者一副眼镜的一部分。在另一个实例中，移动装置115可以是智能手表。用户125可以从用户125穿戴的装置的显示器查看来自媒体应用103的图像。例如，用户125可以在智能手表或者智能表带的显示器上查看图像。
在一些实例中，媒体应用103b可以被存储在移动装置115a上。媒体应用103可以包括存储在移动装置115a上的瘦客户端媒体应用103b以及存储在媒体服务器111上的媒体应用103a。例如，存储在移动装置115a上的媒体应用103b可以捕获被传送到存储在媒体服务器111上的媒体应用103a的图像，在该媒体应用103a，合成图像从该图像被生成。媒体应用103a可以将合成图像传送到媒体应用103b，用于显示在移动装置115a上。在另一个示例中，存储在移动装置115a上的媒体应用103b可以生成合成图像，并将该合成图像传送到存储在媒体服务器111上的媒体应用103a。存储在媒体服务器111上的媒体应用103a可以包括与存储在移动装置115a上存储的媒体应用103b相同的部件或者不同的部件。
在这里讨论的系统和方法可以收集或者使用关于用户的个人信息(例如，用户数据，关于用户的社交网络的信息，用户的位置，用户的生物信息，用户的活动和人口统计信息，媒体服务器存储和分析视频)的情形中，为用户提供控制是否收集信息、是否存储个人信息、是否使用个人信息、是否分析视频、以及如何收集、存储和使用关于用户的信息的机会。也就是说，仅在从相关的用户接收这样做的明确授权，这里讨论的系统和方法才收集、存储、和/或使用用户个人信息。例如，为用户提供对程序或者特性是否收集与特定用户或者与该程序或者特征有关的其他用户有关的用户信息的控制。将被收集个人信息的每个用户被呈现有允许控制与那个用户有关的信息收集的一个以上的选项，以便提供是否收集信息以及要收集信息的哪个部分的许可或者授权。例如，可以通过通信网络为用户提供一个以上的这种控制选项。此外，某个数据在被存储或者使用之前，可以以一个以上的方式被处理，以便去除个人可识别的信息。作为一个示例，用户的身份信息可以被处理，例如，被匿名，没有个人可识别的信息可以从视频被确定。作为另一个示例，用户的地理位置可以被概括为较大的区域，以使用户的特定位置不能被确定。
示例计算装置
图3图示了生成合成图像的示例计算装置300的方框图。计算装置300可以是媒体服务器111或者移动装置115。计算装置300可以是处理器235、内存237、通信单元239、显示器241、相机243、传感器245、和存储装置247。可以存在附加的部件或者一些先前的部件可以依据计算装置300的类型而被省略。例如，如果计算装置300是媒体服务器111，那么计算装置300可以不包括显示器241、相机243或者传感器245。媒体应用103可以被存储在内存237中。在计算装置300是可穿戴装置的实施方式中，计算装置300可以不包括存储装置247。在一些实施方式中，计算装置300可以包含这里没有列出的其他部件，例如，电池等等。计算装置300的部件可以通过总线220被通信地耦接。
处理器235包括进行计算并提供指令给显示装置的算术逻辑单元、微处理器、通用控制器或者一些其他处理器阵列。处理器235处理数据，并且可以包含各种计算架构，各种计算架构包括复杂指令集计算机(CISC)架构、精简指令集计算机(RISC)架构、或者实现指令集的组合的架构。尽管图2包括单个处理器235，但是可以包含多个处理器235。其他处理器、操作系统、传感器、显示器和物理配置可以属于该计算装置300。处理器235经由信号线222被耦接到总线220，用于与其他部件通信。
内存237存储可以由处理器235执行的指令和/或数据。指令可以包含进行这里描述的技术的代码。内存237可以是动态随机存取存储器(DRAM)装置、静态随机存取存储器(静态RAM)或者一些其他存储装置。在一些实施方式中，内存237还包括诸如(SRAM)装置或者闪存的非易失性存储器，或者类似的永久存储装置和介质，类似的永久存储装置和介质包括硬盘驱动器、光盘只读存储器(CD-ROM)装置、DVD-ROM装置、DVD-RAM装置、DVD-RW装置、闪存装置、或者用于以更加永久的方式存储信息的一些其他的海量存储装置。内存237包括可操作为执行媒体应用103的代码和例行程序，以下将更加详细地描述。内存237经由信号线224被耦接到总线220，用于与其他部件通信。
依据媒体应用103被存储的地方，通信单元239传送数据到移动装置115和媒体服务器111中的至少一个，并且从移动装置115和媒体服务器111中的至少一个接收数据。在一些实施方式中，通信单元239包括直接物理连接到网络105或者另一个通信信道的端口。例如，依据媒体应用103被存储的地方，通信单元239包括用于与移动装置115或者媒体服务器111有线通信的通用串行总线(USB)，安全数字(SD)，5类电缆(CAT-5)，或者类似的端口。在一些实施方式中，通信单元239包括使用一个以上的无线通信方法与移动装置115、媒体服务器111，或者其他通信信道交换数据的无线收发器，一个以上的无线通信方法包括IEEE802.11、IEEE802.16，或者另一个合适的无线通信方法。通信单元239被经由信号线226耦接到总线220，用于与其他部件通信。
在一些实施方式中，通信单元239包括用于通过蜂窝式通信网络来发送和接收数据的蜂窝式通信收发器，发送和接收数据包括经由短消息服务(SMS)、多媒体消息服务(MMS)、超级文本传输协议(HTTP)、直接数据连接、电子邮件或者另一个合适类型的电子通信。在一些实施方式中，通信单元239包括有线端口和无线收发器。使用标准网络协议，通信单元239还提供到网络105的其他传统的连接,用于文件和/或媒体对象的分配，标准网络协议包括但不限于用户数据报协议(UDP)、TCP/IP、HTTP、HTTP安全(HTTPS)、简单邮件传输协议(SMTP)、SPDY、快速UDP因特网连接(QUIC)等等。
显示器241可以包含可操作为显示从媒体应用103接收的图形数据的硬件。例如，显示器241可以渲染图形以显示叠加层和由此产生的合成图像。显示器241经由信号线228被耦接到总线220，用于与其他部件通信。
相机243可以包括可操作为捕获实体物品的图像的硬件。例如，相机243可以包括透镜、传感器和图像信号处理器。透镜可以捕获光学图像。传感器可以将光学图像转换为电信号。图像信号处理器可以对该电信号进行去马赛克，以确定像素颜色并且控制图像效果，诸如自动聚焦，曝光和白平衡。相机243可以将该图像传送给媒体应用103或者存储装置247。相机243可以经由信号线230被耦接到总线220。
传感器245可以包括可操作为确定移动装置115的位置变化的硬件。例如，传感器245可以包括测量沿着x，y，和z轴的加速力和旋转力的运动传感器，诸如加速计和陀螺仪。传感器245还可以包括测量移动装置115的物理位置的位置传感器，诸如朝向传感器和磁力计。传感器245经由信号线232被耦接到总线220，用于与其他部件通信。
存储装置247可以是存储数据的非临时性计算机可读存储介质，该数据提供这里描述的功能。在计算装置300是媒体服务器111的实施方式中，存储装置247可以包含图1中的数据库199。存储装置247可以是DRAM装置、SRAM装置、闪存或者一些其他存储装置。在一些实施方式中，存储装置247还包括非易失性内存或者类似的永久存储装置和介质，包括硬盘驱动器、CD-ROM装置、DVD-ROM装置、DVD-RAM装置、DVD-RW装置、闪存装置、或者用于以永久的方式存储信息的一些其他海量存储装置。存储装置247经由信号线234被耦接到总线220，用于与其他部件通信。
媒体应用103可以包含捕获模块202、用户界面模块204和合成模块206。
捕获模块202处理相机243捕获的图像。在一些实施方式中，捕获模块202包括处理器235可执行的处理图像的一组指令。在一些实施方式中，图像处理模块202被存储在计算装置300的存储器237中，并且可以被处理器235访问和执行。
捕获模块202从相机243接收处于第一相机位置的实体物品的第一图像。例如，包括相机243的移动装置115的用户将移动装置115放置在实体物品之上，并且选择捕获第一图像的选项。实体物品例如可以包括照片、广告栏、文献、饭店菜单等等。
捕获模块202可以进行第一图像的处理。例如，捕获模块202可以修剪第一图像或者修改第一图像，以适合特定的纵横比。纵横比例如可以包括1：1，4：3，16：9等等。捕获模块202可以识别第一图像的方向(例如，倒置的、侧向的等等)，并且将第一图像转动到正面朝上。捕获模块202可以采用白平衡来校正第一图像的成分。
捕获模块202检测与实体物品关联的边界。例如，捕获模块202可以确定该实体物品具有带四条边界的矩形形状。其它形状是可以的。例如，实体物品可以具有三角形的形状，正方形形状，圆形，椭圆形，菱形形状等等。用户界面模块204可以包括关于如何将移动装置115放置在实体物品之上的用户指令。例如，该指令可以包括如下文本：“放置你的照片使得所有的四个角可以被看到。”这可以帮助捕获模块202检测边界。
捕获模块202指示该用户界面模块204显示具有对象的叠加层，该对象位于与实体物品关联的边界之内。在一些实施方式中，捕获模块202将第一图像分割成为多个部分，并且指示用户界面模块204显示具有对象的叠加层，每个对象在一个部分的中心。例如，照片可以被分割成为象限，每个象限可以包括处于每个象限的中心的圆点。在另一个示例中，第一图像可以被分割成为不同个数的部分，诸如五个部分，或者三角形形状的实体物品可以被分割成为三个不同形状的部分等等。图4A图示了包含四个圆点405a、405b、405c、405d的图像的图形表示400，这些圆点各自在检测到的象限410a、410b、410c、410d中。对象可以包括各种不同的形状，诸如圆形，椭圆，正方形，矩形，平行四边形等等。
捕获模块202可以确定第一图像的尺寸。在一些实施方式中，捕获模块202可以将第一图像的尺寸确定为移动装置115的屏幕的面积的比例。如果第一图像的尺寸超过预定阈值，那么捕获模块202可以指示用户界面模块204显示叠加层，该叠加层被分割成为多个部分，一个对象处于一个部分的中心。如果第一图像的尺寸没有超过预定阈值，那么捕获模块202可以指示用户界面模块204包括具有默认对象的叠加层，默认对象诸如是圆点。该默认对象可以不与第一图像的分割部分对齐，但是可以帮助引导用户定位移动装置115来捕获后续图像，用于创建合成图像。在一些实施方式中，如果默认对象导致了包括无关内容的合成图像，无关内容诸如是实体物品后面的背景，那么用户界面模块204可以包括用于裁剪掉该无关内容的修剪选项。
捕获模块202可以分配与第一图像的检测关联的置信度值。置信度值可以反映实体物品的边界的检测的置信度。如果该置信度值超过预定阈值，那么捕获模块202可以指示用户界面模块204显示叠加层，该叠加层被分割成为多个部分，一个对象处于一个部分的中心。如果该置信度值没有超过阈值置信度值，那么捕获模块202可以指示用户界面模块204包括具有默认对象的叠加层。在一些实施方式中，该叠加层可以基于第一图像的尺寸以及与第一图像关联的置信度值的组合被分割成为多个部分。
在一些实施方式中，该叠加层包括标线。标线可以形式各种形状，然而，该标线被显示作为轮廓。该标线可以保持固定尺寸，而不管叠加层中的对象的尺寸。在一些实例中，标线响应于用户移动移动装置115而移动。移动标线以使一些或者所有标线与一个对象重叠使得移动装置115捕获后续图像。例如，在第一图像被分割成为四个象限的情况，移动标线从而与四个圆点重叠，结果四个后续图像被移动装置115捕获。随着移动装置115被移动，对象可以仍然在叠加层中的固定位置(例如，相对于实体物品的显示图像)。对象的尺寸可以依据移动装置115和实体物品之间的距离而变化。例如，对象的尺寸可以随着移动装置115移动到更接近实体物品而增加，以充当移动装置115有多接近实体物品的导向。与如果用户使得移动装置115进一步远离实体物品相比，引导用户将移动装置115移动到更接近实体物品有利地确保图像是高品质的。
图4B图示了显示叠加层426和图像的移动装置的图形表示425。在这个示例中，标线427被包含在叠加层426的中心，作为起始点。一旦捕获第一图像，用户界面模块204就显示包括该叠加层的图像预览。移动移动装置428使得标线427移动。在标线427移动的同时，对象429a、429b、429c和429d保持不动。结果，标线427可以被移动为围绕或者重叠对象429a、429b、429c和429d。
在一些实施例中，一旦标线427围绕对象429或者与对象429重叠，该标线427就被图示为旋转框，该旋转框渐进地改变颜色，以图示移动装置115在每个相应后续相机位置捕获预定数量的后续图像所需的时间量。例如，在移动装置115位于每个相应后续相机位置的同时，相机243可以为每个象限捕获高品质的后续图像。在一些实施方式中，相机243可以捕获后续图像，直到除了捕获预定数量的后续图像之外的事件。例如，相机243可以捕获后续图像，直到捕获模块202确定后续图像与超过预定值的品质分数关联、已经经过预定时间量等等。
在相机243捕获预定数量的后续图像的同时，标线427可以从完全白色轮廓切换为一部分白色轮廓改变为蓝色(或者另一个颜色)，并且以顺时针方向渐进地变得更多蓝色直到已经经过预定时间量、捕获预定数量的后续图像、或者捕获模块202从相机243接收指示已经捕获后续图像的信号。在一些实施方式中，一旦捕获后续图像，标线427围绕或者重叠的对象429的属性就改变。例如，对象可以改变颜色，对象可以闪光，或者对象可以改变尺寸。当对象的属性改变时，它可以发出对应部分的捕获完成的信号。例如，在图4B中，标线427围绕第一对象429a直到捕获用于第一象限的后续图像，并且对象429a的颜色从灰色改变为蓝色。在一些实施方式中，在相机243已经结束捕获后续图像或者多个后续图像之前，用户移动相机243远离实体物品的情况下，捕获模块202可以指示用户界面模块204将标线保持为白色，作为对于对应对象，捕获需要被重复的指示。在一些实施方式中，如果用户没有移动相机243以利用标线围绕一个对象超过预定时间量，诸如10秒，那么可以取消捕获，并且捕获模块202指示用户界面模块204为用户显示重新开始捕获的指令。例如，该指令可以包括：“扫描取消。移动圆圈到圆点以完成下一次扫描。”
在一些实施方式中，叠加层中的对象平行于检测到的边界。因此，如果实体物品以一定角度被捕获，那么叠加层中的对象可以以同样的角度被显示。例如，图4C图示了显示叠加层和歪的图像的移动装置433的图形表示430。因为在对象432基于图像的尺寸而改变尺寸的同时，标线431是固定尺寸，所以标线431和对象432之间的尺寸差为用户提供图像太小并且移动装置433要被移动到更接近照片的可视指示符。
在一些实施方式中，如果捕获模块202确定图像的尺寸没有超过预定阈值，那么捕获模块202可以指示用户界面模块204显示默认对象和/或从叠加层省略标线。例如，图4D图示了显示叠加层和小图像442的移动装置441的图形表示440。因为图像的尺寸没有超过预定阈值，所以对象443是默认对象。默认对象不在每个象限的中心，然而，移动装置115仍然可以捕获第一图像和后续图像。在另一个示例中，图4E图示了显示叠加层并且无图像的移动装置451的图形表示450。在这个示例中，即使没有图像被检测到，捕获模块202也指示用户界面模块204显示具有对象452的叠加层。
在一些实施方式中，叠加层中的对象可以随着移动装置115移动而改变形状。该形状可以用作给移动装置115的用户的移动该移动装置115以获得最佳图像的指示符。在一些实施方式中，如果移动装置115相对于实体物品被平铺超过20度，那么捕获模块202指示用户界面模块204显示默认对象。
图4F图示了显示叠加层和成一定角度的图像的移动装置461的图形表示460。在这个示例中，移动装置461相对于照片成一定角度。处于叠加层上部的对象462a、462b形成椭圆形，以指示移动装置461要被倾斜，从而使移动装置461平行于照片。在叠加层底部的对象463a、463b形成更接近圆圈的椭圆，以指示移动装置115底部位置应当只要被稍微地倾斜为平行于该照片。
捕获模块202检测具有不同形状和朝向的实体物品的边界。例如，图4G图示了显示叠加层和横向图像的移动装置471的图形表示470。捕获模块202对于图像的矩形形状识别象限，并且生成四个对象472，四个对象472各自位于每个象限的中心。
在一些实施方式中，捕获模块202指示用户界面模块204生成叠加层，该叠加层首先被显示在在一部分图像之上，并且随着移动装置115移动和相机243捕获后续图像而越来越多地覆盖图像。例如，叠加层可以是彩色叠加层，并且该处理可以被呈现作为游戏，在该游戏里用户好像喷涂实体物品那样移动该移动装置115。以下参考图6A-6C更加详细地讨论这些实施方式。
用户界面模块204生成用户界面。在一些实施方式中，用户界面模块204包括可由处理器235执行以生成用户界面的一组指令。在一些实施方式中，用户界面模块204被存储在计算装置300的内存237中，并且可以被处理器235访问和执行。
在一些实施方式中，用户界面模块204从捕获模块202接收生成用户界面的指令，该用户界面包括叠加层，该叠加层包括对象，该对象位于与实体物品的图像关联的一个以上的边界之内。随着相机243捕获实体物品的后续图像，其中利用相应的后续相机位置捕获每个后续图像，用户界面模块204显示包括叠加层的图像预览。随着相机移动，多个对象仍然固定在该叠加层中。响应于在每个相应的后续相机位置捕获预定数量的后续图像，用户界面模块204可以更新对象的属性，诸如改变对象的颜色，使得对象闪光，改变对象的尺寸等等。用户界面模块204可以继续更新后续对象的属性，直到所有的对象被更新，这对应于捕获的完成。在一些实施方式中，用户界面模块204还生成作为叠加层的一部分的标线，并且显示标线响应于移动装置115移动而移动。在这个示例中，在标线围绕对象或者与对象重叠之后，对象的颜色被更新，并且在每个相应后续相机位置捕获预定数量的后续图像出现。捕获第一图像和后续图像直到完成的处理图示在图5A-5F中，以下更加详细地讨论
图5A图示了显示在第一图像之上的叠加层的移动装置501的图形表示500，叠加层具有四个对象502a、502b、502c、502d和标线503。在这个示例中，捕获模块202检测到四个边界并且将第一图像分割成为象限。捕获模块202指示用户界面模块204生成包括叠加层的用户界面，该叠加层包括四个对象502a、502b、502c、502d，这些对象各自在或靠近一个象限的中心。捕获模块202指示用户界面模块204包括标线503。因为移动装置501平行于照片并且距离照片不远，所以标线503大于对象502，结果捕获是高品质图像的第一图像和后续图像。叠加层还包括箭头504，箭头504指向移动标线的方向。在这个示例中，箭头504指向叠加层的左下角中的第一对象502a。用户界面还包括停止图标505，该停止图标505响应于用户的选择而停止处理。例如，通过用户在停止图标505的位置触摸屏幕来选择停止图标505，可以中断处理或者完全地停止处理。停止图标505保持在用户界面之内的固定位置。
图5B图示了显示标线围绕第一对象502a或者与第一对象502a重叠的叠加层的移动装置501的图形表示510。在这个示例中，一旦标线503围绕第一对象502a，第一对象502a的尺寸就被放大，以为移动移动装置501的用户提供该标线503被辨认为围绕第一对象502的指示。此外，用户界面模块204更新第一对象502a和标线503为不同的颜色，诸如蓝色，以指示左下方象限的后续图像或者多个后续图像已经被捕获。
图5C图示了显示标线503包围第二对象502b的叠加层的移动装置501的图形表示520。在这个示例中，因为已经捕获第一对象对应象限的后续图像或者多个后续图像，所以从叠加层移除第一对象。箭头504指向标线503要围绕的下一个对象，下一个对象是第三对象502c。图5D图示了显示标线围绕第三对象502c的叠加层的移动装置501的图形表示530。图5E图示了显示标线围绕第四对象502d的叠加层的移动装置501的图形表示540。
图5F图示了显示捕获处理完成的移动装置501的图形表示550。在这个示例中，用户界面模块204用钩形符号图标551的形式的完成指示来替换第四对象。其他完成指示是可以的，诸如拇指向上图标、绿色、笑脸等等。用户界面模块204以诸如绿色圆圈的圆圈图标552的形式的另一个完成指示来替换停止图标。在这个示例中，合成模块206生成合成图像并且用户界面模块204显示合成图像图标553，该合成图像图标553表明合成图像被生成，并且在移动装置501是可用的(例如，被存储)。例如，合成图像可以被存储在相机胶卷、图像库、相机应用之内等等。
在一些实施方式中，用户界面模块204显示第一图像，彩色叠加层在第一图像的第一部分之上。例如，用户界面模块204生成用户界面，该用户界面包括第一图像以及在第一图像的底部(或者上部，中部等等)的彩色叠加层。颜色可以是任何颜色，诸如蓝色，黑色，绿色等等。捕获第一图像和后续图像直到完成的处理图示在图6A-6C中，以下更加详细地讨论。
转到图6A，图示了显示在图像的第一部分之上的彩色叠加层的移动装置601的图形表示600。在这个示例中，彩色叠加层包括大约40％的图像。彩色叠加层的上部用弧形602勾画。在这个示例中，彩色叠加层包括可以随着移动装置601移动而移动的目标604。例如，如果用户向上移动移动装置601，那么目标604可以向上移动。在一些实施方式中，目标604被放置成为用户指示移动该移动装置601的方向。例如，在这个示例中目标604可以为放置成为用户指示移动装置601应当被向上移动。
实体物品的一个以上的后续图像可以被捕获，其中随着相机243相对于实体物品移动而捕获每个后续图像。例如，用户可以从左到右、上下地、或者任何其他方向地移动移动装置115。在一些实施方式中，用户移动移动装置115，好像用户在实体物品之上进行喷涂那样。在一些实施方式中，用户移动移动装置115，以捕获移动目标。例如，彩色叠加层可以包括对象的图标，诸如蜜蜂，并且用户移动移动装置115以捕获该蜜蜂。用户界面模块204可以修改蜜蜂的位置，以确保移动装置115以捕获后续图像的方式移动，后续图像包括不同的转动和倾斜，以避免眩光或者光反射。
在捕获每个后续图像期间，第一图像可以被显示为彩色叠加层在第一图像的第二部分之上。第二部分可以包括第一部分以及基于相机的移动而确定的附加部分。转到图6B，图示了在图像的第二部分之上的彩色叠加层的图形表示650。在这个示例中，彩色叠加层覆盖大约90％的图像并且用弧形652来勾画。用户可能已经使用移动装置601的从左到右的运动来为第一图像着色。
转到图6C，图示了彩色叠加层在全部图像之上的示例用户界面的图形表示675。在这个示例中，在彩色叠加层覆盖大约100％的第一图像的情况下，彩色叠加层可以指示用户该喷涂处理完成。
在一些实施方式中，用户界面模块204生成包括选项的用户界面，该选项用于从合成图像生成电子相册。例如，用户可以使用为一盒旧照片生成合成图像的处理。用户界面模块204可以生成选项，该选项用于将合成图像组合成为不同的相册、将标题添加到每个合成图像、一旦用户同意就标记图像中的其他用户等等。用户界面模块204还可以生成选项，该选项用于编辑合成图像，诸如修剪、修改合成图像的样子(例如，改变色彩饱和度、曝光等等)，采用滤波器等等。
合成模块206生成合成图像。在一些实施方式中，合成模块206包括可由处理器235执行以生成合成图像的一组指令。在一些实施方式中，合成模块206被存储在计算装置300的内存237中，并且可以被处理器235访问和执行。
合成模块206确立第一图像的像素和每个后续图像的像素之间的对应关系。合成模块206可以使用单应性来确定第一图像和后续图像是如何相关的。例如，合成模块206可以基于图像之间的转动和平移来生成单应性矩阵。合成模块206可以使用光流来确定由相机243和实体物品之间的相对运动所造成的视运动(apparent motion)。例如，在捕获第一图像和后续图像期间，媒体应用103可以使用光流来确定，在相机243捕获两个图像时，运动出现在该两个图像之间。合成模块206可以使用光流来将图像上的眩光识别为移动部分。
合成模块206可以使用图像配准来将来自第一图像和后续图像的像素转换成为单个坐标系统。例如，合成模块206可以基于第一图像和后续图像生成坐标系统，该坐标系统映射每个像素的位置。合成模块206可以对于每个像素位置比较像素值，并且基于不同的因素选择对于该像素位置的像素值。例如，合成模块206可以确定一些像素值表示眩光。结果，因为其他的像素值或者多个像素值可能表示眩光，所以合成模块206可以选择与最深的像素对应的像素值，而不是眩光下面的颜色的像素值。在另一个示例中，合成模块206可能确定对于特定像素位置的像素值中没有一个像素值表示眩光。结果，合成模块206可以选择表示最亮像素的像素值，以使来自实体物品的更多的细节被表示在合成图像中。在一些实施方式中，合成模块206可以选择像素值来使由摇晃的手捕获图像所引起的模糊最小化。
合成模块206可以生成实体物品的合成图像，其中，基于第一图像和后续图像的对应的像素值来选择合成图像的每个像素值。在一些实施方式中，合成模块206使用传感器数据来使第一图像和后续图像互相对齐，以识别像素的位置。例如，合成模块206从移动装置115中的传感器245接收传感器数据，诸如来自陀螺仪、加速计等等的传感器数据，以便确定捕获期间的移动装置115的位置并且使用传感器数据来对齐图像。在一些实施方式中，基于图像的分割来对齐图像。在一些实施方式中，合成模块206使用检测到的边界来对齐第一图像和后续图像。
在一些实施方式中合成模块206通过选择对应的像素值的最小值来避免眩光。其他选项是可能的，诸如进行统计度量，该统计度量包括求像素值的平均值或者获得像素值的中值。
在一些实施方式中，合成模块206可以进一步通过选择试验像素值并且将试验像素值与每个周围的像素值进行比较来选择每个像素值，以便确认像素值是在互相的阈值差之内。如果试验像素值与一个以上的周围像素值相差超过阈值差，那么合成模块206可以选择在阈值差之内的不同的像素值。这可以确保像素值不包含异常像素值。
合成模块206可以组合第一图像和后续图像中每个位置的像素值，以形成合成图像。合成模块206可以将合成图像存储为图像格式的数据文件，诸如PNG，PG，GIF等等。在一些实施方式中，在生成合成图像之后，合成模块206丢弃第一图像和后续图像。在一些实施方式中，合成模块206将第一图像和后续图像存储在移动装置115或者媒体服务器101上。
示例概念影片
在一些实施方式中，媒体应用103从与用户关联的媒体生成概念影片。媒体应用103可以识别与用户关联的图像和/或视频，该图像和/或视频与特定概念关联。例如，一旦用户同意，媒体应用103就可以识别单个孩子延续一段时间，诸如延续五年的图像和/或视频。该概念可以是“他们快速长大”，并且图像和视频可以按照时间顺序组织，以显示孩子年龄增长。媒体应用103可以从该图像和/或视频生成影片，并且给影片添加音乐。例如，媒体应用103可以生成影片，该影片在图像和/或视频之间转变，并且诸如基于音乐的节拍，与音乐同步。媒体应用103可以选择抒情的且对应于通过观看孩子年龄增长而唤起的感觉音乐，诸如被设计为拉动心弦的抒情歌曲。
在另一个示例中，该概念可以是“夏季笑容”并且关于夏季最后一天，一旦用户同意，媒体应用103就可以从最近三个月的图像和/或视频中选择人们微笑的图像和/或视频。为该概念选择的音乐可以是传统上与夏季关联的歌曲。
示例媒体共享者
在一些实施方式中，媒体应用103可以使用户更容易共享媒体。媒体应用103可以生成用户界面，该用户界面为用户提供用户的媒体以及选择与其他用户共享的多个媒体项目的选项。在一些实施方式中，媒体应用103可以在每个媒体项目上提供指示符，用户可以选择该指示符来指示共享的愿望。例如，该指示符可以是圆圈或者方框，并且媒体应用103可以响应于用户通过触摸屏幕来选择媒体项目而添加钩形符号。
在一些实施方式中，媒体应用103可以为用户提供以多个方式共享媒体项目或者多个媒体项目的选项，多个方式包含不同类型应用。例如，媒体应用103可以为用户提供选项，以创建发送给另一个人的链接、生成可以与另一个人共享的共享相簿、添加媒体项目或者多个媒体项目到先前存在的共享相簿、或者与一个以上的消息传送应用、混乱(messing)应用、聊天应用、电子邮件应用、云计算存储、地图应用、文本编辑应用等等共享媒体项目或者多个媒体项目。在一些实施方式中，媒体应用103可以基于用户的使用频率、另一个人的使用频率等等来建议共享的模式。在一些实施方式中，在用户选择消息传送应用的情况下，媒体应用103可以提供用户列表以及这些用户的可用性的指示。
在一些实施方式中，媒体应用103可以为用户提供添加文本到媒体项目或者多个媒体项目的选项，诸如标题。在一些实施方式中，媒体应用103可以为用户提供使表情符号与媒体项目或者多个媒体项目关联的选项。在一些实施方式中，当媒体项目或者多个媒体项目被传递给一个人时，媒体应用103可以显示变形为另一个表情符号的一个表情符号。例如，当第一用户标题“那么太棒了！！！除了，没有发生过这种情况”时，媒体应用103可以将标题显示为“那么太棒了！！！，笑脸表情符号变形为悲伤脸表情符号，然后显示标题“除了，没有发生过这种情况”。
在一些实施方式中，媒体应用103可以提供与附近的人和/或在不同地区的地点，诸如城镇、国家等等的人共享媒体的选项。在一些实施方式中，媒体应用103可以提供离线共享媒体的选项。例如，媒体应用103可以保存媒体到备份存储器，并且经由SMS共享该媒体。
在一些实施方式中，一旦用户同意，媒体应用103就可以在图像中进行对象识别和人的识别。一旦用户同意，媒体应用103就可以为用户提供基于对象、人、场所、东西等等搜索用户媒体的选项。在一些实施方式中，通过为用户提供示例图像，媒体应用103可以为用户提供在图像中搜索不同类型的东西的选项。
在一些实施方式中，媒体应用103可以包括图像助理，该图像助理检测由用户捕获的图像的问题。例如图像可能是曝光过度的、模糊的等等。媒体应用可以为用户提供编辑图像的选项，该选项例如包含在图4中。在一些实施方式中，媒体应用103为用户提供建议，该建议诸如是图像模糊或者用户正在拍摄与用户已经捕获的图像类似的图像的提醒。在一些实施方式中，媒体应用103自动地为用户校正图像。
在一些实施方式中，媒体应用103提供从与用户关联的媒体生成照片书的选项。
示例方法
图7图示了根据一些实施方式的从实体物品生成合成图像的示例方法700的流程图。该方法700由存储在计算装置300上的媒体应用103进行，计算装置300诸如是移动装置115、媒体服务器111、或者是移动装置115的一部分以及媒体服务器111的一部分。
在方框702，利用相机243捕获实体物品的第一图像。相机243是计算装置300的一部分。实体物品例如是照片。
在方框704，辨认与该实体物品关联的边界。例如，计算装置300识别照片的四个边缘。
在方框706，基于第一图像，生成叠加层，该叠加层包括位于与实体物品关联的一个以上的边界之内的多个对象。例如，媒体应用103将照片分割成为象限，以及生成有四个对象的叠加层，四个对象各自在一个象限之内的中心。
在方框708，用相机243捕获实体物品的后续图像，其中利用相应的后续相机位置捕获每个后续图像。例如，每当捕获后续图像时，媒体应用103确定相机243的移动。在方框710，在捕获后续图像期间，显示图像预览，该图像预览包括叠加层，其中，随着相机243移动，多个对象在叠加层中保持固定，响应于在相应的后续相机位置捕获预定数量的后续图像，更新多个对象中的一对象的属性，并且更新多个对象的属性对应于捕获完成。例如，随着用户以特定的方式移动相机243，四个对象中的相应对象改变颜色，直到后续对象已被捕获。在一些实施方式中，叠加层包括当相机243移动时移动的标线，并且该标线被移动到围绕或者重叠多个对象中的每个对象的至少一部分，直到后续图像已被捕获，并且结果是捕获完成。
在方框712，建立第一图像的像素和后续图像的像素之间的对应关系。例如，媒体应用103将第一图像和第二图像中的特定位置处的所有像素进行比较。在方框714，生成实体物品的合成图像，其中，合成图像的每个像素值是基于第一图像和后续图像的对应的像素值。例如媒体应用103为那个特定位置的合成图像选择对应像素值的最小值。
图8图示了根据一些实施方式的从实体物品生成合成图像的另一个示例方法800的流程图。该方法800由存储在计算装置300上的媒体应用103进行，计算装置300诸如是移动装置115、媒体服务器111、或者是移动装置115的一部分以及媒体服务器111的一部分。
在方框802，用相机捕获实体物品的第一图像。在方框804，显示第一图像，且彩色叠加层在图像的第一部分之上。在方框806，实体物品的一个以上的后续图像可以被捕获，其中随着相机243相对于实体物品移动而捕获每个后续图像。在方框808，在捕获每个后续图像期间，第一图像被显示为彩色叠加层在第一图像的第二部分之上，其中第二部分包括第一部分和基于相机的移动而确定的附加部分。在方框810，建立第一图像的像素和一个以上的后续图像的中的每个后续图像的像素之间的对应关系。在方框812，生成实体物品的合成图像，其中，基于第一图像和一个以上的后续图像的对应的像素值选择合成图像的每个像素值。
在以上描述中，为了说明，阐述了众多细节以便提供对说明书的彻底的了解。然而，对本领域的技术人员显而易见的是，本公开在没有这些细节的情况下也可以被实行。在有些情况下，以方框图形式显示结构和装置，以免使描述不清楚。例如，以上可以主要参考用户界面和特殊的硬件来描述实施方式。然而，实施方式可以适用于可以接收数据和命令的任何类型的计算装置，以及提供服务的任何外围装置。
说明书引用的“一些实施方式”或者“一些实例”意指连同实施方式或者实例一起描述的特殊的特性、结构或者特征可以被归入描述的至少一个实施方式。说明书中不同地方出现的短语“在一些实施方式中”并非必须全部涉及相同的实施方式。
以上具体实施方式的一些部分是按照对于计算机存储器之内的数据位的操作的算法和符号表示来呈现的。这些计算描述和表示是那些擅长于数据处理技术的人员使用的手段，以便最有效地将他们的工作的实质传达给其他本领域的技术人员。这里的算法通常被认为是通向期望结果的有条理次序的步骤。步骤是那些需要物理量的物理操纵。通常，然而不一定，这些量采用能够被存储、传送、组合、比较以及其他操纵的电子的或者磁的数据的形式。有时已经证明是方便的，主要为了公共用途，引用这些数据作为比特、值、要素、符号、字符、项目、数量等等。
然而，应当考虑承担的是，所有这些以及类似项目将要与适当的物理量关联，并且仅仅是适用于这些量的方便的标签。除非另外具体地声明，从如下的讨论是显而易见的，可以领会贯穿该说明书，运用包含“处理”或者“计算”或者“运算”或者“确定”或者“显示”等等的术语的讨论指的是计算机设备或者类似电子计算装置的动作和处理，计算机设备或者类似电子计算装置操纵被表示为计算机系统的寄存器和内存之内的物理(电子)量的，并且将该数据转换为其他数据，其他数据同样被表示为计算机系统内存或者寄存器或者其他这种信息存储器、传输或者显示装置之内的物理量。
说明书的实施方式还可以涉及一个处理器，该处理器进行以上描述的方法的一个以上的步骤。处理器可以是通过存储在计算机中的计算机程序被选择性激活或者重新配置的专用的处理器。这种计算机程序可以被存储在永久计算机可读存储介质，永久计算机可读存储介质包括但不限于任何类型的盘或者适合于存储电子指令的任何类型的介质，任何类型的盘包括软盘、光盘、ROM、CD-ROM、磁盘、RAM、EPROM、EEPROM、磁卡或者光卡、包括带有非易失性存储器的USB键的闪存，各自被耦接到计算机系统总线。
说明书可以采用一些全部硬件实现、一些全部软件实现或者一些实施方式含有硬件和软件元素两者的形式。在一些实施方式中，以软件实现说明书，软件包括但并不限于固件、常驻软件、微编码等等。
此外，说明可以采用可从计算机可用的或者计算机可读的介质访问的计算机程序产品的形式，计算机可用的或者计算机可读的介质通过或者连同计算机或者任何指令执行系统来提供供使用的程序代码。为了说明，计算机可用的或者计算机可读的介质可以是任何设备，任何设备可以通过或者连同指令执行系统、设备或装置，包含，存储，通信，传送，或者输送供使用的程序。
适合于存储或者执行程序代码的数据处理系统将包括经由系统总线被直接或者间接地耦接到内存元件的至少一个处理器。内存元件可以包括在程序代码的实际执行期间被采用的本地内存、大容量存储器、以及提供至少一些程序代码的临时存储的高速缓冲存储器，以便减少在执行期间必须从大容量存储器检索代码的次数。
在以上讨论的系统收集个人信息的情形中，系统为用户提供一个机会来控制程序或者特性是否收集用户信息(例如，关于用户社交网络、社交动作或者活动、职业、用户爱好，或者用户当前位置的信息)，或者控制是否和/或如何从可能与用户更加有关的服务器接收内容。此外，某个数据在被存储或者使用之前，可以以一个以上的方式被处理，以便去除个人可识别的信息。例如，可以处理用户的身份，以便对于该用户，没有个人可识别的信息可以被确定，或者获得位置信息的用户的地理位置(诸如城市、邮政编码或者州级别)可以被概括，以便无法确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息以及服务器如何使用信息。

Claims (20)

1.一种方法，其特征在于，包括：
在第一相机位置用相机捕获实体物品的第一图像；
检测与所述实体物品关联的边界；
基于所述第一图像，生成叠加层，所述叠加层包括位于与所述实体物品关联的一个以上的所述边界之内的多个对象；
用所述相机捕获所述实体物品的后续图像，其中在相应的后续相机位置捕获每个后续图像；
在捕获所述后续图像期间，显示包括所述叠加层的图像预览，其中：
随着所述相机移动，所述多个对象在所述叠加层中保持固定，
响应于在每个相应的后续相机位置捕获预定数量的后续图像，更新所述多个对象中的一个对象的属性；以及
更新所述多个对象的所述属性对应于捕获的完成；
建立所述第一图像的像素和每个所述后续图像的像素之间的对应关系；以及
生成所述实体物品的合成图像，其中，所述合成图像的每个像素值是基于所述第一图像和所述后续图像的对应的像素值。
2.如权利要求1所述的方法，其特征在于，
所述叠加层进一步包括标线，
所述标线响应于移动所述相机而移动；以及
响应于所述标线的至少一部分与所述对象重叠而捕获所述后续图像。
3.如权利要求1所述的方法，其特征在于，
响应于所述第一图像的尺寸超过预定阈值，将所述叠加层分割成为多个部分，并将所述多个对象中的每个对象放置在相应的部分的中心。
4.如权利要求1所述的方法，其特征在于，
响应于与所述第一图像的检测关联的至少一个置信度值超过阈值置信度值，将所述叠加层分割成为多个部分，并将所述多个对象中的每个对象放置在相应的部分的中心。
5.如权利要求1所述的方法，其特征在于，
所述属性是颜色；以及
更新所述多个对象的所述颜色使得完成的指示出现。
6.如权利要求1所述的方法，其特征在于，
响应于更新所述多个对象中的所述对象的所述属性，从所述叠加层移除所述对象。
7.如权利要求1所述的方法，其特征在于，所述合成图像的每个像素值是所述第一图像和所述后续图像的所述对应的像素值中的最小值。
8.如权利要求1所述的方法，其特征在于，
生成所述合成图像进一步包括，为所述合成图像的每个像素值，选择试验像素值，并且将所述试验像素值与多个像素的周围像素值进行比较，以确认所述周围像素值中的每个周围像素值在所述试验像素值的阈值差之内，所述多个像素围绕对应于像素值的像素。
9.权利要求8所述的方法，其特征在于，
响应于所述试验像素值和所述周围像素值中的一个周围像素值之间的差超过所述阈值差，将所述试验像素值修改为在所述阈值差之内。
10.一种具有指令的非临时性计算机可读介质，当所述指令被一个以上的计算机执行时使得所述一个以上的计算机进行操作，其特征在于，所述操作包括：
用相机捕获实体物品的第一图像；
检测与所述实体物品关联的边界；
基于所述第一图像，生成叠加层，所述叠加层包括标线和位于与所述实体物品关联的一个以上的所述边界之内的多个对象；
用所述相机捕获所述实体物品的后续图像，其中在相应的后续相机位置捕获每个后续图像；
在捕获所述后续图像期间，提供具有所述叠加层的所述第一图像，其中
随着所述相机移动，所述多个对象在所述叠加层中保持固定，
所述标线响应于移动所述相机而移动，
响应于至少一部分所述标线与所述多个对象中的一个对象重叠而捕获所述后续图像，
响应于在相应的后续相机位置捕获预定数量的后续图像，更新所述对象，以及
响应于移动所述相机直到所述多个对象被更新，捕获的完成出现；
建立所述第一图像的像素和每个所述后续图像的像素之间的对应关系；以及
生成所述实体物品的合成图像，其中，所述合成图像的每个像素值是基于所述第一图像和所述后续图像的对应的像素值。
11.如权利要求10所述的计算机可读介质，其特征在于：
更新所述对象包括更新所述对象的颜色；以及
更新所述多个对象的所述颜色使得完成的指示出现。
12.如权利要求10所述的计算机可读介质，其特征在于，所述叠加层进一步包括箭头，所述箭头指向移动所述标线的方向。
13.如权利要求10所述的计算机可读介质，其特征在于，所述合成图像的每个像素值是所述第一图像和所述后续图像的所述对应的像素值中的最小值。
14.如权利要求10所述的计算机可读介质，其特征在于，
生成所述合成图像进一步包括，为所述合成图像的每个像素值，选择试验像素值，并且将所述试验像素值与多个像素的周围像素值进行比较，以确认所述周围像素值中的每个周围像素值在所述试验像素值的阈值差之内，所述多个像素围绕对应于像素值的像素。
15.如权利要求14所述的计算机可读介质，其特征在于，
响应于所述试验像素值和所述周围像素值中的一个周围像素值之间的差超过所述阈值差，将所述试验像素值修改为使得修改后的试验像素值和所述周围像素值中的所述一个周围像素值之间的差不超过所述阈值差。
16.一种系统，其特征在于，包含：
一个以上的处理器；以及
内存，所述内存存储由所述一个以上的处理器执行的指令，所述指令包括：
用相机捕获实体物品的第一图像；
显示所述第一图像，且彩色叠加层在所述第一图像的第一部分之上；
捕获所述实体物品的一个以上的后续图像，其中随着所述相机相对于所述实体物品移动而捕获每个后续图像；
在捕获每个所述后续图像期间，显示所述第一图像，且所述彩色叠加层在所述第一图像的第二部分之上，其中所述第二部分包括所述第一部分和基于所述相机的移动而确定的附加部分；
建立所述第一图像的像素和所述一个以上的后续图像中的每个后续图像的像素之间的对应关系；以及
生成所述实体物品的合成图像，其中，所述合成图像的每个像素值是基于所述第一图像和所述一个以上的后续图像的对应的像素值。
17.如权利要求16所述的系统，其特征在于，所述指令进一步包括：
将所述第一图像转换预设纵横比；
响应于所述第一图像是倒置和侧向中的至少一个，将所述第一图像修改为正面朝上；以及
采用白平衡来校正所述第一图像的构图。
18.如权利要求16所述的系统，其特征在于，所述合成图像的每个像素值是所述第一图像和所述后续图像的所述对应的像素值中的最小值。
19.如权利要求16所述的系统，其特征在于，所述叠加层进一步包括目标，所述目标被放置为指示移动所述相机的方向。
20.如权利要求19所述的系统，其特征在于，所述目标随着所述相机移动而移动。
CN201680083169.5A 2016-06-08 2016-11-14 生成实体物品的合成图像的方法和系统 Active CN110168606B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662347572P 2016-06-08 2016-06-08
US62/347,572 2016-06-08
PCT/US2016/061848 WO2017213685A1 (en) 2016-06-08 2016-11-14 Generating a composite image from a physical item

Publications (2)

Publication Number Publication Date
CN110168606A true CN110168606A (zh) 2019-08-23
CN110168606B CN110168606B (zh) 2023-09-26

Family

ID=57396856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083169.5A Active CN110168606B (zh) 2016-06-08 2016-11-14 生成实体物品的合成图像的方法和系统

Country Status (4)

Country Link
US (2) US10257485B2 (zh)
EP (2) EP4358531A2 (zh)
CN (1) CN110168606B (zh)
WO (1) WO2017213685A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867328B2 (en) * 2016-05-03 2020-12-15 Yembo, Inc. Systems and methods for providing AI-based cost estimates for services
WO2017213685A1 (en) * 2016-06-08 2017-12-14 Google Llc Generating a composite image from a physical item
US10675955B2 (en) 2016-11-14 2020-06-09 Google Llc Adaptive glare removal and/or color correction
US10733469B2 (en) 2017-12-29 2020-08-04 Idemia Identity & Security USA LLC Capturing digital images of documents
GB201812446D0 (en) 2018-07-31 2018-09-12 Barco Nv Method and system for mapping the non-uniformity of an image sensor
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
US10887542B1 (en) * 2018-12-27 2021-01-05 Snap Inc. Video reformatting system
US20210291435A1 (en) * 2020-03-19 2021-09-23 Ricoh Company, Ltd. Measuring apparatus, movable apparatus, robot, electronic device, fabricating apparatus, and measuring method
US11539647B1 (en) 2020-06-17 2022-12-27 Meta Platforms, Inc. Message thread media gallery
US20220012870A1 (en) * 2020-07-10 2022-01-13 Eric Breiding Generating menu insights
CN114817938B (zh) * 2021-01-28 2024-05-17 海信集团控股股份有限公司 访问共享相册、保护共享相册隐私图片的方法及设备
US11831931B2 (en) 2021-04-14 2023-11-28 Microsoft Technology Licensing, Llc Systems and methods for generating high-resolution video or animated surface meshes from low-resolution images
US11849220B2 (en) * 2021-04-14 2023-12-19 Microsoft Technology Licensing, Llc Systems and methods for generating depth information from low-resolution images

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038121A1 (en) * 1998-01-27 1999-07-29 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US20060098112A1 (en) * 2004-11-05 2006-05-11 Kelly Douglas J Digital camera having system for digital image composition and related method
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
US20110312374A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Mobile and server-side computational photography
CN103069454A (zh) * 2010-07-05 2013-04-24 苹果公司 高动态范围图像的捕捉和渲染
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2014033886A1 (ja) * 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
US20140118483A1 (en) * 2012-10-29 2014-05-01 Google Inc. Smart targets facilitating the capture of contiguous images
CN103988503A (zh) * 2011-12-12 2014-08-13 英特尔公司 使用预捕获图像运动的场景分割
CN104040576A (zh) * 2011-12-14 2014-09-10 电子湾有限公司 物理对象的多角度成像
CN104115185A (zh) * 2011-10-19 2014-10-22 泰坦公司 用于电子地指示产品的可接受性的计算系统和方法
US20140327940A1 (en) * 2013-05-03 2014-11-06 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
CN104284064A (zh) * 2013-07-05 2015-01-14 三星电子株式会社 用于预览双镜头图像的方法和设备
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US20150054975A1 (en) * 2013-08-21 2015-02-26 Xerox Corporation Automatic mobile photo capture using video analysis
CN104662589A (zh) * 2012-08-21 2015-05-27 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US20150288874A1 (en) * 2012-10-23 2015-10-08 Ishay Sivan Real time assessment of picture quality
CN105283884A (zh) * 2013-03-13 2016-01-27 柯法克斯公司 对移动设备捕获的数字图像中的对象进行分类
CN105408936A (zh) * 2013-07-26 2016-03-16 高通股份有限公司 校正图像伪像的系统和方法
US9325861B1 (en) * 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346184B1 (en) 2000-05-02 2008-03-18 Digimarc Corporation Processing methods combining multiple frames of image data
KR101723642B1 (ko) * 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
US9270885B2 (en) 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US8805125B1 (en) 2013-06-28 2014-08-12 Google Inc. Comparing extracted card data using continuous scanning
EP3089102B1 (en) * 2013-12-03 2019-02-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
WO2017213685A1 (en) * 2016-06-08 2017-12-14 Google Llc Generating a composite image from a physical item

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088612A (en) * 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
WO1999038121A1 (en) * 1998-01-27 1999-07-29 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US20060098112A1 (en) * 2004-11-05 2006-05-11 Kelly Douglas J Digital camera having system for digital image composition and related method
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
US20110312374A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Mobile and server-side computational photography
CN103069454A (zh) * 2010-07-05 2013-04-24 苹果公司 高动态范围图像的捕捉和渲染
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
CN104115185A (zh) * 2011-10-19 2014-10-22 泰坦公司 用于电子地指示产品的可接受性的计算系统和方法
CN103988503A (zh) * 2011-12-12 2014-08-13 英特尔公司 使用预捕获图像运动的场景分割
CN104040576A (zh) * 2011-12-14 2014-09-10 电子湾有限公司 物理对象的多角度成像
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN104662589A (zh) * 2012-08-21 2015-05-27 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014033886A1 (ja) * 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
US20150288874A1 (en) * 2012-10-23 2015-10-08 Ishay Sivan Real time assessment of picture quality
US9325861B1 (en) * 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images
US20140118483A1 (en) * 2012-10-29 2014-05-01 Google Inc. Smart targets facilitating the capture of contiguous images
CN105283884A (zh) * 2013-03-13 2016-01-27 柯法克斯公司 对移动设备捕获的数字图像中的对象进行分类
US20140327940A1 (en) * 2013-05-03 2014-11-06 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
CN104284064A (zh) * 2013-07-05 2015-01-14 三星电子株式会社 用于预览双镜头图像的方法和设备
CN105408936A (zh) * 2013-07-26 2016-03-16 高通股份有限公司 校正图像伪像的系统和方法
US20150054975A1 (en) * 2013-08-21 2015-02-26 Xerox Corporation Automatic mobile photo capture using video analysis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
石跃祥;B.BENHABIB;蔡自兴;: "基于内容的图像检索在智能监控系统中的应用", 计算机工程, no. 10 *
邹云海;关蒲骏;杨波;龚启勇;幸浩洋;: "基于FPGA与投影算法的快速眼动跟踪系统实现", 四川大学学报(工程科学版), no. 03 *

Also Published As

Publication number Publication date
CN110168606B (zh) 2023-09-26
US20190230330A1 (en) 2019-07-25
EP3610452B1 (en) 2024-04-24
US10257485B2 (en) 2019-04-09
EP4358531A2 (en) 2024-04-24
US20170359560A1 (en) 2017-12-14
US10531061B2 (en) 2020-01-07
WO2017213685A1 (en) 2017-12-14
EP3610452A1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
CN110168606A (zh) 从实体物品生成合成图像
US11455093B2 (en) Capturing and sending multimedia as electronic messages
CN105809620B (zh) 用于线性全景图像拼接的预览图像获取用户界面
US9639940B2 (en) Imaging apparatus and methods for generating a guide display showing a photographing technique for approximating a composition of a subject image to that of a sample image
US9665986B2 (en) Systems and methods for an augmented reality platform
CN116342622A (zh) 视频流的图像分割和修改
CN106575354A (zh) 有形界面对象的虚拟化
US11430211B1 (en) Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
CN115867882A (zh) 用于图像的基于出行的增强现实内容
US10685680B2 (en) Generating videos of media items associated with a user
JP2014038429A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5735861B2 (ja) 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ
US11049303B2 (en) Imaging apparatus, and operation program and operation method for imaging apparatus
JP2010021721A (ja) カメラ
JP2015142320A (ja) 撮影印刷システム、サーバシステム及びプログラム
CN108369797A (zh) 显示装置、显示程序及显示方法
JP6395965B1 (ja) レシピ投稿支援サーバ、レシピ投稿支援方法、レシピ投稿支援プログラム及びレシピ投稿支援システム
JP5958047B2 (ja) 写真撮影遊戯装置、画像生成方法、及び画像生成プログラム
KR101907297B1 (ko) 종이 도안을 활용한 게임 제작 시스템
JP2019200642A (ja) 画像集生成プログラム、情報処理装置、及び画像集生成方法
US20210158595A1 (en) Information processing apparatus, information processing method, and information processing system
CN114363521B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant