ES2770688T3 - Método de corrección de una imagen capturada, método de selección un dibujo bosquejado en una página o en dos páginas adyacentes de un cuaderno, una aplicación relativa para teléfono inteligente, un cuaderno de tapa dura y una agenda de tapa dura - Google Patents
Método de corrección de una imagen capturada, método de selección un dibujo bosquejado en una página o en dos páginas adyacentes de un cuaderno, una aplicación relativa para teléfono inteligente, un cuaderno de tapa dura y una agenda de tapa dura Download PDFInfo
- Publication number
- ES2770688T3 ES2770688T3 ES16735691T ES16735691T ES2770688T3 ES 2770688 T3 ES2770688 T3 ES 2770688T3 ES 16735691 T ES16735691 T ES 16735691T ES 16735691 T ES16735691 T ES 16735691T ES 2770688 T3 ES2770688 T3 ES 2770688T3
- Authority
- ES
- Spain
- Prior art keywords
- markers
- pages
- pixels
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000010187 selection method Methods 0.000 title 1
- 239000003550 marker Substances 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 230000007480 spreading Effects 0.000 claims abstract description 11
- 238000003892 spreading Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract 2
- 238000001914 filtration Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000005304 joining Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims 1
- 238000004590 computer program Methods 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000003064 k means clustering Methods 0.000 claims 1
- 235000013531 gin Nutrition 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Un método de generación de una imagen corregida a partir de una imagen distorsionada que representa al menos dos páginas planares adyacentes de un cuaderno o agenda teniendo cada una un marcador principal y una pluralidad de marcadores subordinados, estando ubicados todos dichos marcadores de dichas páginas en límites de la página que definen vértices de un primer rectángulo que tiene una primera relación de aspecto nominal, comprendiendo el método las siguientes operaciones: a) ubicar, en dicha imagen distorsionada, posiciones de marcadores subordinados capturados y de un marcador principal capturado, b) determinar una transformación geométrica para mapear ubicaciones de píxeles corregidos de dicha imagen corregida que corresponden a píxeles capturados de dicha imagen distorsionada, c) generar dicha imagen corregida que contiene dichos píxeles corregidos en las ubicaciones determinadas en la etapa b), caracterizado por que los marcadores de dos páginas planares adyacentes de dichas páginas planares definen un segundo rectángulo que tiene una segunda relación de aspecto, y por que dicha imagen distorsionada representa dos páginas planares adyacentes de un cuaderno o agenda, y por que dicha operación b) se lleva a cabo a través de las siguientes etapas cuando dos marcadores principales están en dicha imagen distorsionada: b3) generar una imagen intermedia de las dos páginas adyacentes de dicho cuaderno o agenda a través de todas las siguientes etapas: - para cada página capturada de dichas dos páginas adyacentes, determinar posiciones relativas, con respecto a dicho marcador principal, de marcadores subordinados que pertenecen a dicha página capturada y determinar una línea de borde superior (AB; FB) que une dos marcadores superiores de los marcadores de dicha página capturada, una línea de borde inferior (CD; ED) que une dos marcadores inferiores de los marcadores de dicha página capturada, una línea de borde externo (AC; FE) que une dos marcadores externos de los marcadores de dicha página capturada, una línea lateral superior (AF) que une dos marcadores superiores externos de los marcadores de dichas dos páginas adyacentes, una línea lateral inferior (CE) que une dos marcadores inferiores externos de los marcadores de dichas dos páginas adyacentes, un punto de cruce superior (B) entre las líneas de borde superior (AB, FB) de dichas dos páginas adyacentes, un punto de cruce inferior (D) entre las líneas de borde inferior (CD, ED) de dichas dos páginas adyacentes, una línea de chaflán (BD) de dichas dos páginas adyacentes que pasa a través de dicho punto de cruce superior (B) y dicho punto de cruce inferior (D), un punto objetivo superior (G) como punto de intersección entre dicha línea de chaflán (BD) y dicha línea lateral superior (AF), un punto objetivo inferior (H) como punto de intersección entre dicha línea de chaflán (BD) y dicha línea lateral inferior (CE), dicha línea de borde externo (AC; FE) que cruza dicha línea de borde inferior (CD; ED) y dicha línea de borde superior (AB; FB) en correspondencia de un marcador inferior externo (C; E) y de un marcador superior externo (A; F), respectivamente, - determinar un punto de transformación fija central (O) que pertenece a dicha línea de chaflán (BD) como el punto en el que la relación entre su distancia (OD) desde el punto de cruce inferior (D) y su distancia (OH) desde el punto objetivo inferior (H) equivale a la relación entre su distancia (OB) desde el punto de cruce superior (B) y su distancia (OG) desde el punto objetivo superior (G), - para cada página capturada de dichas dos páginas adyacentes, determinar un respectivo punto de transformación fija externo (X1; X2) que pertenece a la respectiva línea de borde externo (AC; FE) como el punto en el que la relación entre su distancia (X1C; X2E) desde el marcador inferior externo (C; E) y su distancia (X1A; X2F) desde el marcador superior externo (A; F) equivale a la relación entre la distancia (OD) de dicho punto de transformación fija central (O) desde el punto de cruce inferior (D) y la distancia (OB) de dicho punto de transformación fija central (O) desde el punto de cruce superior (B), y determinar un respectivo segmento de transformación fijo (OX1; OX2) que une el punto de transformación fija central (O) con el respectivo punto de transformación fija externo (X1; X2), a continuación, para cada píxel capturado (P) que radica en un área de página comprendida entre el respectivo segmento de transformación fija (OX1; OX2) y la respectiva línea de borde superior/inferior (AB/CD; FB/ED), determinar un correspondiente píxel intermedio (P1) de acuerdo con un algoritmo de ensanchamiento de imagen que mantiene sin cambiar todos los puntos de dicha línea de borde externo (AC; FE) y todos los puntos de dicho segmento de transformación fija (OX1; OX2) y que mapea puntos que radican en dicha área de página para alargar dicha línea de chaflán para proporcionar dicho punto de cruce superior/inferior (B; D) en dicho punto objetivo superior/inferior (G; H) y transformar dicha línea de borde superior/inferior (AB; BF / CD; DE) en dicha línea lateral superior/inferior (AF / CE), - determinar dicha imagen intermedia que contiene dichos píxeles intermedios de dichas dos páginas adyacentes y un cuadrilátero guía compuesto de dicha línea lateral superior (AF), de dicha línea lateral inferior (CE) y de dichas líneas de borde externas (AC, FE); b4) determinar ubicaciones de píxeles corregidos de dicha imagen corregida procesando píxeles de dicha imagen intermedia con un algoritmo de corrección de perspectiva adaptado para transformar dicho cuadrilátero guía en un rectángulo que tiene dicha segunda relación de aspecto nominal tomando como una referencia lateral dicha línea de borde externo o dicha línea de borde interno y ajustando la longitud de las otras líneas del cuadrilátero en consecuencia.
Description
DESCRIPCIÓN
Método de corrección de una imagen capturada, método de selección un dibujo bosquejado en una página o en dos páginas adyacentes de un cuaderno, una aplicación relativa para teléfono inteligente, un cuaderno de tapa dura y una agenda de tapa dura
Campo técnico
La divulgación se refiere a métodos de captura de imágenes bosquejadas en un soporte de papel y más particularmente a un método de generación de una imagen corregida a partir de una imagen distorsionada, un método de captura de una escritura o un dibujo bosquejado en un cuaderno o agenda, una aplicación relativa para teléfono inteligente, un cuaderno de tapa dura y una agenda de tapa dura.
Antecedentes
Los cuadernos o agendas de papel aún están ampliamente difundidos para tomar notas, a pesar del uso cada vez mayor de dispositivos electrónicos móviles. Los últimos son de uso práctico cuando han de tomarse notas cortas con un teclado físico o un teclado virtual visualizado en una pantalla táctil, pero los primeros se prefieren ampliamente para registrar notas escritas a mano o para bosquejar dibujos. Para transmitir o almacenar electrónicamente estas notas o dibujos escritos a mano, pueden obtenerse digitalmente con un escáner o, más comúnmente, se toma una imagen de las páginas en papel escritas a mano con una cámara digital de un teléfono inteligente. Los escáneres pueden generar imágenes digitales de buena calidad puesto que las páginas con escrituras a mano que van a explorarse se colocan de manera plana en la pantalla del escáner, pero los escáneres en general no pueden usarse como dispositivos portátiles.
Por otra parte, las imágenes tomadas con una cámara digital tienen una calidad pobre puesto que es muy difícil colocar la cámara digital en un plano paralelo al plano de las páginas del papel, especialmente si dos páginas adyacentes de un cuaderno o agenda han de capturarse al mismo tiempo. Hablando en general, las imágenes tomadas de esta manera se ven afectadas por distorsiones de perspectiva graves que deben corregirse.
Un método para compensar la distorsión de perspectiva de objetos representados en una lámina de papel tomada con una cámara digital se desvela en la solicitud de patente europea EP1947605. De acuerdo con este documento de la técnica anterior, tras la divulgación del cual se redacta el preámbulo de la reivindicación 1, el método procesa una imagen de una lámina de papel rectangular, que tiene marcadores de límite en las esquinas de la lámina, de acuerdo con las siguientes operaciones:
- calcular el rectángulo más pequeño que encierra todos los marcadores de límite;
- crear una transformación geométrica para mapear las ubicaciones de los marcadores de límite a correspondientes ubicaciones del rectángulo;
- transformar la imagen capturada en la transformación geométrica.
Este método anterior no permite corregir distorsiones de perspectiva de una imagen de un dibujo bosquejado sobre dos páginas adyacentes de un cuaderno o agenda. En esta situación, las dos páginas adyacentes típicamente no radican en un mismo plano y el algoritmo anterior es insatisfactorio puesto que:
- las dos páginas adyacentes se toman juntas y la distorsión de perspectiva alrededor de la línea de chaflán de las dos páginas adyacentes se deja no corregida; o
- se toma una página en el momento y no se toman las notas escritas a mano o el dibujo que se extiende a través de las dos páginas adyacentes como una única imagen.
El documento EP1947605, tras la divulgación del cual se redacta el preámbulo de la reivindicación 1 y de la reivindicación 10, desvela un método y aparato para detectar y corregir distorsión de perspectiva para formación de imágenes de documento caracterizados por la presencia de marcadores especiales que definen las esquinas del documento.
El documento US2005/053304 desvela un método y aparato para corregir una imagen explorada de una original no planar que tiene una sección transversal constante en una dirección, tal como un libro, que proporciona la aplicación de un sistema de coordenadas a la imagen explorada para alinear el sistema de coordenadas a la dirección con la sección transversal constante. La imagen escaneada se captura en una imagen objetivo, o viceversa, usando factores de aspecto o factores de dilatación.
El documento US2012320427 desvela un método de procesamiento de imagen basado en la etapa de obtención de un punto de fuga en una superficie curvada en una imagen bidimensional.
El documento US7330604 desvela un método para procesar una imagen capturada que comprende las etapas de distinguir un documento capturado de su fondo, ajustar la imagen capturada para reducir distorsiones creadas del uso
de una cámara y orientar apropiadamente el documento.
Existe aún la necesidad de un algoritmo que pueda corregir la distorsión de perspectiva de imágenes de dos páginas adyacentes de un cuaderno o agenda que contiene notas o dibujos escritos a mano extendiéndose a través de ambas páginas.
Sumario
Los inventores han hallado un método de procesamiento de una imagen digital distorsionada que representa dos páginas adyacentes de un cuaderno o agenda, teniendo cada página un marcador principal y una pluralidad de marcadores subordinados, estando ubicados todos los marcadores en límites de la página al menos como vértices de un rectángulo que tiene una relación de aspecto nominal, adaptado para corregir distorsiones de perspectiva debido al hecho de que las dos páginas adyacentes del cuaderno o agenda no radican en un mismo plano. El método puede mejorarse adicionalmente para discriminar si la imagen distorsionada que va a procesarse representa una única página o dos páginas adyacentes de un cuaderno o agenda, para llevar a cabo un primer algoritmo de procesamiento si se ha capturado una única página o el método anterior de procesamiento de una imagen digital distorsionada que representa dos páginas adyacentes.
De acuerdo con una realización, se proporciona un método de generación de una imagen de selección de una escritura o un dibujo bosquejado en una página o dos páginas adyacentes de un cuaderno o agenda, que comprende las etapas de:
- tomar una imagen con un dispositivo de captura de imagen de una página planar o dos páginas planares adyacentes de un cuaderno o agenda, capturando de esta manera una imagen distorsionada;
- procesar la imagen distorsionada con el método anterior, generando de esta manera una imagen corregida; - discriminar en la imagen corregida píxeles que pertenecen a los marcadores, píxeles que pertenecen a la escritura o dibujo bosquejado y píxeles que pertenecen a una porción no escrita de las páginas del cuaderno o agenda; - seleccionar de la imagen corregida los píxeles que pertenecen a la escritura o dibujo bosquejado.
Estos métodos pueden implementarse mediante software con un PC, un teléfono inteligente o una tableta. Un cuaderno de tapa dura y una agenda de tapa dura de acuerdo con esta divulgación comprenden al menos una cubierta frontal planar y una cubierta trasera planar para cubrir lados opuestos del cuaderno o agenda y una cubierta de lomo deformable, y páginas sustancialmente rectangulares unidas a las cubiertas con una unión configurada para, cuando el cuaderno o agenda está abierto, permitir que cualesquiera dos páginas adyacentes planares en las que está abierto el cuaderno o agenda se coloquen de manera plana sobre las cubiertas del cuaderno o agenda sin curvarse sustancialmente, teniendo cada página de las páginas adyacentes un marcador principal en una esquina externa de la página y una pluralidad de marcadores subordinados situados en las otras esquinas de la misma página, estando ubicados los marcadores principales de las dos páginas adyacentes planares en esquinas diametralmente opuestas con respecto a un punto medio de una línea de chaflán de las páginas del cuaderno o agenda, estando ubicados todos los marcadores de cada página en límites de la página como vértices de un primer rectángulo que tiene una primera relación de aspecto nominal, definiendo los marcadores de dos páginas planares adyacentes de las páginas planares un segundo rectángulo que tiene una segunda relación de aspecto. De acuerdo con una realización, el marcador principal está compuesto de dos cuadrados oscuros emparejados a una distancia mutua menor que la anchura y altura de los cuadrados, y cada uno de los marcadores subordinados es un único cuadrado oscuro, estando ubicados los marcadores a través de un fondo claro.
Las reivindicaciones como se presentan son parte integral de esta memoria descriptiva y se incorporan en el presente documento por referencia.
Breve descripción de los dibujos
La figura 1 representa esquemáticamente dos páginas adyacentes de un cuaderno con marcadores de acuerdo con una realización de esta divulgación.
La figura 2 ilustra puntos geométricos identificados para corregir distorsión de perspectiva de acuerdo con una realización del método de esta divulgación.
La figura 3 es un diagrama de flujo de una realización de un algoritmo de "páginas sin deformar" para corregir distorsión de perspectiva de un dibujo que se extiende a través de dos páginas adyacentes de un cuaderno, La figura 4 es un diagrama de flujo de una realización de acuerdo con esta divulgación de un método para generar una imagen de selección de una escritura o un dibujo bosquejado en una página o dos páginas adyacentes de un cuaderno o agenda.
La figura 5 es un diagrama de flujo de una realización de un algoritmo de acuerdo con esta divulgación para ubicar marcadores impresos en las páginas de un cuaderno o agenda.
La figura 6 ilustra esquemáticamente cómo se determina una elipse que tiene los mismos segundos momentos estadísticos de una agrupación de píxeles.
Descripción detallada
El algoritmo implementado con el método de esta divulgación para generar una imagen corregida a partir de una imagen distorsionada que representa dos páginas planares adyacentes de un cuaderno se ilustrará haciendo referencia a la figura 1, que representa una imagen de dos páginas adyacentes planares de un cuaderno con distorsiones de perspectiva evidentes debido al hecho de que las dos páginas no radican en un mismo plano.
Cada página del cuaderno tiene un marcador principal, que en el ejemplo no limitante mostrado está compuesto de dos cuadrados oscuros emparejados (esquina superior externa de la página izquierda y esquina inferior externa de la página derecha) impresos en un fondo claro. Opcionalmente, los centros de los cuadrados oscuros emparejados se encuentran a una distancia mutua menor que la anchura y altura de los cuadrados. Los marcadores principales pueden situarse típicamente en correspondencia de esquinas externas diametralmente opuestas de cualesquiera dos páginas adyacentes del cuaderno. Cada página tiene también una pluralidad de marcadores subordinados, que en el ejemplo no limitante mostrado son cuadrados oscuros únicos impresos en un fondo claro, ubicados en las otras esquinas para definir un rectángulo que tiene una relación de aspecto prestablecida conocida.
Es más sencillo detectar los marcadores mostrados en la figura 1 y discriminarlos de las notas o dibujos escritos a mano, y por esta razón se realizan con cuadrados oscuros. De acuerdo con una realización menos preferida, el marcador principal y los marcadores subordinados de cada página tienen una forma diferente o están hechos de diferentes símbolos, tal como, por ejemplo, en el documento anterior EP1947605. Sin embargo, en este último caso, es más difícil ubicarlos y es más fácil que se reconozcan erróneamente como parte de un dibujo bosquejado si los usuarios no tienen cuidado de escribir lejos de ellos.
Típicamente, las páginas del cuaderno están unidas con una unión que las permite radicar planas a través de las cubiertas emparejadas del cuaderno, para que sea fácil hacer notas escritas a mano o bosquejar dibujos que se extienden a través de ambas páginas adyacentes. Cuando se toma una imagen de ambas páginas sujetando el cuaderno con una mano y un dispositivo de captura de imagen digital (tal como un teléfono inteligente) con la otra mano, las dos páginas adyacentes no radican en el mismo plano y se captura una imagen distorsionada como en la figura 1.
De acuerdo con el método de esta divulgación, la primera operación que va a llevarse a cabo para corregir la distorsión de perspectiva de la imagen distorsionada consiste en ubicar las posiciones de los marcadores subordinados y del marcador principal en cada página. Cualquier experto en la materia se dará cuenta de que hay numerosas maneras para lograr esta tarea, tal como, por ejemplo, con un algoritmo de reconocimiento de patrón.
Se desvela en lo sucesivo un algoritmo innovador específicamente diseñado para ubicar cuadrados oscuros impresos sobre un fondo claro. De acuerdo con una realización particularmente eficaz del método de esta divulgación, la operación de ubicación de las posiciones de los marcadores se lleva a cabo con este algoritmo innovador.
Una vez que se reconocen los marcadores de ambas páginas adyacentes, de acuerdo con el método de esta divulgación se identifican ciertas líneas de referencia, determinadas por los marcadores, en concreto:
- las líneas 3, 4 de borde superior; la línea 3 pasa a través de un marcador ubicado en el ángulo superior izquierdo de la página izquierda (en lo sucesivo denominado como el "marcador superior externo" de la página izquierda) y a través de un marcador ubicado en el ángulo superior derecho de la página izquierda (en lo sucesivo denominado como el "marcador superior interno" de la página izquierda); la línea 4 pasa a través de un marcador ubicado en el ángulo superior derecho de la página derecha (en lo sucesivo denominado como el "marcador superior externo" de la página derecha) y a través de un marcador ubicado en el ángulo superior izquierdo de la página derecha (en lo sucesivo denominado como el "marcador superior interno" de la página derecha); las dos líneas de borde superior, que pasan a través del respectivo marcador superior externo y el respectivo marcador superior interno, se cruzan entre sí en un punto 7 de cruce superior;
- las líneas 5, 6 de borde inferior; la línea 5 pasa a través de un marcador ubicado en el ángulo inferior izquierdo (en lo sucesivo, el "marcador inferior externo") de la página izquierda y a través de un marcador ubicado en el ángulo derecho inferior de la página izquierda (en lo sucesivo denominado como el "marcador interno inferior" de la página izquierda); la línea 6 pasa a través de un marcador ubicado en el ángulo derecho inferior de la página derecha (en lo sucesivo denominado como el "marcador inferior externo" de la página derecha) y a través de un marcador ubicado en el ángulo inferior izquierdo de la página derecha (en lo sucesivo denominado como el "marcador superior interno" de la página derecha); las dos líneas de borde inferior, que pasan a través del respectivo marcador inferior externo y el respectivo marcador interno inferior, cruzan entre sí en un punto 8 de cruce inferior;
- la línea 1 lateral superior;
- la línea 2 lateral inferior;
- la línea de chaflán que pasa a través de los puntos 7 y 8 de cruce, que cruza la línea 1 lateral superior y la línea 2 lateral inferior en el punto 9 objetivo superior y en el punto 10 objetivo inferior, respectivamente.
Para entender mejor cómo funciona el algoritmo para corregir distorsión de perspectiva, permítanos hacer referencia a la representación geométrica de la figura 2 que corresponde a la imagen de la figura 1, en donde:
- A y F son los marcadores superiores externos;
- C y E son los marcadores inferiores externos;
- B es el punto de cruce superior de las líneas de borde superior AB y FB;
- D es el punto de cruce inferior de las líneas de borde inferior CD y ED;
- AF es la línea lateral superior;
- CE es la línea lateral inferior;
- BD (o GH) identifica la línea de chaflán;
- G es el punto objetivo superior en el que cruza la línea de chaflán la línea lateral superior;
- H es el punto objetivo inferior en el que cruza la línea de chaflán la línea lateral inferior;
- AC y e F son las líneas de borde externo que pasan a través del respectivo marcador superior externo y marcador inferior externo.
Las páginas capturadas son sustancialmente planares, por lo tanto puede suponerse justamente que las líneas de borde externo AC y EF son sustancialmente paralelas entre sí y son paralelas a la línea de chaflán BD.
De acuerdo con una realización del algoritmo de esta divulgación, se determina un punto de transformación fija central O como el punto que pertenece a la línea de chaflán GH en la que la relación entre su distancia OD desde el punto de cruce inferior D y su distancia OH desde el punto objetivo inferior H equivale a la relación entre su distancia OB desde el punto de cruce superior B y su distancia OG desde el punto objetivo superior G,
OD/OH = OB/OG.
El algoritmo determina para cada página capturada, un respectivo punto de transformación fija externo X1 o X2 que pertenece a la respectiva línea de borde externo AC o FE como el punto en el que la relación entre su distancia X1C o X2E desde el marcador inferior externo C o E y su distancia X1A o X2F desde el marcador superior externo A o F equivale a la relación entre la distancia OD del punto de transformación fija central O desde el punto de cruce inferior D y la distancia OB del punto de transformación fija central O desde el punto de cruce superior B,
X1C/X1A = OD/OB - X2E/X2F;
y determina un respectivo segmento de transformación fija OX1 u OX2 que une el punto de transformación fija central O con el respectivo punto de transformación fija externo X1 o X2.
Para cada píxel capturado P que radica en un área de página comprendida entre el respectivo segmento de transformación fija OX1 u OX2 y la respectiva línea de borde superior/inferior, se determina un correspondiente píxel intermedio P1 de acuerdo con un algoritmo de ensanchamiento de imagen que mantiene sin cambiar todos los puntos de la línea de borde externo AC o FE y todos los puntos del segmento de transformación fija OX1 u OX2, y que mapea puntos que radican en el área de página para alargar la línea de chaflán para proporcionar el punto de cruce superior/inferior (B o D) en el punto objetivo superior/inferior (G o H) y para transformar la línea de borde superior/inferior (AB o CD) en la línea lateral superior/inferior (AF o CE).
En general, podría usarse cualquier algoritmo de ensanchamiento de imagen para esta operación. El solicitante ha hallado un algoritmo de ensanchamiento de imagen particularmente efectivo que proporciona resultados excepcionales, y que comprende las siguientes etapas:
- determinar una línea paralela K1O1 a la línea de chaflán que pasa a través de un píxel capturado P, que cruza el respectivo segmento de transformación fija OX1 a un punto relativamente fijo O1, que cruza la respectiva línea de borde superior/inferior a un punto superior/inferior relativo K1 o L1, y que cruza la respectiva línea lateral superior/inferior en un punto objetivo superior/inferior relativo K o L; y
- determinar el correspondiente píxel intermedio P1 para la relación entre su distancia P1O1 del punto fijo relativo O1 y la distancia PO1 del píxel capturado P del punto fijo relativo O1 equivale a la relación entre la distancia del punto objetivo superior/inferior relativo del punto fijo relativo O1 y la distancia del punto superior/inferior relativo del punto fijo relativo O1,
P1O1/PO1 =KO1/K1O1.
Sea cual sea el algoritmo de ensanchamiento de imagen que se use, se obtiene una imagen intermedia compuesta de los píxeles intermedios P1 y que tiene un trapezoide guía, las bases del cual son las líneas externas AC y FE y los lados del cual son las líneas laterales AF y CE.
Finalmente, se obtiene una imagen corregida que corresponde a la imagen distorsionada originalmente tomada determinando ubicaciones de píxeles corregidos de la imagen corregida procesando píxeles de la imagen intermedia con un algoritmo de corrección de perspectiva adaptado para transformar el trapezoide guía en un rectángulo que tiene la relación de aspecto nominal prestablecida, manteniendo como una referencia una base del trapezoide guía. Los algoritmos de corrección de perspectiva adaptados para transformar un trapezoide en un rectángulo de una
relación de aspecto prestablecida son conocidos en la técnica. Simplemente como un ejemplo, es posible mencionar el algoritmo de corrección de perspectiva desarrollado por ABBYY Production LLC e ilustrado en la siguiente página web:
http://www.abbyy.com/mobile_imaging_sdk/description/#function26
para transformar una forma trapezoidal en una forma rectangular, aunque el experto en la materia puede identificar fácilmente numerosos otros algoritmos alternativos que pueden realizar la misma operación.
Opcionalmente, para simplificar los cálculos implicados en el algoritmo de ensanchamiento de imagen anterior de acuerdo con esta divulgación, se rota la imagen distorsionada para orientar verticalmente la línea de chaflán y las líneas de borde externo antes de ejecutar el algoritmo de ensanchamiento de imagen, a continuación se aplica una rotación inversa después de haber ejecutado el algoritmo de ensanchamiento de imagen. Todas las etapas llevadas a cabo de acuerdo con esta realización se resumen en el diagrama de flujo de la figura 3.
El método de esta divulgación puede mejorarse adicionalmente para gestionar imágenes distorsionadas que representan imágenes de dos páginas adyacentes o de una única página de un cuaderno o agenda, reconociendo si el usuario ha tomado una "imagen en vertical" (una única página) o una "imagen en horizontal" (dos páginas adyacentes).
Puesto que cada página contiene únicamente un marcador principal, de acuerdo con una realización del método de esta divulgación, se cuenta el número de marcadores principales capturado en la imagen distorsionada que va a corregirse. Si se detectan dos marcadores principales, el algoritmo continúa como se ha ilustrado anteriormente, de lo contrario si únicamente se detecta un marcador principal en la imagen distorsionada, se obtiene la imagen intermedia de una única página capturada de dicho cuaderno o agenda:
- determinando posiciones relativas, con respecto al marcador principal, de marcadores subordinados que pertenecen a la página capturada y determinando la línea de borde superior que une dos marcadores superiores de los marcadores de la página capturada, uniendo la línea de borde inferior dos marcadores inferiores de los marcadores de la página capturada, uniendo la línea de borde externa dos marcadores externos de los marcadores de la página capturada, uniendo la línea de borde interno dos marcadores internos de los marcadores de la página capturada, en donde la línea de borde externo cruza la línea de borde inferior y la línea de borde superior en correspondencia del marcador inferior externo y del marcador superior externo, respectivamente; y
- determinando la imagen intermedia como la imagen que contiene píxeles capturados de la imagen distorsionada, y determinando el trapezoide guía compuesto de la línea de borde superior, de la línea de borde inferior, de la línea de borde externo y de la línea de borde interno.
Finalmente, se aplica un algoritmo de corrección de perspectiva para transformar una forma trapezoidal en una forma rectangular para generar la imagen corregida.
Una vez que se ha obtenido la imagen corregida, es posible generar una imagen de selección (en lo sucesivo denominada como operación de "Recorte") de la escritura o dibujo realizado en el cuaderno o agenda filtrando píxeles de fondo que pertenecen a áreas no escritas o a los marcadores.
Como una opción, es posible llevar a cabo otras operaciones para mejorar la calidad de la escritura o dibujo seleccionado, tal como ajuste de brillo y contraste, ajuste de colores, eliminar ruido. Están disponibles numerosos algoritmos adaptados para realizar estas operaciones, tal como, por ejemplo, los algoritmos desarrollados por ABBYY Production LLC e ilustrados en la siguiente página web: http://www.abbyy.com/mobile_imaging_sdk/description/
Un diagrama de flujo de otra realización del método de esta divulgación para corregir imágenes distorsionadas que puede representar una única página planar o dos páginas planares adyacentes se representa en la figura 4. El algoritmo para generar una imagen corregida a partir de una imagen distorsionada que representa una o dos páginas se denomina "no deformar páginas" en el diagrama de flujo. De acuerdo con la figura 4, el algoritmo de "no deformar páginas" puede no ejecutarse si los usuarios deciden ignorar la detección de marcadores o si la detección de marcadores no ha sido posible. Las diversas operaciones mencionadas en el diagrama de flujo de la figura 4 se enumeran a continuación:
1.1. Detectar marcadores y detectar orientación - busca marcadores en la imagen y detecta orientación de página - horizontal (dos páginas) o vertical (una página). Una manera particularmente eficaz de ejecutar esta operación de acuerdo con esta divulgación se ilustrará en detalle en lo sucesivo.
1.2. Recorte - determina los bordes de un documento relativos al fondo, de modo que el fondo podría recortarse. Proporciona coordenadas del área que debe recortarse (cuatro esquinas del cuadrángulo). rhttp://www.abbvv.com/mobile imaging sdk/descr¡ption/#funct¡on151
1.3. No deformar páginas - corrige la imagen de tal manera que la imagen resultante parecería como una página doble extendida con páginas en el plano.
1.4. Corrección y recorte de alineación y perspectiva
1.4.1. Corrección de perspectiva - corrige distorsiones de perspectiva (de forma trapezoidal a rectangular)
[http://www.abbvv.com/mobile imaging sdk/description/#function261
1.4.2. Alineación y recorte - véase 1.2.
1.5. Auto contraste - ajuste automático de brillo y contraste [http://www.abbvv.com/mobile imaging sdk/description/#function131
1.6. Filtro de color - combina un grupo de funciones para procesar documentos de color. Las operaciones se aplican en el siguiente orden: ajuste automático de brillo y contraste, el fondo del documento se vuelve blanco [http://www.abbvv.com/mobile imaging sdk/descr¡pt¡on/#funct¡on61
1.7. Foto espía - combina un grupo de funciones para procesar imágenes borrosas, desenfocadas v oscuras. Las operaciones se aplican en el siguiente orden: eliminación de ruido, reducción de brillo, ajuste de brillo v contraste.
[http://www.abbvv.com/mobile_imaging_sdk/description/#function91
Un algoritmo particularmente eficaz para ubicar en la imagen distorsionada todos los marcadores cuando el marcador principal está hecho de dos cuadrados oscuros emparejados v cada uno de los marcadores subordinados está compuesto de un único cuadrado oscuro sobre un fondo claro, se describe en lo sucesivo en el presente documento haciendo referencia al diagrama de flujo de la figura 5 v a las elipses representadas en la figura 6.
Este algoritmo se pretende para detección de los marcadores capturados en la imagen distorsionada v comprende las siguientes etapas:
1.1. La imagen de entrada (es decir la imagen distorsionada) puede someterse a pre procesamiento para maximizar el contraste de los marcadores en el fondo. Esta etapa puede ser útil para simplificar la operación de ubicar los marcadores. El pre procesamiento puede incluir corrección de iluminación adaptativa v corrección de intensidad de imagen, por ejemplo, usando el histograma de la imagen. La corrección de iluminación adaptativa puede realizarse a nivel de puntos calculando el valor de intensidad promedio local v realizando una alineación de intensidad de imagen posterior con respecto a este valor. Puede realizarse corrección de intensidad de imagen adicional usando el histograma de brillo de la imagen, por ejemplo con un algoritmo para "ensanchar" el histograma de brillo de la imagen para extenderse sobre el rango total de la escala de grises [http://imageprocessingblog.com/histogram-adiustments-in-matlab-part-i1
1.2. Conversión a binario de la imagen, por ejemplo la denominada conversión de binario de Otsu, separa componentes conectados (segmentos) (valor 0) v el fondo (valor 1). Esta etapa permite determinar una imagen binaria en blanco v negro de los píxeles de los cuales tienen una alta o una baja intensidad, comparando con un umbral la intensidad de correspondientes píxeles de la imagen capturada. En la imagen binaria en blanco v negro es posible ubicar grupos de píxeles conectados blancos o negros rodeados por píxeles blancos o negros. Se requieren procedimientos de procesamiento adicional para seleccionar grupos de píxeles conectados que corresponden a marcadores
1.3. Una primera etapa de filtración puede consistir en las etapas que no requieren el cálculo de las características estadísticas en un conjunto de grupos de píxeles conectados, tal como el promedio de muestra v la varianza de muestra. La presencia eventual v el número de huecos en grupos de píxeles conectados (píxeles blancos/negros en grupos conectados de píxeles negros/blancos) puede determinarse calculando el denominado número de Euler (véase R. C. Gonzalez v R. E. Woods (2002), Digital Image Processing, Prentice-Hall, p. 661, incorporado en el presente documento por referencia, o http://www.mathworks.com/help/images/ref/bweuler.html). Rellenar huecos en grupos de píxeles conectados elimina huecos eventuales en la imagen binaria en cada uno de los grupos de píxeles conectados [http://www.mathworks.com/help/images/ref/imfill.html1 v permite una identificación más fácil de los marcadores, especialmente si está hecho de cuadrados oscuros impresos en un fondo claro.
1.4. Opcionalmente, puede ser posible eliminar ruido de punto único en la imagen por medio de una filtración de mediana. Para identificar grupos de píxeles conectados que de manera evidente no pueden representar los marcadores puesto que se extienden a través de un área demasiado grande, puede ser apropiado eliminar grupos de píxeles conectados de la imagen binaria que tienen el área fuera de un intervalo de tolerancia alrededor del valor de un área esperada para un tamaño de imagen dado de los cuadrados oscuros que constituven el marcador, dejando grupos de píxeles conectados cuva área está cerca del área esperada de grupos de píxeles conectados que pertenecen a los marcadores.
1.5. La eliminación de grupos de píxeles conectados alargados (véase la figura 6) puede realizarse calculando los segundos momentos para los contornos de componentes conectados, determinando las longitudes de ejes de la elipse que tiene los mismos segundos momentos, v calculando la relación de las longitudes de semieje. El algoritmo elimina estos componentes conectados, en donde la relación entre la longitud del semi-eje mavor v la longitud de semi-eje menor supera un valor umbral [http://www.mathworks.com/help/¡mages/ref/reg¡onprops.html#bqkf8ib1.
1.6. Opcionalmente, puede ser posible realizar una eliminación de grupos de píxeles conectados que tienen demasiada extensión con un procedimiento de umbral para identificar más rápidamente los cuadrados oscuros que constituven los marcadores. Puede determinarse un rectángulo delimitador de grupos de píxeles conectados v puede calcularse la relación entre el área de los grupos de píxeles conectados v el área del rectángulo delimitador. Se supone que esta relación está cercana a la unidad para los marcadores puesto que están hechos de cuadrados oscuros.
1.7. La segunda etapa de filtración puede usar las características estadísticas del conjunto de componentes conectados. Cuando se filtran componentes conectados por área, se calcula el conjunto de las áreas de componentes conectados, que se divide en dos agrupaciones por agrupación de k-medias
[https://en.wikipedia.org/wiki/K-means clusteringl. Se supone que todos los marcadores en la imagen original se hallarán en la misma agrupación, puesto que las posibles distorsiones de perspectiva no cambian sus áreas significativamente. Se selecciona la agrupación cuyo promedio es mayor. Los grupos de píxeles conectados que pertenecen a esta agrupación se mantendrán en la imagen.
1.8. Los marcadores en la imagen original tendrán intensidad promedio baja. La filtración puede realizarse de la siguiente manera. Cada grupo de píxeles conectados identifica la correspondiente región en la imagen inicial. El valor de intensidad promedio de la región se calcula durante la filtración. Si este valor supera el umbral especificado entonces se eliminan estos grupos de píxeles conectados. Esta filtración deja estos grupos de píxeles conectados para los que este valor es menor que un umbral. Típicamente, este umbral puede calcularse dinámicamente. 1.9. La filtración de componentes conectados por valor promedio de intensidad vecina de componente en la imagen original puede realizarse de manera similar a la etapa anterior. En esta etapa, se determina la intensidad promedio de píxeles vecinos que rodean el grupo de píxeles conectados. El valor de intensidad promedio de la vecindad se define por la forma de contorno del componente conectado. Se supone que el marcador tiene un fondo contrastado, por lo que la intensidad promedio de las cercanías de cada grupo de píxeles debe estar por encima de un cierto umbral, que puede calcularse típicamente de manera dinámica. Por lo tanto, se eliminan los grupos de píxeles conectados que tienen intensidad promedio menor que este umbral. Al final de esta etapa, se identifican los cuadrados oscuros que constituyen los marcadores.
1.10. Una vez que se identifican los cuadrados oscuros de los marcadores, el marcador principal puede discriminarse de los marcadores subordinados para corregir la orientación de la imagen. Para determinar cuadrados oscuros emparejados que constituyen un marcador principal, se determinan centros de grupos de píxeles conectados. Dos grupos de píxeles conectados forman un marcador principal si la distancia entre ellos es menor que la anchura promedio y altura promedio de los dos grupos de píxeles conectados.
La salida del método de esta divulgación es una imagen corregida de las páginas capturadas en las que se ha corregido la distorsión de perspectiva. Esta imagen corregida puede procesarse de acuerdo con técnicas de procesamiento de imagen bien conocidas para generar una imagen de selección que contiene únicamente los píxeles que pertenecen a la escritura o dibujos, filtrando los píxeles que pertenecen a los marcadores y a porciones no escritas de la página (fondo).
Las diversas realizaciones del método de esta divulgación pueden implementarse mediante un código de software ejecutado por un ordenador. De acuerdo con una realización, el código de software es una "aplicación" ejecutable por teléfonos inteligentes u ordenadores de tableta, que puede configurarse opcionalmente para permitir que el teléfono inteligente u ordenador de tableta envíe la imagen corregida o la imagen de selección como un fichero de imagen a un concentrador de comunicación y/o a un servidor de una red en la nube.
Claims (11)
1. Un método de generación de una imagen corregida a partir de una imagen distorsionada que representa al menos dos páginas planares adyacentes de un cuaderno o agenda teniendo cada una un marcador principal y una pluralidad de marcadores subordinados, estando ubicados todos dichos marcadores de dichas páginas en límites de la página que definen vértices de un primer rectángulo que tiene una primera relación de aspecto nominal, comprendiendo el método las siguientes operaciones:
a) ubicar, en dicha imagen distorsionada, posiciones de marcadores subordinados capturados y de un marcador principal capturado,
b) determinar una transformación geométrica para mapear ubicaciones de píxeles corregidos de dicha imagen corregida que corresponden a píxeles capturados de dicha imagen distorsionada,
c) generar dicha imagen corregida que contiene dichos píxeles corregidos en las ubicaciones determinadas en la etapa b),
caracterizado por que los marcadores de dos páginas planares adyacentes de dichas páginas planares definen un segundo rectángulo que tiene una segunda relación de aspecto, y por que dicha imagen distorsionada representa dos páginas planares adyacentes de un cuaderno o agenda, y por que dicha operación b) se lleva a cabo a través de las siguientes etapas cuando dos marcadores principales están en dicha imagen distorsionada:
b3) generar una imagen intermedia de las dos páginas adyacentes de dicho cuaderno o agenda a través de todas las siguientes etapas:
- para cada página capturada de dichas dos páginas adyacentes, determinar posiciones relativas, con respecto a dicho marcador principal, de marcadores subordinados que pertenecen a dicha página capturada y determinar una línea de borde superior (AB; FB) que une dos marcadores superiores de los marcadores de dicha página capturada, una línea de borde inferior (CD; ED) que une dos marcadores inferiores de los marcadores de dicha página capturada, una línea de borde externo (AC; FE) que une dos marcadores externos de los marcadores de dicha página capturada, una línea lateral superior (AF) que une dos marcadores superiores externos de los marcadores de dichas dos páginas adyacentes, una línea lateral inferior (CE) que une dos marcadores inferiores externos de los marcadores de dichas dos páginas adyacentes, un punto de cruce superior (B) entre las líneas de borde superior (AB, FB) de dichas dos páginas adyacentes, un punto de cruce inferior (D) entre las líneas de borde inferior (CD, ED) de dichas dos páginas adyacentes, una línea de chaflán (BD) de dichas dos páginas adyacentes que pasa a través de dicho punto de cruce superior (B) y dicho punto de cruce inferior (D), un punto objetivo superior (G) como punto de intersección entre dicha línea de chaflán (BD) y dicha línea lateral superior (AF), un punto objetivo inferior (H) como punto de intersección entre dicha línea de chaflán (BD) y dicha línea lateral inferior (CE), dicha línea de borde externo (AC; FE) que cruza dicha línea de borde inferior (CD; ED) y dicha línea de borde superior (AB; FB) en correspondencia de un marcador inferior externo (C; E) y de un marcador superior externo (A; F), respectivamente,
- determinar un punto de transformación fija central (O) que pertenece a dicha línea de chaflán (BD) como el punto en el que la relación entre su distancia (OD) desde el punto de cruce inferior (D) y su distancia (OH) desde el punto objetivo inferior (H) equivale a la relación entre su distancia (OB) desde el punto de cruce superior (B) y su distancia (OG) desde el punto objetivo superior (G),
- para cada página capturada de dichas dos páginas adyacentes, determinar un respectivo punto de transformación fija externo (X1; X2) que pertenece a la respectiva línea de borde externo (AC; FE) como el punto en el que la relación entre su distancia (X1C; X2E) desde el marcador inferior externo (C; E) y su distancia (X1A; X2F) desde el marcador superior externo (A; F) equivale a la relación entre la distancia (OD) de dicho punto de transformación fija central (O) desde el punto de cruce inferior (D) y la distancia (OB) de dicho punto de transformación fija central (O) desde el punto de cruce superior (B), y determinar un respectivo segmento de transformación fijo (OX1; OX2) que une el punto de transformación fija central (O) con el respectivo punto de transformación fija externo (X1; X2), a continuación, para cada píxel capturado (P) que radica en un área de página comprendida entre el respectivo segmento de transformación fija (OX1; OX2) y la respectiva línea de borde superior/inferior (AB/CD; FB/ED), determinar un correspondiente píxel intermedio (P1) de acuerdo con un algoritmo de ensanchamiento de imagen que mantiene sin cambiar todos los puntos de dicha línea de borde externo (AC; FE) y todos los puntos de dicho segmento de transformación fija (OX1; OX2) y que mapea puntos que radican en dicha área de página para alargar dicha línea de chaflán para proporcionar dicho punto de cruce superior/inferior (B; D) en dicho punto objetivo superior/inferior (G; H) y transformar dicha línea de borde superior/inferior (AB; BF / CD; DE) en dicha línea lateral superior/inferior (Af / CE),
- determinar dicha imagen intermedia que contiene dichos píxeles intermedios de dichas dos páginas adyacentes y un cuadrilátero guía compuesto de dicha línea lateral superior (AF), de dicha línea lateral inferior (CE) y de dichas líneas de borde externas (AC, FE);
b4) determinar ubicaciones de píxeles corregidos de dicha imagen corregida procesando píxeles de dicha imagen intermedia con un algoritmo de corrección de perspectiva adaptado para transformar dicho cuadrilátero guía en un rectángulo que tiene dicha segunda relación de aspecto nominal tomando como una referencia lateral dicha línea de borde externo o dicha línea de borde interno y ajustando la longitud de las otras líneas del cuadrilátero en
consecuencia.
2. El método de la reivindicación 1, en donde dicho cuadrilátero guía es sustancialmente un trapezoide, una base del cual es una de dichas líneas de borde externo, y dicho algoritmo de ensanchamiento de imagen comprende las etapas de:
- determinar una línea paralela (K1; O1) a dicha línea de chaflán que pasa a través de dicho píxel capturado (P), que cruza el respectivo segmento de transformación fija (OX1; OX2) en un punto fijo relativo (O1), que cruza la respectiva línea de borde superior/inferior (AB/CD; FB/ED) en un punto superior/inferior relativo (K1; L1) y que cruza la respectiva línea lateral superior/inferior (AF; CE) en un punto objetivo superior/inferior relativo (K; L), y - determinar dicho correspondiente píxel intermedio (P1) para la relación entre su distancia (P1O1) desde el punto fijo relativo (O1) y la distancia (PO1) de dicho píxel capturado (P) desde el punto fijo relativo (O1) equivale a la relación entre la distancia (KO1) de dicho punto objetivo superior/inferior relativo (K; L) desde el punto fijo relativo (O1) y la distancia (K1O1) de dicho punto superior/inferior relativo (K1; L1) desde el punto fijo relativo (O1).
3. El método de una de las reivindicaciones 1 a 2, que comprende adicionalmente la etapa de rotar dicha imagen distorsionada para orientar verticalmente dicha línea de borde interno o dicha línea de chaflán.
4. El método de una de las reivindicaciones 1 a 3, en donde dicho marcador principal está compuesto de dos cuadrados oscuros emparejados a una distancia mutua menor que la anchura y altura de los cuadrados y cada uno de dichos marcadores subordinados es un único cuadrado oscuro, situándose dichos marcadores a través de un fondo claro, y en donde dicha operación a) se lleva a cabo a través de las siguientes etapas:
a1) pre-procesar dicha imagen distorsionada con un algoritmo de corrección de iluminación adaptativa realizada por cálculo a nivel de puntos de un valor de intensidad promedio local de píxeles en una vecindad de un pixel de dicha imagen distorsionada y realizar una alineación de intensidad de imagen con respecto a dicho valor de intensidad promedio local para determinar un correspondiente píxel pre-procesado;
a2) determinar una imagen binaria en blanco y negro, los píxeles de la cual tienen una intensidad alta o una baja, comparando con un umbral la intensidad de correspondientes píxeles pre-procesados de la imagen distorsionada; a3) ubicar grupos de píxeles conectados de dicha imagen binaria en blanco y negro, a continuación dentro de dichos grupos de píxeles conectados de dicha imagen binaria en blanco y negro ubicar píxeles eventuales rodeados teniendo de esta manera una intensidad de valor opuesto con respecto a la intensidad de dichos píxeles conectados y corregir dicho valor opuesto con un algoritmo de relleno para que los grupos de píxeles conectados parezcan como un área rellenada uniformemente sin huecos;
a4) determinar para cada grupo de píxeles conectados los momentos estadísticos de segundo orden a lo largo de dos ejes de coordenadas, y determinar longitudes de semieje de una correspondiente elipse que tiene los mismos momentos estadísticos de segundo orden, a continuación para cada una de dichas elipses, comparar con un segundo umbral la relación entre las longitudes de su semieje mayor y su semieje menor, a continuación filtrar los correspondientes grupos para los que dicho segundo umbral se supera o dicho semieje menor es menor que un tercer umbral, y mantener los grupos restantes;
a5) procesar, con un algoritmo de agrupamiento de k-medias, los píxeles de dicha imagen distorsionada que corresponden a los grupos mantenidos en la etapa a4) para ubicar los agrupaciones de píxeles, y mantener los píxeles que pertenecen a la agrupación con el mayor promedio;
a6) ubicar grupos de píxeles conectados que pertenecen a la agrupación mantenida en la etapa a5), comparar la intensidad promedio de cada grupo con un cuarto umbral, a continuación filtrar grupos de píxeles para los que se supera dicho cuarto umbral y mantener grupos de píxeles para los que no se supera dicho cuarto umbral; a7) ubicar píxeles de contorno que rodean los grupos de píxeles conectados mantenidos en la etapa a6), comparar la intensidad promedio de dichos píxeles de contorno de cada grupo con un quinto umbral, a continuación filtrar grupos de píxeles para los que no se supera dicho quinto umbral y mantener grupos de píxeles para los que se supera dicho quinto umbral, correspondiendo los grupos de píxeles mantenidos a los cuadrados oscuros de dichos marcadores de la página capturada;
a8) discriminar el marcador principal de los marcadores subordinados procesando los grupos de píxeles mantenidos en la etapa a7) ubicando el centro de cada uno de dichos grupos de píxeles y determinando dos grupos de píxeles a una distancia mutua menor que la anchura promedio y altura promedio de los dos grupos de píxeles.
5. El método de la reivindicación 4, que comprende la etapa de mejorar el contraste de dicha imagen distorsionada con un algoritmo de ensanchamiento de histograma antes de determinar dicha imagen binaria en blanco y negro.
6. El método de la reivindicación 4, que comprende adicionalmente al menos una de las siguientes operaciones:
- después de dicha etapa a3) y antes de dicha etapa a4), filtrar también el ruido de punto único por medio de una filtración de mediana de la imagen en blanco y negro;
- después de dicha etapa a3) y antes de dicha etapa a4), determinar también el área de cada uno de dichos grupos de píxeles conectados y filtrar grupos de píxeles conectados cuya área supera un sexto umbral;
- después de dicha etapa a4) y antes de ejecutar dicha etapa a5), determinar para cada uno de dichos grupos de píxeles conectados un rectángulo envolvente, el área de dicho rectángulo envolvente y el área del grupo de píxeles
conectados considerado, a continuación filtrar los grupos de píxeles conectados para los que la relación entre el área de dicho rectángulo envolvente y el área del grupo de píxeles conectados considerado no está comprendida en un intervalo prestablecido alrededor de 1.
7. Un método de generación de una imagen de selección de una escritura o un dibujo bosquejado en una página o en dos páginas adyacentes de un cuaderno o agenda que comprende al menos una cubierta frontal planar y una cubierta trasera planar para cubrir lados opuestos del cuaderno o agenda y una cubierta de lomo deformable, y páginas rectangulares unidas a dichas cubiertas con una unión configurada para, cuando el cuaderno o agenda está abierta, cualesquiera dos páginas adyacentes planares en las que el cuaderno o agenda está abierto se colocan de manera plana sobre dichas cubiertas del cuaderno o agenda sin curvarse sustancialmente, teniendo cada página de dichas páginas adyacente un marcador principal en una esquina externa de la página y una pluralidad de marcadores subordinados situados en las otras esquinas de la misma página, estando ubicados los marcadores principales de dichas dos páginas adyacentes planares en esquinas diametralmente opuestas con respecto a un punto medio de una línea de chaflán de dichas páginas del cuaderno o agenda, estando ubicados todos dichos marcadores de cada página en límites de la página como vértices de un primer rectángulo que tiene una primera relación de aspecto nominal, definiendo los marcadores de dos páginas planares adyacentes de dichas páginas planares un segundo rectángulo que tiene una segunda relación de aspecto, comprendiendo el método las siguientes etapas:
tomar una imagen con un dispositivo de captura de imagen de una página planar o de dos páginas planares adyacentes de un cuaderno o agenda, capturando una imagen distorsionada;
procesar dicha imagen distorsionada con el método de una de las reivindicaciones de 1 a 6, generando una imagen corregida;
discriminar en dicha imagen corregida píxeles que pertenecen a dichos marcadores, píxeles que pertenecen a dicha escritura o dibujo bosquejado y píxeles que pertenecen a una porción no escrita de dichas páginas del cuaderno o agenda;
generar dicha imagen de selección seleccionando de la imagen corregida dichos píxeles que pertenecen a dicha escritura o dibujo bosquejado.
8. El método de la reivindicación 7, que comprende adicionalmente procesar dicha imagen corregida con un algoritmo elegido en el conjunto compuesto de corrección de borrosidad, corrección de desenfoque, corrección de brillo y/o contraste y eliminación de ruido, antes de generar dicha imagen de selección.
9. Un programa informático para PC o una aplicación móvil para teléfonos inteligentes u ordenadores de tableta, que comprende un código de software para ejecutar las etapas de método de una de las reivindicaciones 1 a 8 cuando se ejecuta por un PC o un teléfono inteligente o un ordenador de tableta.
10. Un cuaderno de tapa dura o una agenda de tapa dura para implementar el método de la reivindicación 1, que comprende:
una cubierta frontal planar y una cubierta trasera planar para cubrir lados opuestos del cuaderno o agenda, y páginas sustancialmente rectangulares unidas a dichas cubiertas en donde:
- cada página de dichas páginas sustancialmente rectangulares tiene un marcador principal en una esquina externa de la página y una pluralidad de marcadores subordinados ubicados en las otras esquinas de la misma página,
- todos dichos marcadores de cada página están ubicados en límites de la página como vértices de un primer rectángulo que tiene una primera relación de aspecto nominal,
caracterizado por que
dicho cuaderno de tapa dura o agenda de tapa dura tiene una cubierta de lomo deformable y dichas páginas sustancialmente rectangulares están unidas a dichas cubiertas con una unión configurada para, cuando el cuaderno o agenda está abierta, permitir que cualesquiera dos páginas adyacentes planares en las que se abre el cuaderno o agenda se coloquen de manera plana sobre dichas cubiertas del cuaderno o agenda sin curvarse sustancialmente;
los marcadores principales de dichas dos páginas adyacentes planares están ubicados en esquinas diametralmente opuestas con respecto a un punto medio de una línea de chaflán de dichas páginas del cuaderno o agenda;
los marcadores de dos páginas planares adyacentes de dichas páginas planares definen un segundo rectángulo que tiene una segunda relación de aspecto.
11. El cuaderno o agenda de tapa dura de la reivindicación 10, en donde:
dicho marcador principal está compuesto de dos cuadrados oscuros emparejados a una distancia mutua menor que la anchura y altura de los cuadrados, y
cada uno de dichos marcadores subordinados es un único cuadrado oscuro, estando situados dichos marcadores sobre un fondo claro.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ITUB20150971 | 2015-06-12 | ||
| PCT/IB2016/053426 WO2016199080A1 (en) | 2015-06-12 | 2016-06-10 | Method of correcting a captured image, method of selecting a drawing sketched on a page or on two adjacent pages of a notebook, a relative app for smartphone, a hardback notebook and a hardback agenda |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2770688T3 true ES2770688T3 (es) | 2020-07-02 |
Family
ID=53901020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES16735691T Active ES2770688T3 (es) | 2015-06-12 | 2016-06-10 | Método de corrección de una imagen capturada, método de selección un dibujo bosquejado en una página o en dos páginas adyacentes de un cuaderno, una aplicación relativa para teléfono inteligente, un cuaderno de tapa dura y una agenda de tapa dura |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10504215B2 (es) |
| EP (1) | EP3308350B1 (es) |
| JP (1) | JP6798752B2 (es) |
| DK (1) | DK3308350T3 (es) |
| ES (1) | ES2770688T3 (es) |
| PL (1) | PL3308350T3 (es) |
| PT (1) | PT3308350T (es) |
| WO (1) | WO2016199080A1 (es) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2631765C1 (ru) * | 2016-04-26 | 2017-09-26 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот |
| CN108780572B (zh) * | 2017-02-22 | 2021-04-20 | 华为技术有限公司 | 图像校正的方法及装置 |
| JP6977425B2 (ja) * | 2017-09-14 | 2021-12-08 | セイコーエプソン株式会社 | 画像処理装置、二値画像生産方法および画像処理プログラム |
| US11301063B2 (en) | 2018-07-18 | 2022-04-12 | John J. King, JR. | Smart pen device and method of implementing a smart pen device |
| KR102521408B1 (ko) * | 2018-08-27 | 2023-04-14 | 삼성전자주식회사 | 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법 |
| WO2020139008A1 (ko) * | 2018-12-28 | 2020-07-02 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| US11829194B2 (en) | 2020-05-08 | 2023-11-28 | Esko Software Bv | Method and system for deriving a digital representation of an unfolded blank and for cost estimation based upon the same |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6970592B2 (en) | 2000-09-04 | 2005-11-29 | Fujitsu Limited | Apparatus and method for correcting distortion of input image |
| US6763141B2 (en) * | 2000-12-28 | 2004-07-13 | Xerox Corporation | Estimation of local defocus distance and geometric distortion based on scanned image features |
| US6873732B2 (en) * | 2001-07-09 | 2005-03-29 | Xerox Corporation | Method and apparatus for resolving perspective distortion in a document image and for calculating line sums in images |
| DE10156040B4 (de) * | 2001-11-15 | 2005-03-31 | Océ Document Technologies GmbH | Verfahren, Vorrichtung und Computerprogramm-Produkt zum Entzerren einer eingescannten Abbildung |
| US20060210192A1 (en) * | 2005-03-17 | 2006-09-21 | Symagery Microsystems Inc. | Automatic perspective distortion detection and correction for document imaging |
| EP1947605B1 (en) | 2005-02-25 | 2019-03-06 | Psion Systems Inc. | Automatic perspective distortion detection and correction for document imaging |
| US7330604B2 (en) * | 2006-03-02 | 2008-02-12 | Compulink Management Center, Inc. | Model-based dewarping method and apparatus |
| US8107766B2 (en) * | 2008-04-03 | 2012-01-31 | Abbyy Software Ltd. | Method and system for straightening out distorted text-lines on images |
| WO2012166982A2 (en) | 2011-05-31 | 2012-12-06 | Polyvision Corporation | Document unbending systems and methods |
| CN102833460B (zh) * | 2011-06-15 | 2015-03-11 | 富士通株式会社 | 图像处理方法、图像处理设备及扫描仪 |
| US8594446B2 (en) * | 2012-01-12 | 2013-11-26 | Eastman Kodak Company | Method for enhancing a digitized document |
-
2016
- 2016-06-10 PL PL16735691T patent/PL3308350T3/pl unknown
- 2016-06-10 DK DK16735691.4T patent/DK3308350T3/da active
- 2016-06-10 US US15/580,084 patent/US10504215B2/en active Active
- 2016-06-10 ES ES16735691T patent/ES2770688T3/es active Active
- 2016-06-10 PT PT167356914T patent/PT3308350T/pt unknown
- 2016-06-10 EP EP16735691.4A patent/EP3308350B1/en active Active
- 2016-06-10 JP JP2017564085A patent/JP6798752B2/ja active Active
- 2016-06-10 WO PCT/IB2016/053426 patent/WO2016199080A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016199080A1 (en) | 2016-12-15 |
| PL3308350T3 (pl) | 2020-05-18 |
| US10504215B2 (en) | 2019-12-10 |
| US20180300861A1 (en) | 2018-10-18 |
| EP3308350A1 (en) | 2018-04-18 |
| EP3308350B1 (en) | 2019-11-06 |
| DK3308350T3 (da) | 2020-02-17 |
| JP6798752B2 (ja) | 2020-12-09 |
| PT3308350T (pt) | 2020-02-19 |
| JP2018518770A (ja) | 2018-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2770688T3 (es) | Método de corrección de una imagen capturada, método de selección un dibujo bosquejado en una página o en dos páginas adyacentes de un cuaderno, una aplicación relativa para teléfono inteligente, un cuaderno de tapa dura y una agenda de tapa dura | |
| US9495735B2 (en) | Document unbending systems and methods | |
| CN108304814B (zh) | 一种文字类型检测模型的构建方法和计算设备 | |
| CN109034165B (zh) | 一种证件图像的裁切方法、装置、系统及存储介质 | |
| KR101292925B1 (ko) | 촬상 대상물, 화상 처리 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록 매체 및 화상 처리 방법 | |
| CN105450900B (zh) | 用于文档图像的畸变校正方法和设备 | |
| KR101399709B1 (ko) | 모델-기반 디워핑 방법 및 장치 | |
| RU2631765C1 (ru) | Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот | |
| CN107845068B (zh) | 图像视角变换装置以及方法 | |
| US10455163B2 (en) | Image processing apparatus that generates a combined image, control method, and storage medium | |
| CN111832476A (zh) | 版面分析方法、阅读辅助设备、电路和介质 | |
| CN109308465A (zh) | 表格线检测方法、装置、设备及计算机可读介质 | |
| JP2016186773A (ja) | 証憑イメージ取得方法およびこれを用いた会計処理システム | |
| CN108805124B (zh) | 图片处理方法及装置、计算机可读存储介质 | |
| CN110738604B (zh) | 基于Canny算子和Hough变换的大倾角证件图像矫正方法及系统 | |
| US20160343142A1 (en) | Object Boundary Detection in an Image | |
| US20180082426A1 (en) | Algorithmic method for detection of documents in images | |
| Roullet et al. | An automated technique to recognize and extract images from scanned archaeological documents | |
| CN115205113A (zh) | 一种图像拼接方法、装置、设备及存储介质 | |
| US20220198814A1 (en) | Image dewarping with curved document boundaries | |
| KR20150047060A (ko) | 명함 이미지 여부를 판별하는 장치 및 방법 | |
| KR102002531B1 (ko) | 영상 보정 장치 및 방법 | |
| KR20150047059A (ko) | 명함 이미지 여부를 판별하는 장치 및 방법 | |
| CN117315671A (zh) | 文档矫正的方法、装置、电子设备及介质 | |
| CN114026598A (zh) | 用于计算机视觉的书写表面边界标记 |