BRPI1102370A2 - aparelho e metodo de processamento de imagem, e, programa - Google Patents
aparelho e metodo de processamento de imagem, e, programa Download PDFInfo
- Publication number
- BRPI1102370A2 BRPI1102370A2 BRPI1102370-8A BRPI1102370A BRPI1102370A2 BR PI1102370 A2 BRPI1102370 A2 BR PI1102370A2 BR PI1102370 A BRPI1102370 A BR PI1102370A BR PI1102370 A2 BRPI1102370 A2 BR PI1102370A2
- Authority
- BR
- Brazil
- Prior art keywords
- image data
- color
- wavelength
- visible light
- wavelength components
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 16
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 239000002131 composite material Substances 0.000 claims abstract description 11
- 238000003672 processing method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 52
- 230000003287 optical effect Effects 0.000 description 21
- 230000035945 sensitivity Effects 0.000 description 21
- 238000001228 spectrum Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 10
- 239000006185 dispersion Substances 0.000 description 9
- 239000002245 particle Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 238000000862 absorption spectrum Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- -1 pollution Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
APARELHO E MéTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA é fornecido um aparelho de processamento de imagem incluindo uma unidade de aquisição de imagem que obtém dados de imagem a cores compostos de somente componentes de comprimento de onda em uma região de luz visível, e dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimentos de onda outros do que a região de luz visível, uma unidade de extração de informação de cor que extrai informação de cor a partir dos dados de imagem a cores, uma unidade de extração de informação de luminância que extrai informação de luminância a partir dos dados de imagem monocromática, e uma unidade de síntese que sintetiza a informação de cor-extraída e a informação de luminância extraída para gerar dados de.imagem compósitos.
Description
"APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA"
FUNDAMENTOS DA INVENÇÃO Campo da Invenção
A presente invenção se refere a um aparelho de processamento de imagem, um método de processamento de imagem, e um programa. Descrição da Técnica relacionada
A câmera de vigilância de área ampla que tira uma imagem de ambiente externo, etc é principalmente solicitada para as seguinte três condições. Uma primeira condição a ser solicitada é para fotografar claramente um objeto a ser notado mesmo em uma condição de filmagem na qual o objeto é difícil de ver devido a cerração, nevoeiro ou o similar. Uma segunda condição é para fotografar o objeto mesmo em um ambiente escuro com baixa luminância baixa. Uma terceira condição é para obter uma imagem a cores porque identificação através de informação de cor, tal como cor de roupas, pode ser importante em muitos casos.
Explicações serão dadas nas situações satisfazendo ou não satisfazendo as três condições acima em um caso usando uma câmera com um dispositivo de captura de imagem a cores de chip único do passado.
Primeiro de tudo, a primeira condição será explicada. É importante que luz refletida em um objeto possa ser atingida para um dispositivo de captura de imagem de uma câmera sem ser diminuída de modo a fotografar o objeto claramente. Em um espaço onde a luz refletida no objeto viaja para a câmera, existia ar (molécula de N2, ou o similar), umidade tal como uma névoa, partícula transportadas pelo ar tal como poluição, areia ou o similar. Esses objetos dispersam a luz e evitam uma oportunidade de clara filmagem.
De acordo com a fórmula de dispersão de Rayleigh onde a igualdade é obtida se a partícula transportada pelo ar é pequena como uma molécula de ar de 0,37 nm em diâmetro ou uma porção de poluição, uma intensidade de dispersão é proporcional ao inverso da quarta potência do comprimento de onda da luz. Mais ainda, a teoria de Mie será aplicada a um tamanho de grão de nevoeiro, ou o similar, que é cerca de 1000 nm à 50μηι em diâmetro, e a intensidade de dispersão é proporcional aproximadamente no intervalo de 0 ao inverso do quadrado do comprimento de onda da luz. Na luz visível de comprimento de onda 400 nm à 700 nm, comprimentos de onda de luz azul ou verde em particular tendem a ser mais dispersos, e comprimentos de onda de luz azul ou verde não atingem uma câmera. Por conseguinte, uma imagem tirada por uma câmera que recebe luzes visíveis está próxima a um estado visível para o olho humano, e o objeto na distância será nublado com baixa visibilidade.
A seguir, a segunda condição será explicada. Já que o dispositivo de captura de imagem a cores de chip único é montado com um filtro de cor vermelha, verde, azul em frente do fotodetector, a sensibilidade do fotodetector de cada cor vermelha, verde e azul será mais baixa do que a sensibilidade de um dispositivo de captura de imagem monocromática. Há um método (por exemplo, uma formação de imagem no modo noturno) para temporariamente economizar um filtro de corte IR configurado em frente de um dispositivo de captura de imagem e para iluminar o objeto por luz infravermelho de modo a compensar baixa sensibilidade em formação de imagem em um ambiente escuro com baixa luminância. Contudo, em uma formação de imagem em infravermelho, é difícil fotografar uma imagem a cores, e é também difícil melhorar a sensibilidade substancialmente já que ela tem de ser passada através de filtro de vermelho, verde e azul, em frente do fotodetector na formação de imagem em infravermelho.
Por outro lado, um dispositivo de captura de imagem monocromática de um único chip é capaz de fotografar uma imagem com maior sensibilidade e maior resolução espacial do que o dispositivo de captura de imagem a cores de chip único. Contudo, já que o dispositivo de captura de imagem monocromática não é capaz de obter informação de cor, a terceira condição mencionada acima não é para ser satisfeita. SUMÁRIO DA INVENÇÃO
JP 2007-184805A descreve uma tecnologia para extrair informação de luminância dos dados de imagem contidos em luzes visíveis e luzes infravermelho de modo a reproduzir uma imagem a cores na qual cada uma da informação de cor e da informação de luminância é ótima, para extrair a informação de cor a partir de uma imagem visível após excluir componentes de infravermelho, e para sintetizar a informação de luminância e a informação de cor. Contudo, JP 2007-184805A tem uma questão que ela não pode qualificar a primeira condição acima para fotografar um objeto claramente já que ele usou dados de imagem contidos na luz visível quando extraindo a informação de luminância.
Em face do exposto, é desejável fornecer um aparelho de processamento de imagem, um método de processamento de imagem, e um programa, que são novos e melhorados, e que são capazes de fotografar um objeto mesmo em uma condição de filmagem na qual o objeto é difícil de ser visto devido à neblina ou o similar, ou em um ambiente escuro com baixa luminância, e capaz de obter imagens coloridas.
De acordo com uma modalidade da presente invenção, é fornecido um aparelho de processamento de imagem incluindo uma unidade de aquisição de imagem que obtém dados de imagem a cores compostos de somente componentes de comprimento de onda em uma região de luz visível, e dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimento de onda em outras do que a região de luz visível, uma unidade de extração de informação de cor que extrai informação de cor a partir dos dados de imagem a cores, a unidade de extração de informação de luminância que extrai informação de luminância a partir dos dados de imagem monocromática, e uma unidade de síntese que sintetiza a informação de cor extraída e a informação de luminância extraída para gerar dados de imagem compósitos.
Os dados de imagem a cores podem ser compostos somente de componentes de comprimento de onda mais curtos do que um valor predeterminado, e os dados de imagem monocromática podem ser compostos de somente componentes de comprimento de onda mais longos do que o valor predeterminado.
Os dados de imagem a cores podem conter componentes de comprimento de onda no intervalo de 400 nm à 700 nm, e os dados de imagem monocromática podem conter componentes de comprimento de onda no intervalo de 700 nm à 1000 nm.
Os dados de imagem a cores podem conter componentes de comprimento de onda cujo um comprimento de onda de meio valor em um lado de comprimento de onda curto está no intervalo de 420 nm à 460 nm e um comprimento de onda de meio valor em um lado de comprimento de onda longo está no intervalo de 610 nm à 650 nm, e os dados de imagem monocromática podem conter componentes de comprimento de onda cujo um comprimento de onda de meio valor em um lado de comprimento de onda curto está no intervalo de 650 nm à 750 nm.
A unidade de aquisição de imagem pode obter os dados de imagem monocromática compostos de componentes de comprimento de onda na região de luz visível próximo a um lado fora da região de luz visível e os componentes de comprimento de onda em lado fora da região de luz visível.
Os dados de imagem a cores podem ser compostos de somente componentes de comprimento de onda iguais à ou menos do que um primeiro valor predeterminado, e os dados de imagem monocromática podem ser compostos de somente componentes de comprimento de onda iguais à ou maiores do que um segundo valor predeterminado, que é menor do que o primeiro valor predeterminado.
De acordo com uma outra modalidade da presente invenção, é fornecido um método de processamento de imagem incluindo as etapas de obter dados de imagem a cores compostos de somente componentes de comprimento de onda em uma região de luz visível, e dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimento de onda em um lado fora da região de luz visível, extrair informação de cor a partir dos dados de imagem a cores, extrair informação de luminância a partir dos dados de imagem monocromática, e sintetizar a informação de cor extraída e a informação de luminância extraída para gerar dados de imagem compósitos.
De acordo com a modalidades da presente invenção descrita acima, é possível fornecer um programa forçando um computador a executar as etapas de obter dados de imagem a cores compostos de somente componentes de comprimento de onda em uma região de luz visível, e dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimento de onda fora da região de luz visível, extrair informação de cor a partir dos dados de imagem a cores, extrair informação de luminância a partir dos dados de imagem monocromática, e sintetizar a informação de cor extraída e a informação de luminância extraída para gerar dados de imagem compósitos.
Conforme descrito acima, de acordo com a presente invenção, é possível fotografar um objeto em uma condição de filmagem na qual o objeto é difícil de ser visto devido ao nevoeiro ou o similar, ou em um ambiente escuro com baixa luminância e para obter a imagem a cores. DESCRIÇÃO BREVE DOS DESENHOS
FIG. 1 é um diagrama em bloco para ilustrar um aparelho de processamento de imagem 102 de acordo com uma modalidade da presente invenção;
FIG. 2 é um diagrama em bloco para ilustrar um aparelho de formação de imagem 100 de acordo com uma modalidade;
FIG. 3 é um diagrama explicativo para ilustrar um sistema óptico 101 de acordo com a modalidade;
FIG. 4 é um fluxograma para ilustrar um processamento de síntese do aparelho de processamento de imagem 102 de acordo com a modalidade;
FIG. 5 é um gráfico para ilustrar uma capacidade de reflexão espectral de luz que é refletida em um espelho de espectro 152;
FIG. 6 é um gráfico para ilustrar uma fração passante de luz incidente espectral de luz que é transmitida a partir do espelho de espectro .152;
FIG. 7 é um gráfico para ilustrar um espectro de absorção de pigmento visual que é contido por células em cone (S, M, L) e células em bastão (R) de um corpo humano;
FIG. 8 é um gráfico para ilustrar uma característica de sensibilidade espectral de um dispositivo de captura de imagem a cores 154;
FIG. 9 é um gráfico para ilustrar uma característica de sensibilidade espectral de um dispositivo de captura de imagem monocromática 156;
FIG. 10 é um gráfico para ilustrar uma relação entre volume de dispersão e comprimento de onda de acordo com a fórmula de dispersão de Rayleigh;
FIG. 11 é um diagrama em bloco para ilustrar um aparelho de formação de imagem 200 e o aparelho de processamento de imagem 102 de acordo com um exemplo modificado da modalidade da presente invenção; e
FIG. 12 é um diagrama em bloco para ilustrar aparelhos de formação de imagem 300a, 300b, e o aparelho de processamento de imagem 102 de acordo com um exemplo modificado da modalidade.
DESCRIÇÃO DETALHADA DA(S) MODALIDADE(S)
Daqui em diante, modalidades preferidas da presente invenção serão descritas em detalhe com referência aos desenhos em anexo. Note que, nesta especificação e os desenhos em anexo, elementos estruturais que têm substancialmente a mesma função e estrutura são denotados com os mesmos numerais de referência, e explicação repetida desses elementos estruturais é omitida.
A explicação será dada daqui em diante na seguinte ordem:
1. Configuração e Operação de uma modalidade
2. Modalidade Modificada
1. Configuração e Operação de uma modalidade
[Configuração do aparelho de processamento de imagem 102]
Primeiro, com referência à Fig. 1, uma explicação será dada sobre a configuração do aparelho de processamento de imagem 102 de acordo com uma modalidade da presente invenção. FIG. 1 é um diagrama em bloco para ilustrar o aparelho de processamento de imagem 102 de acordo com a modalidade da presente invenção.
O aparelho de processamento de imagem 102 extrai informação de cor a partir dos dados de imagem a cores compostos de somente componentes de comprimento de onda em uma região de luz visível, extrai informação de luminância a partir dos dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimento de onda na outra do que região de luz visível, e sintetizar a informação de cor e a informação de luminância para gerar dados de imagem. Isto torna possível para obter uns dados de imagem nos quais um objeto é exibido claramente já que uns dados de imagem contidos na luz visível não são usados quando extraindo a informação de luminância.
O aparelho de processamento de imagem 102 inclui uma unidade de aquisição de dados de imagem a cores 112, uma unidade de aquisição de dados de imagem monocromática 114, uma unidade de extração de informação de cor 122, uma unidade de extração de informação de luminância 124, e uma unidade de síntese 130, ou o similar.
A unidade de aquisição de dados de imagem a cores 112 é um exemplo de uma unidade de aquisição de imagem que obtém dados de imagem a cores obtidos como o resultado de formação de imagem usando um dispositivo de captura de imagem a cores. O dispositivo de captura de imagem a cores é um dispositivo de captura de imagem que é montado com um filtro de cor de vermelho, verde e azul em frente dos fotodetectores, e que emite dados de imagem a cores compostos de componentes de cor vermelha, componentes de cor verde e componentes de cor azul.
Se os dados de imagem a cores obtidos a partir dos dispositivos de captura de imagem a cores são compostos de somente componentes de comprimento de onda em uma região de luz visível, a unidade de aquisição de dados de imagem a cores 112 envia os dados de imagem a cores compostos de somente componentes de comprimento de onda na região de luz visível como é para a unidade de extração de informação de cor 122. Por outro lado, se os dados de imagem a cores obtidos a partir dos dispositivos de captura de imagem a cores contêm componentes de comprimento de onda de componentes de luz infra-vermelha ou o similar outro do que na região de luz visível, a unidade de aquisição de dados de imagem a cores 112 removes os componentes de comprimento de onda outros do que na região de luz visível, e envia os dados de imagem a cores compostos de somente componentes de comprimento de onda na região de luz visível, para a unidade de extração de informação de cor 122.
Removendo os componentes de comprimento de onda tal como componentes de luz infravermelho ou o similar a partir dos dados de imagem a cores, se torna possível para obter imagem colorida que pode ser recebida por percepção humana e fácil de ser reconhecido por olhos humanos.
A unidade de aquisição de dados de imagem monocromática .114 é um exemplo da unidade de aquisição de imagem e obtém dados de imagem monocromática obtidos como o resultado de formação de imagem usando dispositivo de captura de imagem monocromática. O dispositivo de captura de imagem monocromática é um dispositivo de captura de imagem que não é montado com um filtro de cor em frente de um fotodetector, e que emite dados de imagem monocromática compostos de informação de informação de luminância. Já que o dispositivo de captura de imagem monocromática não é montado com um filtro de cor, ele tem maior sensibilidade e é capaz de fotografar com maior resolução espacial do que o dispositivo de captura de imagem a cores.
Se os dados de imagem monocromática obtidos a partir dos dispositivos de captura de imagem monocromática são compostos de somente componentes de comprimento de onda outros do que em uma região de luz visível, a unidade de aquisição de dados de imagem monocromática 114 envia os dados de imagem monocromática compostos de somente componentes de comprimento de onda outros do que na região de luz visível como é para a unidade de extração de informação de luminância 124. Por outro lado, se os dados de imagem monocromática obtidos a partir dos dispositivos de captura de imagem monocromática contém componentes de comprimento de onda na região de luz visível, a unidade de aquisição de dados de imagem monocromática 114 remove os componentes de comprimento de onda na luz visível, e envia os dados de imagem monocromática compostos de somente componentes de comprimento de onda outros do que na região de luz visível para a unidade de extração de informação de luminância 124.
Removendo componentes de luz visível a partir dos dados de imagem monocromática, se torna possível obter imagem monocromática na qual um objeto é claro mesmo em um ambiente com baixa claridade de devido à condição do tempo, tal como cerração, nebuloso, etc.
Os dados de imagem a cores mencionados acima podem ser compostos de somente componentes de comprimento de onda iguais à ou menor do que um valor predeterminado, 675 nm, por exemplo, e os dados de imagem monocromática podem ser compostos de componentes de comprimento de onda iguais à ou mais do que o valor predeterminado, 675 nm, por exemplo. Note que o valor predeterminado não é limitado aos desenhos acima. Por exemplo, os dados de imagem a cores podem conter componentes de comprimento de onda no intervalo de 400 nm à 700 nm, e os dados de imagem monocromática podem conter componentes de comprimento de onda no intervalo de 700 nm à 1000 nm. Mais ainda, os dados de imagem a cores podem conter componentes de comprimento de onda cujo um comprimento de onda de meio valor em um lado de comprimento de onda curto está no intervalo de 420 nm à 460 nm e um comprimento de onda de meio valor em um lado de comprimento de onda longo está no intervalo de 610 nm à 650 nm, e os dados de imagem monocromática podem conter componentes de comprimento de onda cujo um comprimento de onda de meio valor em um lado de comprimento de onda curto está no intervalo de 650 nm à 750 nm.
A unidade de extração de informação de cor 122 decompõe os dados de imagem a cores recebido a partir da unidade de aquisição de dados de imagem a cores 112, os dados de imagem a cores que são compostos de somente componentes de comprimento de onda na região de luz visível, na informação de luminância Yl e informação de diferença de cor Cb e Cr, e extrai a informação de diferença de cor Cb e Cr. A informação de diferença de cor Cb e Cr são exemplos de informação de cor. A unidade de extração de informação de cor 122 envia a informação de diferença de cor Cb e Cr extraída para a unidade de síntese 130. A informação de luminância Yl não é necessariamente ser enviada para a unidade de síntese 130 já que não é para ser usada para o processamento de síntese na unidade de síntese 130.
De modo a decompor dados de imagem a cores em qual cada uma de RGB é representada por 8 bits na informação de luminância Yl e na informação de diferença de cor Cb e Cr, por exemplo, as seguintes formulas matemáticas 1 à 3 podem ser usadas para converter sinais de RGB para sinais de YCbCr.
Yl = 0,257R + 0,504G + 0,098B + 16 (Formula 1)
Cb = - 0,148R- 0,291G + 0,439B + 128 (Formula 2)
Cr = 0,439R - 0,368G - 0,071B + 128 (Formula 3)
A unidade de extração de informação de luminância 124 extrai os dados de imagem monocromática recebidos a partir da unidade de aquisição de dados de imagem monocromática 114, os dados de imagem monocromática que são compostos de somente componentes de comprimento de onda outros do que em uma região de luz visível, como a informação de luminância Y2. A unidade de extração de informação de luminância 124 envia a informação de luminância extraída Y2 para a unidade de síntese 130.
A unidade de síntese 130 sintetiza a informação de diferença de cor Cb e Cr que é recebida á partir da unidade de extração de informação de cor 122 e da informação de luminância Y2 que é recebida a partir da unidade de extração de informação de luminância 124, e gera dados de imagem compósitos. De modo a gerar dados de imagem compósitos a cores na qual cada uma da RGB é representada por 8 bits sintetizando a informação de diferença de cor Cb e Cr e a informação de luminância Y2, por exemplo, as seguintes formulas 4 à 6 podem ser usadas para converter sinais de YCbCr para sinais de RGB.
R = 1,164 (Y2 - 16) - 1,596 (Cr - 128) (Formula 4) G = 1,164 (Y2 - 16) - 0,391 (Cb - 128) - 0,813 (Cr - 128) (Formula 5) B = 1,164 (Υ2 - 16) - 2,018 (Cb - 128) (Formula 6) [Operação do aparelho de processamento de imagem 102]
A seguir, com referência à Fig. 4, o processamento de síntese do aparelho de processamento de imagem 102 de acordo com a presente modalidade descrita acima será explicada. FIG. 4 é um fluxograma para ilustrar um processamento de síntese do aparelho de processamento de imagem 102 de acordo com a modalidade.
Primeiro, o aparelho de processamento de imagem 102 obtém dados de imagem a cores compostos de somente componentes de comprimento de onda em uma região de luz visível e dados de imagem monocromática compostos de somente componentes de comprimento de onda outros do que na região de luz visível (etapa SI).
A seguir, os dados de imagem a cores são decompostos na informação de luminância Yl e na informação de diferença de cor Cb e Cr, e a informação de diferença de cor Cb e Cr são extraídas a partir dos dados de imagem a cores. Adicionalmente a informação de luminância Y2 é extraída a partir dos dados de imagem monocromática (etapa S2).
Subseqüentemente, a informação de diferença de cor Cb e Cr extraída a partir dos dados de imagem a cores e a informação de luminância Y2 extraída a partir dos dados de imagem monocromática são para serem sintetizadas,e dados de imagem compósitos são para serem gerados (etapa S3).
[Aparelho de formação de imagem 100]
A seguir, uma explicação será dada sobre um aparelho de formação de imagem 100 para o qual o aparelho de processamento de imagem 102 descrito acima será aplicado. Em outras palavras, a explicação será dada sobre um caso onde o aparelho de processamento de imagem 102 é construído no aparelho de formação de imagem 100 como um circuito de processamento de sinal. FIG. 2 é um diagrama em bloco para ilustrar o aparelho de formação de imagem 100 de acordo com a modalidade. O aparelho de formação de imagem 100 inclui, por exemplo, um sistema óptico 101 e o aparelho de processamento de imagem 102. O sistema óptico 101 envia os dados de imagem a cores e os dados de imagem monocromática separadamente para o aparelho de processamento de imagem 102 conforme mostrado na Fig. 2.
FIG. 3 é um diagrama explicativo para ilustrar o sistema óptico 101 de acordo com a modalidade. FIG. 3 mostra uma visão esquemática geral de cada um do componentes ópticos e um trajeto óptico.
O sistema óptico 101 inclui uma lente frontal 151, um espelho de espectro 152, um grupo de lente 153, um dispositivo de captura de imagem a cores 154, um grupo de lente 155, e um dispositivo de captura de imagem monocromática 156, ou o similar. No sistema óptico 101 o espelho de espectro 152 dispersa em uma primeira luz composta de somente componentes de comprimento de onda em uma região de luz visível, e uma segunda luz que não contém a primeira luz e que é composta de somente componentes de comprimento de onda em outros do que a região de luz visível. O dispositivo de captura de imagem a cores 154 recebe a primeira luz irradiada a partir de um elemento óptico, e o dispositivo de captura de imagem monocromática 156 recebe a segunda luz irradiada a partir do elemento óptico.
A lente frontal 151 recebe luzes refletidas em um objeto, transmite e refrata as luzes vindas dos objetos para irradiar as luzes no espelho de espectro 152.
O espelho de espectro 152 é evaporado uma película dicróica em sua superfície. O espelho de espectro 152 reflete elementos de comprimento de onda na região de luz visível, tal como elementos de comprimento de onda na região de luz visível igual à ou menor do que 675 nm, por exemplo, dentre luzes entrantes, e transmite elementos de comprimento de onda outro do que a região de luz visível, tal como elementos de comprimento de onda de luz próxima do infravermelho igual à ou maior do que 675 nm, por exemplo, dentre as luzes entrantes. Os elementos de comprimento de onda igual à ou menor do que 675 nm são transmitidos através do grupo de lente 153, é irradiados no dispositivo de captura de imagem a cores 154 para formar uma imagem. Note que valor limite para os elementos de comprimento de onda dispersos pelo espelho de espectro 152 não é limitado à 675 nm, mas pode ser outro valor.
FIG. 5 é um gráfico para ilustrar uma capacidade de reflexão espectral de luz que é refletida no espelho de espectro 152. Conforme mostrado na Fig. 5, o espelho de espectro 152 conduz luzes principalmente sendo igual à ou menor do que comprimento de onda 675 nm para o dispositivo de captura de imagem a cores 154. já que é entendido que uma sensibilidade espectral do olho humano é indicado como FIG. 7, o comprimento de onda de luzes conduzidas pelo dispositivo de captura de imagem a cores 154 pode estar geralmente dentro da região de luz visível. FIG. 7 é um gráfico para ilustrar um espectro de absorção de pigmento visual que é contido por células em cone (S, M, L) e células em bastão (R) de um corpo humano.
FIG. 6 é um gráfico para ilustrar a fração passante de luz incidente espectral de luz que é transmitido através de um espelho de espectro .152. Conforme mostrado na Fig. 6, o espelho de espectro 152 conduz luzes principalmente sendo igual à ou mais do que comprimento de onda de 675 nm para o dispositivo de captura de imagem monocromática 156. Referindo à Fig. 7, o comprimento de onda de luzes conduzida pelo dispositivo de captura de imagem monocromática 156 pode estar geralmente dentro de outra do que a região de luz visível.
Note que outros componentes ópticos incluindo uma lente de formação de imagem tem eficiente fração passante de luz incidente no comprimento de onda no intervalo de 400 nmà 1100 nm, e nunca luzes de blindagem alcançaram o dispositivo de captura de imagem a cores 154 e o dispositivo de captura de imagem monocromática 156.
Conforme o dispositivo de captura de imagem a cores 154 e o dispositivo de captura de imagem monocromática 156, vários tipos de dispositivos de captura de imagem em estado sólido, tal como um dispositivo de captura de imagem em estado sólido CCD, um dispositivo de captura de imagem em estado sólido MOS, um dispositivo de captura de imagem em estado sólido CMOS, ou o similar, podem ser usados. O dispositivo de captura de imagem a cores 154 é um dispositivo de captura de imagem que é montado com um filtro de cor vermelha, verde, azul em frente de um fotodetector, e que emite dados de imagem a cores compostos de componentes de cor vermelha, componentes de cor verde, componentes de cor azul. O dispositivo de captura de imagem monocromática 156 é um dispositivo de captura de imagem que não é montado com um filtro de cor em frente de um fotodetector, e que emite dados de imagem monocromática compostos de informação de luminância.
FIG. 8 é um gráfico para ilustrar uma característica de sensibilidade espectral de um dispositivo de captura de imagem a cores 154. Isto pode ser entendido que a região de comprimento de onda igual à ou menor do que do que comprimento de onda 675 nm do comprimento de onda, que foi refletido no espelho de espectro 152 e entrando para o dispositivo de captura de imagem a cores 154 como ilustrado na FIG. 5, coincide com a região onde o dispositivo de captura de imagem a cores 154 mostrado na Fig.8 tem a sensibilidade espectral. Por conseguinte, o dispositivo de captura de imagem a cores 154 é capaz de captar as luzes visível sem perda.
FIG. 9 é um gráfico para ilustrar uma característica de sensibilidade espectral de um dispositivo de captura de imagem monocromática 156. Como ilustrando na Fig. 9, embora o dispositivo de captura de imagem monocromática 156 mostra a sensibilidade máxima na região de luz visível, ele ainda tem eficiente sensibilidade na região de luz próxima do infravermelho no intervalo de comprimento de onda 675 nm à 1000 nm. Por conseguinte, o dispositivo de captura de imagem monocromática 156 pode receber os componentes de comprimento de onda cujo comprimento de onda é igual à ou mais longo do que 675 nm, que é mais longo do que a luz visível transmitida através do espelho de espectro 152 e entrando para o dispositivo de captura de imagem monocromática 156.
O dispositivo de captura de imagem a cores 154 e o dispositivo de captura de imagem monocromática 156 são posicionados tal que uma imagem de objeto dos dados de imagem a cores coincide com uma imagem de objeto dos dados de imagem monocromática. O posicionamento para coincidir as imagens de objeto pode ser efetuado através de um método mecânico, por um método usando software notem ode síntese de imagem, e por ambos os métodos.
E preferível se os tamanhos ópticos do dispositivo de captura de imagem a cores 154 e do dispositivo de captura de imagem monocromática 156 sejam quase os mesmos. Em tal configuração, há uma vantagem que ângulos de visão, profundidade de foco, e regiões de formação de imagem são quase os mesmos em dois sistemas ópticos que foram divididos pelo espelho de espectro 152 sem ajuste em particular.
Em um caso onde os tamanhos ópticos do dispositivo de captura de imagem a cores 154 e do dispositivo de captura de imagem monocromática 156 são os mesmo, configuração vai satisfazer Mn > Cn onde o número de pixéis do dispositivo de captura de imagem a cores 154 é Cn e o número de pixéis do dispositivo de captura de imagem monocromática 156 é Mn. Nesta configuração, já que o número de pixéis Cn do dispositivo de captura de imagem a cores 154 é igual ou menor do que o número de pixéis Mn do dispositivo de captura de imagem monocromática 156, cada tamanho de pixéis do dispositivo de captura de imagem a cores 154 se torna maior do que o tamanho de pixéis do dispositivo de captura de imagem monocromática .156. Como o resultado, a sensibilidade do dispositivo de captura de imagem a cores 154 pode ser configurada mais alta, melhorando sua sensibilidade, do que outro dispositivo de captura de imagem a cores com grande número de pixéis. Por outro lado, o número de pixéis Mn do dispositivo de captura de imagem monocromática 156 é maior, por conseguinte, o dispositivo de captura de imagem monocromática 156 assegura a alta resolução. [Efeitos da Presente Modalidade]
O aparelho de formação de imagem 100 da presente modalidade pode obter um resultado ótimo sendo aplicado a uma câmera de vigilância de área ampla, por exemplo. De acordo com a presente modalidade, é possível para satisfazer as seguintes três condições particularmente para a câmera de vigilância de área ampla.
Uma primeira condição a ser solicitada é fotografar claramente um objeto a ser notado mesmo em uma condição de filmagem no qual o objeto é difícil de ser visto devido a cerração, ao nevoeiro, ou o similar. Uma segunda condição é fotografar o objeto mesmo em um ambiente escuro com baixa luminância. Uma terceira condição é para obter uma imagem colorida porque identificação através de informação de cor, tal como cor de roupas, pode ser freqüentemente importante em muitos casos.
Primeiro de tudo, a primeira condição é descrita. É importante que luzes refletidas em um objeto podem ser atingidas para um dispositivo de captura de imagem sem ser diminuído de modo a fotografar o objeto claramente. Na presente modalidade, como um sinal de luminância influente sobre a resolução de imagem, a luz próxima do infravermelho (NIR) de comprimento de onda no intervalo de 675 nm para 1000 nm mais longo do que a luz visível, é usado. FIG. 10 é um gráfico para ilustrar a relação entre volume de dispersão e comprimento de onda de acordo com a fórmula de dispersão de Rayleigh. De acordo com a fórmula de dispersão de Rayleigh, a intensidade de dispersão é proporcional ao inverso da quarta potência do comprimento de onda da luz onde d < λ / π.
<formula>formula see original document page 19</formula>
(Formula 7)
Aqui, n é uma contagem de partícula, d é um diâmetro de partícula (molécula de ar d = 0,37nm, poluição d = 1 nm à 1000 nm), m é coeficiente de reflexão, e λ é comprimento de onda de luz. O coeficiente de reflexão m é dado em condições naturais, e o comprimento de onda de luz λ pode ser variado dependendo de uma condição de projeto do aparelho de formação de imagem 100.
De acordo com a fórmula de dispersão de Rayleigh, a luz próxima do infravermelho (NIR) tem menor volume de dispersão do que a luz visível no intervalo de comprimento de onda 400 nm à 675nm. Por esta razão, no ar, ou no ambiente onde partículas transportadas pelo ar cujo diâmetro é igual à ou menor do que cerca de um terço do comprimento de onda de luz estão flutuando, mesmo sob a condição de filmagem na qual o objeto é difícil a ser visto devido à cerração , o nevoeiro, ou o similar, é possível fotografar o objeto a ser notado mais claramente do que uma câmera comum, aplicando à tecnologia da presente modalidade.
Adicionalmente de acordo com a formula de dispersão da teoria de Mie que pode ser aplicada ao ambiente onde as partículas transportadas pelo ar cujo diâmetro é igual à ou maior do que cerca de um terço do comprimento de onda de luz estão flutuando, o volume de dispersão é proporcional no intervalo do 0 para inverso do quadrado do comprimento de onda de luz. Por esta razão, mesmo em um ambiente do nevoeiro, a luz próxima do infravermelho (NIR) é difícil de ser disperso do que a luz visível. Por conseguinte, a presente modalidade usando a luz próxima do infravermelho (NIR) torna possível fotografar o objeto mesmo no ambiente do nevoeiro mais claramente do que a câmera comum.
A seguir, a segunda condição é descrita. De acordo com a presente modalidade, é possível fotografar o objeto mesmo em um ambiente escuro com baixa luminância. A presente modalidade usa a luz próxima do infravermelho (NIR) que a câmera colorida comum não usa, e tem uma vantagem na baixa luminância já que NIR é incluída nas luzes no crepúsculo ou iluminação artificial. Em adição, de modo a receber o NIR, a presente modalidade usa o dispositivo de captura de imagem monocromática 156 que é capaz de fotografar com maior sensibilidade e maior resolução espacial do que o dispositivo de captura de imagem a cores 154. Por conseguinte, a presente modalidade tem uma vantagem na baixa luminância.
A TABELA 1 abaixo é uma tabela para ilustrar um exemplo de sensibilidade e luminância de objeto mínima de uma câmera monocromática e uma câmera colorida.
SAEDA PRETO E BRANCO COR SENSIBILIDADE 4001 χ F5,6 (OdB) 20001 χ ¥5,6 (OdB) INTENSIDADE LUMINOSA POR UNIDADE DE ÁREA DE OBJETO MÍNIMA 11 (GANHO+18dB, F 1.4) 81 (GANHO+18dB, F 1.4)
Isto é um exemplo de comparação entre uma câmera colorida
que é montada com um filtro de cor de RGB em frente do mesmo fotodetector e uma câmera monocromática que não é montada com um filtro de cor em frente do fotodetector. É entendido que a câmera monocromática tem uma maior sensibilidade e mais baixa luminância do objeto mínima comparando com a câmera colorida. Já que o dispositivo de captura de imagem a cores é montado com um filtro de cor de RGB em frente do fotodetector, qualquer pixel de cada cor de RGB tem mais baixa sensibilidade comparando com o dispositivo de captura de imagem monocromática.
Subseqüentemente, a terceira condição será explicada. De acordo com a presente modalidade, imagem a cores será obtida. O dispositivo de captura de imagem monocromática pode fotografar em baixa luminância, contudo, obviamente é difícil obter informação de cor. Por outro lado, a presente modalidade usa ambas informação de cor obtida a partir dos dispositivo de captura de imagem a cores 154 e informação de luminância obtida a partir dos dispositivo de captura de imagem monocromática para encontrar ambas a primeira e a segunda condições, assim como satisfazer a terceira condição para fotografar imagem a cores. <2. Exemplo Modificado>
O aparelho de processamento de imagem 102 descrito acima foi explicado em um caso onde é incorporado o aparelho de formação de imagem 100 como um processamento de circuito de sinal, contudo, apresente invenção não é limitada a este exemplo. Por exemplo, como ilustrado na FIG. 11, o aparelho de processamento de imagem 102 pode ser externamente equipado a um aparelho de formação de imagem 200. FIG. 11 é um diagrama em bloco para ilustrar o aparelho de formação de imagem 200 e o aparelho de processamento de imagem 102 de acordo com um exemplo modificado da modalidade da presente invenção. Aqui, o aparelho de processamento de imagem 102 pode ser um computador pessoal, um aparelho servidor, ou o similar. O aparelho de formação de imagem 200 inclui o sistema óptico 101 descrito acima, e emite dados de imagem a cores compostos de somente os componentes de comprimento de onda na região de luz visível e dados de imagem monocromática que não inclui os componentes de comprimento de onda na região de luz visível e são compostos de somente os componentes de comprimento de onda em outra do que a região de luz visível.
Mais ainda, como ilustrado na FIG. 12, na presente invenção, o aparelho de processamento de imagem 102 pode receber dados de imagem de dois dos aparelhos de formação de imagem 300a e 300b. FIG. 12 é um diagrama em bloco para ilustrar aparelhos de formação de imagem 300a, 300b, e o aparelho de processamento de imagem 102 de acordo com um exemplo modificado de uma modalidade. O aparelho de formação de imagem .300a é uma câmera que tem um dispositivo de captura de imagem a cores, é capaz de fotografar uma imagem à cores, e emite dados de imagem a cores compostos de somente os componentes de comprimento de onda na região de luz visível. O aparelho de formação de imagem 300b é uma câmera que tem um dispositivo de captura de imagem monocromática, é capaz de fotografar uma imagem monocromática, e emite dados de imagem monocromática que não inclui os componentes de comprimento de onda na região de luz visível e são compostos de somente os componentes de comprimento de onda em outra do que a região de luz visível.
Note que neste exemplo modificado, o aparelho de formação de imagem 300b pode fotografar uma imagem monocromática sem usar o sistema óptico 101 diferente da probabilidade acima. Por conseguinte, os componentes de comprimento de onda sendo emitidos pelo aparelho de formação de imagem 300b pode ser parcialmente sobrepostos aos componentes de comprimento de onda sendo emitidos pelo aparelho de formação de imagem 300a. Por exemplo, os dados de imagem a cores são compostos de somente os componentes de comprimento de onda na região de luz visível, e os dados de imagem monocromática são compostos de somente os componentes de comprimento de onda na região de luz visível próxima ao lado externo da região de luz visível e os componentes de comprimento de onda em outras do que a região de luz visível. Em outras palavras, os dados de imagem a cores são compostos de somente os componentes de comprimento de onda iguais à ou menor do que um primeiro valor predeterminado, e os dados de imagem monocromática são compostos de somente os componentes de comprimento de onda iguais à ou maior do que o segundo valor predeterminado que é menor do que o primeiro valor predeterminado.
Assim sendo, como os componentes de comprimento de onda dos dados de imagem monocromática inclui os componentes de comprimento de onda da região de luz visível próximo ao lado externo da região de luz visível, há uma possibilidade que um efeito de remoção para cerração, nevoeiro, ou o similar considerando a primeira condição descrita acima. Por outro lado, já que a quantidade de luzes recebida é aumentada nos dados de imagem monocromática, como para a segunda condição, se torna possível fotografar um objeto mesmo em um ambiente escuro com mais baixa luminância.
Note que tempo para executar o processamento de formação de imagem descrito acima não é particularmente limitado e pode ser vários tempos, tal como em tempo real, após a conclusão da formação de imagem, ou o similar. Por exemplo, em um caso onde o processamento de imagem é para ser efetuado em tempo real, é possível criar uma imagem composta em um curto período de tempo já que ele efetua processamento de sinal nos dados de imagem obtida fotografando com o dispositivo de captura de imagem a cores 154 e o dispositivo de captura de imagem monocromática 156. Por outro lado, também é possível para armazenar, uma vez em um meio de gravação, a imagem obtida fotografando com o dispositivo de captura de imagem a cores 154 e o dispositivo de captura de imagem monocromática 156, para chamara a imagem mais tarde para efetuar o processamento de imagem.
Note que arranjado o aparelho de formação de imagem 300b tendo um dispositivo de captura de imagem monocromática e o aparelho de formação de imagem 300a tendo o dispositivo de captura de imagem a cores tal que suas regiões de formação de imagem estão quase sobrepostos, se torna possível fotografar mesmo que o aparelho de formação de imagem da presente invenção, contudo, há uma possibilidade que problemas como um disparidade de paralaxe, um deslocamento focai, ou o similar pode ocorrer porque câmeras são separadas. Por outro lado, o aparelho de formação de imagem 100 de acordo com a primeira modalidade descrita acima ou o aparelho de formação de imagem 200 de acordo com a modalidade modificada tem uma vantagem que a disparidade de paralaxe ou o deslocamento focai não ocorre, já que o dispositivo de captura de imagem monocromática 156 e o dispositivo de captura de imagem a cores 154 compartilham uma câmera em comum.
Conexões entre o dispositivo de captura de imagem a cores 154 e o dispositivo de captura de imagem monocromática 156 com o aparelho de processamento de imagem 102 ou com um aparelho de gravação como o meio de gravação pode ser configurado para trocar dados através de fio (tal como um cabo, linha telefônica, por exemplo) ou sem fio. Adicionalmente, pode haver um caso onde um aparelho servidor em uma rede (intranet, internet, ou o similar) tem software (um programa de computador) para efetuar o processamento de imagem tal que o software pode ser acessado através da rede para efetuar processamento de sinal nas imagens fotografadas pelo dispositivo de captura de imagem a cores 154 ou o dispositivo de captura de imagem monocromática 156.
Uma modalidade preferida da presente invenção foi explicada em detalhe acima com referência aos desenhos anexos, a presente invenção não é limitada a este exemplo. Deve ser entendido por aqueles com qualificação na técnica que várias modificações, combinações, sub- combinações e alterações podem ocorrer dependendo dos requisitos de projeto e outros fatores na medida que eles estão dentro do escopo das reivindicações anexas ou dos equivalentes delas.
No aparelho de formação de imagem 100 de acordo com a presente modalidade descrita acima, o espelho de espectro 152 para dividir luzes entrantes é arranjado entre a lente frontal 151 e os grupos de lente 153 e 155, contudo, na presente invenção, não há limitação sobre onde colocar um elemento óptico para dividir as luzes entrantes, e ele pode ser colocado em um lugar. Por exemplo, ele pode ser colocado entre os grupos de lente, ou entre um grupo de lente e um dispositivo de captura de imagem. Adicionalmente em lugar de arrumar uma lente frontal, uma lente tendo a mesma função pode ser arranjada na frente de cada grupo de lente tal que luzes entrantes podem ser divididas inicialmente pelos elementos ópticos.
Contudo, como o aparelho de formação de imagem 100 de acordo com a modalidade descrita acima, se o espelho de espectro 152 é arranjado entre a lente frontal 151 e os grupos de lente 153 e 155, a lente frontal 151 é usada em comum. Neste caso, há uma vantagem que influência tal como aberração da lente frontal 151 se torna mesmo, e que se torna possível aplicar o que são usadas em uma câmera comum sem uma mudança como os grupos de lente 153 e 155.
Na presente invenção, o elemento óptico para dividir as luzes entrantes não é limitado ao espelho de espectro 152, mas pode ser outro elemento óptico, tal como uma combinação de prisma ou o similar.
Na presente invenção, o número de trajetos ópticos divididos não é limitado a dois, mas ele pode ser três ou mais a serem divididos em total. Isto é, um aparelho de formação de imagem pode ser configurado tendo uma pluralidade de dispositivos de captura de imagem a cores ou dispositivos de captura de imagem monocromática. Por exemplo, um exemplo do dispositivo de captura de imagem a cores pode ser um dispositivo de captura de imagem a cores de três chips montados como um dispositivo de captura de imagem para cada cor de R, G, e B. Um aparelho de formação de imagem pode ser configurado combinando este dispositivo de captura de imagem a cores de três chips e um dispositivo de captura de imagem monocromática. Neste caso, um trajeto óptico será dividido em quatro ou mais trajetos.
O presente pedido contém assunto relacionado àquele descrito no Pedido de Patente de Prioridade Japonesa JP 2010-109983 depositado no Escritório de Patente do Japão em 12 de maio de 2010, da qual o conteúdo inteiro é aqui incorporado para referência.
Claims (8)
1. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: uma unidade de aquisição de imagem que obtém dados de imagem a cores compostos de somente componentes de comprimento de onda na região de luz visível, e dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimento de onda outros do que a região de luz visível; uma unidade de extração de informação de cor que extrai informação de cor a partir dos dados de imagem a cores; uma unidade de extração de informação de luminância que extrai informação de luminância a partir dos dados de imagem monocromática; e uma unidade de síntese que sintetiza a informação de cor extraída e a informação de luminância extraída para gerar dados de imagem compósitos.
2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de imagem a cores são compostos de somente componentes de comprimento de onda mais curto do que um valor predeterminado, e os dados de imagem monocromática são compostos de somente componentes de comprimento de onda mais longo do que o valor predeterminado.
3. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de imagem a cores contém componentes de comprimento de onda no intervalo de 400nm à 700nm, e os dados de imagem monocromática contêm componentes de comprimento de onda no intervalo de 700nm à IOOOnm.
4. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de imagem a cores contêm componentes de comprimento de onda cujo um comprimento de onda de meio valor em um lado de comprimento de onda curto está no intervalo de 420nm à 460nm e um comprimento de onda de meio valor em um lado de comprimento de onda longo está no intervalo de 61 Onm à 650nm, e em que os dados de imagem monocromática contêm componentes de comprimento de onda cujo um comprimento de onda de meio valor em um lado de comprimento de onda curto está no intervalo de 65 Onm à 750nm.
5. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de aquisição de imagem obtém os dados de imagem monocromática compostos de componentes de comprimento de onda na região de luz visível próximo a um lado fora da região de luz visível e os componentes de comprimento de onda fora da região de luz visível.
6. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de imagem a cores são compostos de somente componentes de comprimento de onda iguais à ou menores do que um valor predeterminado, e os dados de imagem monocromática são compostos de componentes de comprimento de onda iguais à ou maiores do que um segundo valor predeterminado, que é menor do que o primeiro valor predeterminado.
7. Método de processamento de imagem, caracterizado pelo fato de compreender as etapas de: obter dados de imagem a cores compostos de somente componentes de comprimento de onda na região de luz visível, e dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimento de onda de um lado de fora da região de luz visível; extrair informação de cor a partir dos dados de imagem a cores; extrair informação de luminância a partir dos dados de imagem monocromática; e sintetizar a informação de cor extraída e a informação de luminância extraída para gerar dados de imagem compósitos.
8. Programa, caracterizado pelo fato de fazer com que um computador execute as etapas de: obter dados de imagem a cores compostos de componentes de comprimento de onda na região de luz visível somente, e dados de imagem monocromática que não contém os componentes de comprimento de onda na região de luz visível e que são compostos de somente componentes de comprimento de onda fora da região de luz visível; extrair informação de cor a partir dos dados de imagem a cores; extrair informação de luminância a partir dos dados de imagem monocromática; e sintetizar a informação de cor extraída e a informação de luminância extraída para gerar dados de imagem compósitos.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010109983A JP2011239259A (ja) | 2010-05-12 | 2010-05-12 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI1102370A2 true BRPI1102370A2 (pt) | 2012-10-16 |
Family
ID=44117495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI1102370-8A BRPI1102370A2 (pt) | 2010-05-12 | 2011-05-05 | aparelho e metodo de processamento de imagem, e, programa |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8711256B2 (pt) |
| EP (1) | EP2387232A2 (pt) |
| JP (1) | JP2011239259A (pt) |
| KR (1) | KR20110125172A (pt) |
| CN (1) | CN102244791A (pt) |
| BR (1) | BRPI1102370A2 (pt) |
| RU (1) | RU2011117481A (pt) |
| TW (1) | TW201208366A (pt) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5545016B2 (ja) * | 2010-05-12 | 2014-07-09 | ソニー株式会社 | 撮像装置 |
| US9213920B2 (en) * | 2010-05-28 | 2015-12-15 | Zazzle.Com, Inc. | Using infrared imaging to create digital images for use in product customization |
| JP6019611B2 (ja) * | 2012-02-23 | 2016-11-02 | 株式会社ニコン | 撮像装置 |
| US9531961B2 (en) | 2015-05-01 | 2016-12-27 | Duelight Llc | Systems and methods for generating a digital image using separate color and intensity data |
| US9918017B2 (en) | 2012-09-04 | 2018-03-13 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US8976264B2 (en) | 2012-09-04 | 2015-03-10 | Duelight Llc | Color balance in digital photography |
| KR101933454B1 (ko) * | 2012-09-25 | 2018-12-31 | 삼성전자주식회사 | 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체 |
| US9819849B1 (en) | 2016-07-01 | 2017-11-14 | Duelight Llc | Systems and methods for capturing digital images |
| US9807322B2 (en) | 2013-03-15 | 2017-10-31 | Duelight Llc | Systems and methods for a digital image sensor |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| CN104661008B (zh) * | 2013-11-18 | 2017-10-31 | 深圳中兴力维技术有限公司 | 低照度条件下彩色图像质量提升的处理方法和装置 |
| WO2015075849A1 (ja) * | 2013-11-22 | 2015-05-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 通信方法 |
| JP2015197745A (ja) * | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| EP3148177A4 (en) * | 2014-10-22 | 2018-01-24 | Yulong Computer Telecommunication Technologies (Shenzhen) Co., Ltd. | Image generation method based on dual camera module and dual camera module |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| JP6432770B2 (ja) | 2014-11-12 | 2018-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
| JP6661268B2 (ja) * | 2015-01-08 | 2020-03-11 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN104811624A (zh) * | 2015-05-06 | 2015-07-29 | 努比亚技术有限公司 | 红外拍摄方法及装置 |
| CZ306066B6 (cs) * | 2015-05-20 | 2016-07-20 | IBSmm Engineering, spol. s r.o. | Hyperspektrální zobrazovací systém pro lékařskou dermatologii nebo endoskopii, způsob snímání obrazu hyperspektrálním zobrazovacím systémem a jeho použití |
| US10825123B2 (en) * | 2015-11-30 | 2020-11-03 | Ncr Corporation | Watermarked enabled scanning |
| CN109479093B (zh) | 2016-07-22 | 2021-01-19 | 索尼公司 | 图像处理装置和图像处理方法 |
| WO2018016151A1 (ja) * | 2016-07-22 | 2018-01-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
| US10341628B2 (en) | 2016-08-08 | 2019-07-02 | Google Llc | Monochrome-color mapping using a monochromatic imager and a color map sensor |
| KR102493746B1 (ko) * | 2016-08-18 | 2023-02-02 | 삼성전자주식회사 | 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치 |
| CN109792478B (zh) | 2016-09-01 | 2021-11-12 | 迪尤莱特公司 | 基于焦点目标信息调整焦点的装置和方法 |
| US10313642B2 (en) * | 2017-01-18 | 2019-06-04 | Omnivision Technologies, Inc. | Imaging system having dual image sensors |
| US10999562B2 (en) | 2017-03-27 | 2021-05-04 | Sony Corporation | Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image |
| KR102362447B1 (ko) | 2017-05-23 | 2022-02-14 | 삼성전자 주식회사 | 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치 |
| CN109040534A (zh) * | 2017-06-12 | 2018-12-18 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及图像采集设备 |
| CN110136183B (zh) * | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
| JP7292024B2 (ja) * | 2018-10-22 | 2023-06-16 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、コンピュータプログラム |
| CN112017252B (zh) * | 2019-05-31 | 2024-06-11 | 华为技术有限公司 | 一种图像处理方法和相关设备 |
| JP7412920B2 (ja) | 2019-08-08 | 2024-01-15 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP7039639B2 (ja) | 2020-03-10 | 2022-03-22 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
| WO2021184353A1 (zh) * | 2020-03-20 | 2021-09-23 | 华为技术有限公司 | 一种摄像装置 |
| JP2022007359A (ja) | 2020-06-26 | 2022-01-13 | キヤノン株式会社 | 画像処理装置、撮像システム、移動体、画像処理方法及びプログラム |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2589469B2 (ja) * | 1986-03-10 | 1997-03-12 | 株式会社日立製作所 | 自動追尾ビデオカメラ |
| US6150930A (en) * | 1992-08-14 | 2000-11-21 | Texas Instruments Incorporated | Video equipment and method to assist motor vehicle operators |
| US6597807B1 (en) * | 1999-09-27 | 2003-07-22 | The United States Of America As Represented By The Secretary Of The Army | Method for red green blue (RGB) stereo sensor fusion |
| JP3807721B2 (ja) * | 2000-02-21 | 2006-08-09 | シャープ株式会社 | 画像合成装置 |
| US20030093805A1 (en) * | 2001-11-15 | 2003-05-15 | Gin J.M. Jack | Dual camera surveillance and control system |
| US7929727B2 (en) * | 2002-07-26 | 2011-04-19 | Tenebraex Corporation | Methods for visually separating an object from its background, methods for detecting a camouflaged object against its background and detection apparatus embodying such methods |
| KR100900485B1 (ko) * | 2002-10-26 | 2009-06-03 | 삼성디지털이미징 주식회사 | 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라 |
| JP2004304718A (ja) * | 2003-04-01 | 2004-10-28 | Nara Institute Of Science & Technology | 近接領域画像抽出装置及び近接領域画像抽出方法 |
| JP2005004181A (ja) * | 2003-05-21 | 2005-01-06 | Fujinon Corp | 可視光・赤外光撮影用レンズシステム |
| JP4578797B2 (ja) * | 2003-11-10 | 2010-11-10 | パナソニック株式会社 | 撮像装置 |
| EP1797523A4 (en) * | 2004-08-23 | 2009-07-22 | Sarnoff Corp | METHOD AND DEVICE FOR PRODUCING A CONDENSED IMAGE |
| JP2006072401A (ja) * | 2004-08-31 | 2006-03-16 | Fujitsu Ltd | 画像複合装置および画像複合方法 |
| JP4612861B2 (ja) * | 2005-04-27 | 2011-01-12 | キヤノン株式会社 | 撮像装置 |
| JP2006333132A (ja) * | 2005-05-26 | 2006-12-07 | Sony Corp | 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム |
| JP4466569B2 (ja) | 2006-01-10 | 2010-05-26 | 株式会社豊田中央研究所 | カラー画像再生装置 |
| DE602007000971D1 (de) * | 2006-01-20 | 2009-06-10 | Fluke Corp | Kamera mit Bildmischung aus sichtbarem Licht und Infrarotlicht |
| US7483213B2 (en) * | 2006-03-24 | 2009-01-27 | Omnitech Partners | Image combining viewer |
| US8368741B2 (en) * | 2007-06-27 | 2013-02-05 | General Instrument Corporation | Apparatus and system for improving image quality |
| US8115825B2 (en) * | 2008-02-20 | 2012-02-14 | Apple Inc. | Electronic device with two image sensors |
| JP2009253579A (ja) * | 2008-04-04 | 2009-10-29 | Panasonic Corp | 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム |
| JP2010093472A (ja) * | 2008-10-07 | 2010-04-22 | Panasonic Corp | 撮像装置および撮像装置用信号処理回路 |
| JP5475393B2 (ja) * | 2009-10-20 | 2014-04-16 | キヤノン株式会社 | 撮像システムおよび補正方法 |
| US8432433B2 (en) * | 2010-01-14 | 2013-04-30 | Raytheon Canada Limited | Method and apparatus for colorizing a monochrome infrared image |
| US8717464B2 (en) * | 2011-02-09 | 2014-05-06 | Blackberry Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
| US8780161B2 (en) * | 2011-03-01 | 2014-07-15 | Hewlett-Packard Development Company, L.P. | System and method for modifying images |
-
2010
- 2010-05-12 JP JP2010109983A patent/JP2011239259A/ja active Pending
-
2011
- 2011-04-14 EP EP11162451A patent/EP2387232A2/en not_active Withdrawn
- 2011-04-20 US US13/090,709 patent/US8711256B2/en not_active Expired - Fee Related
- 2011-04-28 TW TW100114878A patent/TW201208366A/zh unknown
- 2011-04-29 RU RU2011117481/07A patent/RU2011117481A/ru not_active Application Discontinuation
- 2011-05-04 KR KR1020110042365A patent/KR20110125172A/ko not_active Application Discontinuation
- 2011-05-05 CN CN2011101193614A patent/CN102244791A/zh active Pending
- 2011-05-05 BR BRPI1102370-8A patent/BRPI1102370A2/pt not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US8711256B2 (en) | 2014-04-29 |
| TW201208366A (en) | 2012-02-16 |
| KR20110125172A (ko) | 2011-11-18 |
| US20110279698A1 (en) | 2011-11-17 |
| CN102244791A (zh) | 2011-11-16 |
| EP2387232A2 (en) | 2011-11-16 |
| RU2011117481A (ru) | 2012-11-10 |
| JP2011239259A (ja) | 2011-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI1102370A2 (pt) | aparelho e metodo de processamento de imagem, e, programa | |
| TWI434574B (zh) | 成像設備 | |
| JP6939000B2 (ja) | 撮像装置及び撮像方法 | |
| US8629916B2 (en) | Camera with imaging unit and imaging unit for camera | |
| CA3016431C (en) | Systems and methods for hdr video capture with a mobile device | |
| WO2021073140A1 (zh) | 单目摄像机、图像处理系统以及图像处理方法 | |
| KR20200138298A (ko) | 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기 | |
| CN108712608A (zh) | 终端设备拍摄方法和装置 | |
| CN109788207A (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
| CN107820066A (zh) | 一种低照度彩色摄像机 | |
| US20090147112A1 (en) | Method and apparatus for achieving panchromatic response from a color-mosaic imager | |
| CN108700472A (zh) | 使用相对的滤光器掩模进行相位检测自动聚焦 | |
| TW201315218A (zh) | 夜視攝影的曝光調整方法 | |
| WO2021184362A1 (zh) | 一种摄像装置 | |
| CN107003116A (zh) | 图像捕捉装置组件、三维形状测量装置和运动检测装置 | |
| US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
| WO2019047620A1 (zh) | 一种成像装置及成像方法 | |
| JP2011176710A (ja) | 撮像装置 | |
| KR101862043B1 (ko) | 멀티 카메라 | |
| US20060033824A1 (en) | Sodium screen digital traveling matte methods and apparatus | |
| CN111783563A (zh) | 基于双光谱的人脸抓拍和监控方法及系统、设备 | |
| WO2022078036A1 (zh) | 摄像机以及摄像机的控制方法 | |
| CN108873366A (zh) | 多波段偏振分光与集成方法及系统 | |
| CN204479182U (zh) | 低照度多波段光谱成像仪 | |
| Boutarfass et al. | Using visible+ nir information for CNN face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B03A | Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette] | ||
| B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE A 5A ANUIDADE. |
|
| B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] |
Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2385 DE 20-09-2016 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013. |