BR112021014591A2 - Método de controle, dispositivo e dispositivo de hardware de deformação de imagem - Google Patents

Método de controle, dispositivo e dispositivo de hardware de deformação de imagem Download PDF

Info

Publication number
BR112021014591A2
BR112021014591A2 BR112021014591-5A BR112021014591A BR112021014591A2 BR 112021014591 A2 BR112021014591 A2 BR 112021014591A2 BR 112021014591 A BR112021014591 A BR 112021014591A BR 112021014591 A2 BR112021014591 A2 BR 112021014591A2
Authority
BR
Brazil
Prior art keywords
image
deformation
audio file
acquiring
attribute value
Prior art date
Application number
BR112021014591-5A
Other languages
English (en)
Inventor
Yanhao SHEN
Xu FAN
Guangyao NI
Hui Yang
Original Assignee
Beijing Bytedance Network Technology Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bytedance Network Technology Co., Ltd. filed Critical Beijing Bytedance Network Technology Co., Ltd.
Publication of BR112021014591A2 publication Critical patent/BR112021014591A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

MÉTODO E DISPOSITIVO PARA CONTROLAR DEFORMAÇÃO EM UMA IMAGEM, DISPOSITIVO ELETRÔNICO E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR. Este comunicado divulga um método e dispositivo de controle, dispositivo de hardware para deformação de imagem. Dentre eles, o método de controle da deformação da imagem incluindo: Fazer com que a imagem seja processada; obter o arquivo de áudio; reproduzir o arquivo de áudio para obter o primeiro valor de atributo do arquivo de áudio correspondente ao nó de tempo atual; determinar a faixa de deformação da imagem de acordo com o primeiro valor de atributo; deformar a imagem a ser processada de acordo com a amplitude de deformação da imagem. O método de controle de deformação da imagem descrito nesta demonstração de lançamento controla a amplitude da deformação da imagem pelo valor de atributo do arquivo de áudio, o que resolve o problema técnico de que o efeito de deformação não pode ser gerado de forma flexível pela tecnologia atual.

Description

MÉTODO E DISPOSITIVO PARA CONTROLAR DEFORMAÇÃO EM UMA IMAGEM, DISPOSITIVO ELETRÔNICO E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR REFERÊNCIA CRUZADA A PEDIDO RELACIONADO
[001] Este pedido reivindica prioridade do pedido de patente chinês número 201910073610.7 intitulado "Método e Dispositivo de Controle de Deformação de Imagem e Dispositivo de Hardware", depositado em 25 de janeiro de 2019 no escritório de patente chinês, que é incorporado aqui por referência na sua totalidade.
CAMPO
[002] A presente divulgação refere-se ao campo de processamento de imagem, em particular a um método e dispositivo de controle de deformação em uma imagem, e um dispositivo de hardware.
ANTECEDENTES
[003] Com o desenvolvimento da tecnologia computacional, a gama de aplicações dos terminais inteligentes foi amplamente aumentada. Por exemplo, o terminal inteligente pode ser usado para ouvir música, jogar um jogo, conversar online e tirar uma foto. Para uma função de câmera do terminal inteligente, pixels de câmera alcançam mais de dez milhões de pixels, tendo uma alta definição e um efeito de foto comparável ao de uma câmera profissional.
[004] No momento, ao usar um terminal inteligente para tirar uma foto, o software da câmera embutido no terminal inteligente na fábrica pode ser usado para alcançar efeitos de foto tradicionais, e um aplicativo (referido como APP), por exemplo, um APP com uma função de detecção de luz escura, uma função de embelezamento e uma função de super pixel, pode ser baixado (downloaded) a partir da rede para alcançar os efeitos de foto adicionais. Efeitos especiais de um terminal inteligente usualmente incluem efeitos de processamento tais como reprodução da cor da pele, retoque da pele, alargamento dos olhos e emagrecimento da face, alcançando uma certa extensão do processamento de efeitos especiais em todas as faces reconhecidas em uma imagem.
[005] No entanto, com a função de efeito especial atual, os efeitos especiais são predefinidos e então são sintetizados em um vídeo ou imagem. SE for requerido modificar os efeitos especiais, outros efeitos especiais são produzidos e em então, são sintetizados ao vídeo ou à imagem, resultando na geração de efeitos especiais inflexíveis.
SUMÁRIO
[006] As seguintes soluções técnicas são fornecidas de acordo com um aspecto da presente divulgação.
[007] Um método para controlar a deformação em uma imagem inclui: adquirir uma imagem a ser processada; adquirir um arquivo de áudio; reproduzir o arquivo de áudio e adquirir um primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual; determinar uma extensão de deformação na imagem com base no primeiro valor de atributo; realizar o processamento da deformação na imagem a ser processada com base na extensão de deformação na imagem.
[008] Além disso, adquirir uma imagem a ser processada inclui: adquirir uma imagem de vídeo e adquirir uma imagem de quadro de vídeo incluído na imagem de vídeo mencionada como a imagem a ser processada.
[009] Além disso, adquirir um arquivo de áudio inclui: adquirir um arquivo de áudio incluído na imagem de vídeo.
[0010] Além disso, reproduzir o arquivo de áudio e adquirir um primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual inclui: reproduzir o arquivo de áudio; adquirir uma imagem do quadro de vídeo atualmente reproduzida pela imagem de vídeo; calcular um ponto de tempo atual com base na imagem do quadro de vídeo; adquirir o primeiro valor de atributo do arquivo de áudio com base no ponto de tempo atual.
[0011] Além disso, adquirir um arquivo de áudio inclui: adquirir o arquivo de áudio e analisar o arquivo de áudio para adquirir a tabela de correspondência armazenando relação de correspondência entre cada ponto de tempo no arquivo de áudio e o primeiro valor de atributo do arquivo de áudio.
[0012] Além disso, reproduzir o arquivo de áudio e adquirir um primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual inclui: reproduzir o arquivo de áudio; adquirir um ponto de tempo de reprodução atual do arquivo de áudio; adquirir um primeiro valor de atributo correspondente ao ponto de tempo de reprodução atual da tabela de correspondência.
[0013] Além disso, determinar uma extensão de deformação na imagem com base no primeiro valor de atributo inclui: adquirir uma relação de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem; e calcular a extensão de deformação na imagem de acordo com o primeiro valor de atributo e na relação de correspondência.
[0014] Além disso, realizar o processamento da deformação na imagem a ser processada com base na extensão de deformação na imagem inclui: adquirir um tipo de deformação e realizar o processo de deformação na imagem a ser processada com base no tipo de deformação e na extensão de deformação.
[0015] Além disso, adquirir um tipo de deformação inclui: adquirir o número serial de estado de uma imagem atual; e adquirir o tipo de deformação com base no número serial de estado.
[0016] Além disso, adquirir um número serial de estado de uma imagem atual inclui: adquirir a extensão de deformação na imagem; no caso em que a extensão de deformação da imagem é maior do que um primeiro limite, definir um valor de um bit de deformação para ser verdadeiro e adquirir o número serial de estado da imagem atual; no caso em que a extensão de deformação da imagem é menor que o primeiro limite e o valor do bit de deformação é verdadeiro, aumentar o número serial de estado da imagem atual por um para adquirir o número serial de primeiro estado; e determinar um restante adquirido pela divisão do número serial de primeiro estado pelo número total de números seriais de estado, como o número serial de estado da imagem atual.
[0017] As seguintes soluções técnicas também são fornecidas de acordo com outro aspecto da presente divulgação.
[0018] Um dispositivo para controlar deformação em uma imagem inclui um módulo de aquisição de imagem, um módulo de aquisição de arquivo de áudio, um módulo de aquisição de primeiro valor de atributo, um módulo de aquisição de extensão de deformação e um módulo de processamento de deformação. O módulo de aquisição de imagem é configurado para adquirir uma imagem a ser processada. O módulo de aquisição de arquivo de áudio é configurado para adquirir um arquivo de áudio. O módulo de aquisição de primeiro valor de atributo é configurado para reproduzir o arquivo de áudio e adquirir o primeiro valor de atributo do arquivo de áudio correspondente a um ponto de tempo atual. O módulo de aquisição de extensão de deformação é configurado para determinar uma extensão de deformação na imagem com base no primeiro valor de atributo. O módulo de processamento de deformação é configurado para realizar o processamento de deformação na imagem a ser processada com base na extensão de deformação na imagem.
[0019] Além disso, o módulo de aquisição de imagem inclui um módulo de aquisição de imagem de vídeo. O módulo de aquisição de imagem de vídeo é configurado para adquirir uma imagem de vídeo e para adquirir uma imagem do quadro de vídeo na imagem de vídeo como a imagem a ser processada.
[0020] Além disso, o módulo de aquisição de arquivo de áudio também é configurado para adquirir um arquivo de áudio incluído na imagem de vídeo.
[0021] Além disso, o módulo de aquisição de primeiro valor de atributo inclui um primeiro módulo de reprodução de áudio, um módulo de aquisição de quadro de imagem de vídeo, um primeiro módulo de aquisição de ponto de tempo e um módulo de aquisição de primeiro valor de atributo inicial. O primeiro módulo de reprodução de áudio é configurado para reproduzir o arquivo de áudio. O módulo de aquisição de imagem de quadro de vídeo é configurado para adquirir uma imagem de quadro de vídeo atualmente reproduzida na imagem de vídeo. O primeiro módulo de aquisição de ponto de tempo é configurado para calcular o ponto de tempo atual com base na imagem de quadro de vídeo. O módulo de aquisição de primeiro valor de atributo inicial é configurado para adquirir o primeiro valor de atributo do arquivo de áudio com base no ponto de tempo atual.
[0022] Além disso, o módulo de aquisição de arquivo de áudio inclui um módulo de análise de arquivo de áudio. O módulo de análise de arquivo de áudio é configurado para adquirir o arquivo de áudio e analisar o arquivo de áudio para adquirir uma tabela de correspondência armazenando relações de correspondência entre pontos de tempo no arquivo de áudio e os primeiros valores de atributo do arquivo de áudio.
[0023] Além disso, o módulo de aquisição de primeiro valor de atributo inclui um segundo módulo de aquisição de ponto de tempo e um segundo módulo de aquisição do primeiro valor de atributo. O segundo módulo de aquisição de ponto de tempo é configurado para adquirir o ponto de tempo de reprodução atual do arquivo de áudio. O segundo módulo de aquisição de primeiro valor de atributo é configurado para adquirir o primeiro valor de atributo correspondente ao ponto de tempo de reprodução atual de acordo com a tabela de correspondência.
[0024] Além disso, o módulo de aquisição de extensão de deformação inclui um módulo de aquisição de relação de correspondência e um módulo de cálculo da extensão de deformação. O módulo de aquisição de extensão de deformação é configurado para adquirir uma relação de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem. O módulo de cálculo da extensão de deformação é configurado para calcular a extensão de deformação na imagem com base no primeiro valor de atributo e na relação de correspondência.
[0025] Além disso, o módulo de processamento de deformação inclui um módulo de aquisição do tipo de deformação e um primeiro módulo de processamento de deformação. O módulo de aquisição do tipo de deformação é configurado para adquirir um tipo de deformação. O primeiro módulo de processamento de deformação é configurado para realizar o processamento de deformação na imagem a ser processada com base no tipo de deformação e na extensão de deformação.
[0026] Além disso, o módulo de aquisição de tipo de deformação inclui um módulo de aquisição de número serial e um submódulo de aquisição de tipo de deformação. O módulo de aquisição de número serial é configurado para segmentar a imagem a ser processada para adquirir um contorno de um objeto alvo a ser processado. O submódulo de aquisição do tipo de deformação é configurado para adquirir o tipo de deformação com base no número serial de estado.
[0027] Além disso, o módulo de aquisição de número serial de estado inclui um primeiro módulo de aquisição de extensão, um primeiro módulo de aquisição de número serial de estado atual e um segundo módulo de aquisição de número serial de estado atual. O primeiro módulo de aquisição de extensão é configurado para adquirir a extensão de deformação na imagem. O primeiro módulo de aquisição de número serial de estado atual é configurado para, no caso em que a extensão de deformação na imagem é maior que um valor de limite, definir um valor de um bit de deformação para ser verdadeiro e adquirir o número serial de estado da imagem atual. O segundo módulo de aquisição de número serial de estado atual é configurado para: no caso em que a extensão de deformação da imagem é menor que o primeiro limite e o valor do bit de deformação é verdadeiro, aumentar o número serial de estado da imagem atual por um para adquirir o número serial de estado da imagem atual por um para adquiri um número serial de primeiro estado; e determinar um restante adquirido pela divisão do número serial de primeiro estado pelo número total de números seriais de estado como o número serial de estado da imagem atual.
[0028] As seguintes soluções técnicas também são fornecidas de acordo com outro aspecto da presente divulgação.
[0029] Um dispositivo eletrônico inclui uma memória e um processador. A memória é configurada para armazenar instruções legíveis por computador não transitórias. O processador é configurado para executar as instruções legíveis por computador para realizar o método para controlar a deformação em uma imagem.
[0030] As seguintes soluções técnicas também são fornecidas de acordo com outro aspecto da presente divulgação.
[0031] Um meio de armazenamento legível por computador é configurado para armazenar instruções legíveis por computador não transitórias. As instruções legíveis por computador não transitórias, quando executadas por um computador, permitem que o computador realize os métodos para controlar a deformação em uma imagem.
[0032] Um método e um dispositivo para controlar a deformação em uma imagem, e um dispositivo de hardware são fornecidos de acordo com a presente divulgação. O método para controlar a deformação na imagem inclui: adquirir uma imagem a ser processada; adquirir um arquivo de áudio; reproduzir o arquivo de áudio e adquirir um primeiro valor de atributo do arquivo de áudio correspondente a um ponto de tempo atual; determinar uma extensão de deformação na imagem com base no primeiro valor de atributo; e realizar o processamento de deformação na imagem a ser processada com base na extensão de deformação na imagem. Com o método para controlar a deformação em uma imagem de acordo com as demonstrações da presente divulgação, a extensão de deformação na imagem é controlada com base no valor de atributo do arquivo de áudio, resolvendo consequentemente o problema técnico da tecnologia convencional de que os efeitos especiais de deformação não podem ser gerados de forma flexível.
[0033] A descrição acima é apenas uma sumário das soluções técnicas da presente divulgação. A fim de compreender os meios técnicos da presente divulgação mais claramente para implementar a presente divulgação de acordo com os conteúdos do relatório descritivo, e para fazer os objetivos acima e outros, características e vantagens da presente divulgação mais aparentes e compreensíveis, demonstrações preferidas são fornecidas em detalhes a seguir em conjunto com os desenhos.
BREVE DESCRIÇÃO DOS DESENHOS
[0034] Para ilustrar mais claramente as soluções técnicas nas demonstrações da presente divulgação ou na tecnologia convencional, os desenhos a serem usados na descrição das demonstrações ou da tecnologia convencional são descritos brevemente a seguir. Obviamente que os desenhos na descrição a seguir mostram apenas algumas das demonstrações da presente divulgação, e outros desenhos podem ser obtidos por uma técnico no assunto a partir desses desenhos sem qualquer trabalho criativo.
[0035] A Figura 1 é um fluxograma esquemático de um método para controlar a deformação em uma imagem de acordo com a primeira demonstração da presente divulgação; A Figura 2 é um fluxograma esquemático de uma implementação da etapa S10501 na presente divulgação; A Figura 3 é um fluxograma esquemático de uma implementação da etapa S201 na presente divulgação; A Figura 4 é um diagrama esquemático mostrando um exemplo de troca de estado em um método para controlar a deformação em uma imagem de acordo com a presente divulgação; A Figura 5 é um diagrama estrutural esquemático de um dispositivo para controlar a deformação em uma imagem de acordo com uma demonstração da presente divulgação; A Figura 6 é um diagrama estrutural esquemático de um módulo de aquisição de tipo de deformação 50501 de acordo com uma demonstração da presente divulgação; e A Figura 7 é um diagrama estrutural esquemático de um dispositivo eletrônico de acordo com uma demonstração da presente divulgação.
DESCRIÇÃO DETALHADA DAS DEMONSTRAÇÕES
[0036] As demonstrações da presente divulgação são descritas abaixo com exemplos específicos. Os técnicos no assunto podem compreender facilmente as outras vantagens e efeitos desta divulgação a partir do conteúdo divulgado no relatório descritivo. Obviamente, as demonstrações descritas são apenas algumas de todas as demonstrações da presente divulgação. A presente divulgação pode ser implementada ou aplicada através de outras demonstrações específicas. Vários detalhes neste relatório descritivo podem ser modificados ou alterados com base em diferentes perspectivas e aplicações sem se desviar do espírito da presente divulgação. Deve-se notar que as seguintes demonstrações e as características nas demonstrações podem ser combinadas, sem haver conflito. Com base nas demonstrações da presente divulgação, todas as outras demonstrações adquiridas pelos técnicos no assunto sem trabalho criativo estão dentro do escopo de proteção da presente divulgação.
[0037] Deve ser notado que vários aspectos das demonstrações que estão dentro do escopo das reivindicações anexas são descritos abaixo. Deve ser óbvio que os aspectos descritos podem ser incorporados em uma ampla variedade de formas e que qualquer estrutura e/ou função particular descrita aqui é apenas ilustrativa. Com base na presente divulgação, os técnicos no assunto devem entender que um aspecto descrito aqui pode ser implementado independentemente de quaisquer outros aspectos e dois ou mais desses aspectos podem ser combinados de várias maneiras. Por exemplo, qualquer número de aspectos definidos aqui pode ser usado para implementar o dispositivo e/ou realizar o método. Além disso, outras estruturas e/ou funções diferentes de um ou mais aspectos definidos aqui podem ser usadas para implementar o dispositivo e/ou realizar o método.
[0038] Também é importante observar que os desenhos fornecidos nas demonstrações a seguir simplesmente ilustram a ideia básica da presente divulgação. Somente componentes relatados na presente divulgação são apresentados nos desenhos, que não são desenhados de acordo com o número real, forma e tamanho dos componentes na implementação atual. Na implementação atual, um tipo, o número e uma proporção de cada componente podem ser alterada opcionalmente e um layout dos componentes pode ser mais complexo.
[0039] Além disso, na descrição a seguir, os detalhes específicos são fornecidos para facilitar a compreensão completa dos exemplos. Entretanto, os técnicos no assunto devem entender que esses aspectos podem ser implementados sem esses detalhes específicos.
[0040] Um método para controlar deformação em uma imagem é fornecido de acordo com a primeira demonstração da presente divulgação. O método para controlar deformação em uma imagem de acordo com esta demonstração pode ser realizado por um dispositivo de computação. O dispositivo de computação pode ser implementado como software ou como uma combinação de software e hardware. O dispositivo de computação pode ser integrado a um servidor, um aparelho terminal ou similar. Conforme mostrado na Figura 1, o método para controlar deformação em uma imagem inclui as seguintes etapas S101 a S105.
[0041] Na etapa S101, uma imagem a ser processada é adquirida.
[0042] Nesta demonstração, a imagem a ser processada pode ser adquirida por um sensor de imagem. O sensor de imagem pode incluir vários dispositivos que podem coletar uma imagem, tais como uma câmera de vídeo, uma webcam e uma câmera. Nesta demonstração, o sensor de imagem pode ser uma câmera em um aparelho terminal, tal como uma câmera frontal ou traseira em um smartphone. Uma imagem coletada por uma câmera pode ser exibida diretamente em uma tela do smartphone. Nesta etapa, o vídeo de imagem coletado pelo sensor de imagem é adquirido para processamento posterior da imagem na próxima etapa.
[0043] Em uma demonstração, a imagem a ser processada pode ser adquirida pela aquisição de um quadro de imagem atual de um vídeo coletado por um aparelho terminal. Um vídeo inclui múltiplos quadros de imagem, portanto nessa demonstração, a imagem de vídeo é adquirida e a imagem do quadro de vídeo incluída na imagem de vídeo é adquirida como a imagem a ser processada. Opcionalmente, a imagem de vídeo é adquirida e a imagem de quadro de vídeo incluída na imagem de vídeo como a imagem a ser processada, inclui: adquirir a imagem de quadro de vídeo correspondente a um ponto de tempo de reprodução atual da imagem de vídeo e determinar a imagem de quadro de vídeo correspondente ao ponto de tempo de reprodução atual como a imagem a ser processada. Nesta demonstração, diferentes imagens de quadros de vídeo na imagem de vídeo são adquiridos para serem processados com base em diferentes pontos de tempo atuais.
[0044] Na etapa S102, um arquivo de áudio é adquirido.
[0045] Nesta etapa, o arquivo de áudio pode ser um arquivo de áudio adquirido de um espaço de armazenamento local ou um arquivo de áudio adquirido de um espaço de armazenamento de rede. O arquivo de áudio pode incluir música, voz humana e afins.
[0046] Em uma demonstração, o arquivo de áudio é adquirido por: adquirir o arquivo de áudio e analisar o arquivo de áudio para adquirir a tabela de correspondência armazenando relações de correspondência entre pontos de tempo no arquivo de áudio e os primeiros valores de atributo do arquivo de áudio. Opcionalmente, o arquivo de áudio é independente da imagem a ser processada. A imagem pode ser uma imagem dinâmica, como um vídeo ou uma imagem em movimento (gif), ou uma imagem estática, como uma fotografia. Um arquivo de áudio a ser usado é adquirido, e o arquivo de áudio adquirido é pré- processado. O pré-processamento pode ser a análise do arquivo de áudio em cada ponto de tempo. O ponto de tempo pode ser definido com base em uma frequência de amostragem. Nesta demonstração, o intervalo entre pontos de tempo adjacentes pode ser definido como 10ms. Ou seja, os pontos de tempo são amostrados em intervalos de 10ms, e o primeiro valor de atributo do arquivo de áudio respectivamente nos pontos de tempo são analisados. O primeiro atributo do arquivo de áudio pode ser qualquer atributo, tal como intensidade do som, tom, timbre, comprimento do som e ritmo do arquivo de áudio. Nesta demonstração, por exemplo, o primeiro valor de atributo do arquivo de áudio é a intensidade de ritmo. A intensidade do ritmo pode ser configurada em até 5 níveis. Para cada ponto de tempo, o nível de intensidade do ritmo neste ponto de tempo é adquirido pela analise do arquivo de áudio. Após a análise do arquivo de áudio, relações de correspondência entre pontos de tempo e os níveis de intensidade de ritmo respectivamente correspondentes são adquiridas. Nesta demonstração, as relações de correspondência podem ser armazenadas em uma tabela de correspondência. A tabela abaixo mostra um exemplo de tabela de correspondência: Ponto de tempo Nível de intensidade de ritmo 10ms Segundo nível 20ms Quarto nível 30ms Quinto nível 40ms Terceiro nível …… ……
[0047] Em outra demonstração , o arquivo de áudio tem uma relação com uma imagem a ser processada. A imagem pode ser uma imagem dinâmica, como um vídeo ou uma imagem em movimento (gif), ou uma imagem estática, como uma fotografia. A relação pode ser uma relação de correspondência entre o arquivo de áudio e a imagem a ser processada. Por exemplo, no caso em que um arquivo de áudio é reproduzido enquanto um vídeo é reproduzido ou uma fotografia é aberta, o arquivo de áudio é um arquivo de áudio incluído no vídeo ou um arquivo de áudio embutido na fotografia. Nesta demonstração, um arquivo de áudio a ser usado é adquirido, e o arquivo de áudio adquirido é pré-
processado.
O pré-processamento pode ser para analisar o arquivo de áudio em cada ponto de tempo.
O ponto de tempo pode ser definido com base na frequência de amostragem.
Nesta demonstração, a frequência de amostragem pode ser relacionada ao atributo da imagem.
No caso em que a imagem é um vídeo, e o vídeo inclui 30 quadros de vídeo por segundo, um intervalo entre pontos de tempo adjacentes pode ser definido em 33ms.
Ou seja, pontos de tempo são amostrados em intervalos de 33ms, assim um ponto de tempo corresponda a um quadro de vídeo.
No caso em que a imagem é uma imagem em movimento (gif), e a imagem em movimento (gif) inclui múltiplos quadros de imagem, um instante de tempo no qual um quadro de imagem é exibido é definido como um ponto de tempo.
No caso em que a imagem é estática, o ponto de tempo pode ser definido arbitrariamente.
Aparentemente, no caso em que a imagem é um vídeo ou um imagem em movimento (gif), o ponto de tempo pode ser definido arbitrariamente, que não é repetido aqui.
Os dados de atributo do arquivo de áudio no ponto de tempo são analisados.
Os dados e atributo do arquivo de áudio podem ser qualquer atributo, tal com intensidade do som, tom, timbre, comprimento do som e ritmo do arquivo de áudio.
Nesta demonstração, por exemplo, o atributo de dados do arquivo de áudio é a intensidade do ritmo.
A intensidade do ritmo pode ser definida como tendo 5 níveis.
Para cada ponto de tempo, o nível da intensidade do ritmo neste ponto de tempo é adquirido pela análise do arquivo de áudio.
Depois que o arquivo de áudio é analisado, as relações de correspondência entre os pontos de tempo e os níveis de intensidade de ritmo correspondente aos pontos de tempo são adquiridas.
Nesta demonstração, as relações de correspondência podem ser armazenadas em uma tabela de correspondência.
A tabela de correspondência, nesta demonstração, é similar a tabela de correspondência na demonstração anterior e não é repetida aqui.
A tabela de correspondência pode armazenar relações de correspondência entre pontos de tempo e valores de atributo do arquivo de áudio ao invés das relações de correspondências entre pontos de tempo e níveis do valor de atributo do arquivo de áudio.
[0048] Em uma demonstração da tabela de correspondência, na tabela de correspondência, ponto de tempo inclui o ID do ponto de tempo e os dados de atributo do arquivo de áudio correspondentes ao ID do ponto de tempo. O ID do ponto de tempo pode ser um número serial do ponto de tempo em uma sequência de ponto de tempo.
[0049] Deve ser compreendido que embora soluções para a pré-análise dos arquivos de áudio serem descritas nas demonstrações acima, essas soluções não limitam para a presente divulgação. Na verdade, qualquer solução para analisar o arquivo de áudio pode ser usada na presente divulgação. Além disso, nesta etapa, o arquivo de áudio pode ser adquirido sem analise do arquivo de áudio. Uma solução para não pré-analisar o arquivo de áudio é descrita a seguir, e não é descrita em detalhes aqui.
[0050] Na etapa S103 o arquivo de áudio é reproduzido e um primeiro valor de atributo do arquivo de áudio correspondente a um ponto de tempo atual é adquirido.
[0051] Em uma demonstração, o arquivo de áudio é reproduzido e o primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual é adquirido ao adquirir o ponto de tempo de reprodução atual do arquivo de áudio; e adquirir o primeiro valor de atributo correspondente ao ponto de tempo de reprodução atual com base na tabela de correspondência.
[0052] Em uma demonstração, o arquivo de áudio é independente da imagem a ser processada. Um instante de tempo em que o áudio reproduzido atualmente é adquirido. No caso em que o instante de tempo no qual o áudio é atualmente reproduzido não é um ponto de tempo, o ponto de tempo atual pode ser determinado arredondando para cima ou para baixo o instante de tempo no qual o áudio é atualmente reproduzido. A tabela de correspondência gerada na etapa S102 é pesquisada com base no ponto de tempo atual para adquirir um valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual. O valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual é gravada como o primeiro valor de atributo do arquivo de áudio. A tabela de correspondência pode ser pesquisada com base em um número serial do ponto de tempo atual para um valor de atributo do arquivo de áudio correspondente ao ponto de tempo com o mesmo número serial e o valor de atributo é gravado como o primeiro valor de atributo do arquivo de áudio.
[0053] Em outra demonstração, o arquivo de áudio é associado à imagem a ser processada. Por exemplo se o arquivo de áudio é um arquivo de áudio no vídeo. O arquivo de áudio é reproduzido e um primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual é adquirido por: reproduzir o arquivo de áudio; adquirir a imagem do quadro de vídeo atualmente reproduzida na imagem de vídeo; calcular um ponto de tempo atual com base na imagem de quadro de vídeo; e adquirir o primeiro valor de atributo do arquivo de áudio com base no ponto de tempo atual. Então, com maneira de amostragem descrita na etapa S101, o ponto de tempo do arquivo de áudio pode ser amostrado com a frequência na qual o quadro de vídeo é reproduzido. O ponto de tempo do quadro de vídeo e o ponto de tempo do áudio correspondem um ao outro. Consequentemente, o número de serial do quadro de vídeo e o ponto de tempo do áudio correspondem um ao outro portanto o ponto de tempo atual pode ser diretamente calculado com base no quadro de vídeo. A tabela de correspondência é pesquisada com base em um número serial do ponto de tempo atual para um valor de atributo do arquivo de áudio correspondente a um ponto de tempo com o mesmo número serial, e um valor de atributo do arquivo de áudio correspondente ao ponto de tempo com o mesmo número serial é gravado como o primeiro valor de atributo do arquivo de áudio.
[0054] Em uma demonstração, o arquivo de áudio não é pré-analisado na etapa S102. Nesta demonstração, o arquivo de áudio é reproduzido e o primeiro valor de atributo do arquivo de áudio correspondente a um ponto de tempo de reprodução atual é adquirido por: reproduzir o arquivo de áudio, e amostrar o arquivo de áudio no ponto de tempo de reprodução atual para obter o arquivo de áudio amostrado; e analisar a amostra do arquivo de áudio para obter o primeiro valor de atributo do arquivo de áudio. Nesta demonstração, a frequência de amostragem pode ser predefinida. O arquivo de áudio, quando é reproduzido, é amostrado e analisado no tempo real para obter o atributo do arquivo de áudio. Este atributo pode ser qualquer atributo do arquivo de áudio mencionado na etapa S102. Nesta demonstração, é requerido apenas definir a frequência de amostragem, o atributo do arquivo de áudio e o nível do valor de atributo do arquivo de áudio, sem a pré-geração e uma tabela de correspondência armazenado relações de correspondência entre pontos de tempo e os níveis do valor de atributo do arquivo de áudio ou relações de correspondência entre os pontos de tempo e os valores de atributo do arquivo de áudio.
[0055] Na etapa S104 uma extensão de deformação na imagem é determinada com base no primeiro valor de atributo.
[0056] Em uma demonstração, a extensão de deformação na imagem é determinada com base no primeiro valor de atributo por: adquirir relações de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem; e calcular a extensão de deformação na imagem com base no primeiro valor de atributo e na relação de correspondência.
[0057] Em uma demonstração, a relação de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem é adquirida de acordo com a demonstração mencionada acima por: adquirir uma tabela de correspondência armazenando a relação de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem. Nesta demonstração, relações de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem é predefinida, e uma tabela de correspondência armazenando relações de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem é gerada. Nesta demonstração, o primeiro valor de atributo pode ser definido para ter 5 níveis como na etapa S102, e cada um dos 5 níveis corresponde à uma extensão de deformação. Nesta demonstração, a extensão de deformação pode ser obtida consultando a tabela de correspondência. Assim, a extensão de deformação na imagem é calculada com base no primeiro valor de atributo e a relação de correspondência por: pesquisar na tabela de correspondência armazenando as relações de correspondência entre o primeiro valor de atributo e as extensões de deformação na imagem para o primeiro valor de atributo, e adquirir a extensão de deformação na imagem correspondente ao primeiro valor de atributo.
[0058] Opcionalmente, nesta demonstração, as relações de correspondência entre o primeiro valor de atributo e as extensões de deformação na imagem podem ser adquiridas por: adquirir uma função para calcular uma extensão de deformação na imagem com base no primeiro valor de atributo. A função pode ser uma função linear ou uma função não linear. As extensões de deformação variáveis podem ser fornecidas com base na função. Nesta demonstração, o primeiro valor de atributo pode ter 5 níveis, como na etapa S102. Alternativamente, a extensão de deformação na imagem pode ser calculada diretamente com base no valor original do primeiro atributo tal como uma intensidade da música, o que não é limitado na presente divulgação.
[0059] Na etapa S105, o processo de deformação é realizado na imagem a ser processada, com base na extensão de deformação da imagem.
[0060] Em uma demonstração, o processo de deformação é realizado na imagem a ser processada com base na extensão de deformação na imagem definindo um grau para qual o processo de deformação é realizado na imagem com a extensão de deformação na imagem como um parâmetro para o processo de deformação. O processo de deformação com o grau é realizado na imagem a ser processada, para obter uma imagem sujeita à deformação.
[0061] Em uma demonstração, o processo de realização da deformação da imagem a ser processada com base na extensão de deformação da imagem inclui as seguintes etapas: S10501 e S10502. Na etapa S10501, o tipo de deformação é adquirido. Na etapa S10502, o processo de deformação é realizado na imagem a ser processada com base no tipo de deformação e na extensão de deformação. Em uma demonstração, o tipo de deformação pode ser predefinido. Em uma demonstração, o processo de deformação é realizado na imagem a ser processada com base no tipo de deformação predefinido e na extensão de deformação adquirida na etapa S104. Em outra demonstração, uma condição de disparo do tipo de deformação pode ser predefinida. Por exemplo, olhos são alargados se for detectado que os olhos de uma pessoa piscam duas vezes, uma boca é encolhida se for detectado que uma mão de uma pessoa está acenando e assim por diante. Nesta demonstração, pode-se predefinir a relação de correspondência entre as condições de disparo e os tipos de deformação e armazenar em um arquivo de configuração. Se uma condição de disparo for detectada, um tipo de deformação correspondente a condição de disparo é adquirida. Dessa forma, é realizada a troca entre diferentes tipos de deformação.
[0062] Em uma demonstração, a imagem a ser processada é uma imagem da face humana, e a deformação é realizada nas características faciais da face humana.
Nesta demonstração, as características faciais para as quais a deformação é para ser deformada podem ser predefinidas.
Em relação à deformação das características faciais, é necessário segmentar as características faciais da imagem a ser processada.
Para segmentar as características faciais, primeiro é realizada a detecção de face.
Na detecção de face, uma imagem predeterminada arbitrariamente ou uma sequência de imagens é buscada com base em uma certa estratégia para determinar posições e regiões onde todas as faces são respectivamente localizadas para determinar se faces humanas existem na imagem ou sequência de imagens e determinar o número de faces humanas e a distribuição espacial das faces humanas.
Geralmente, a detecção de faces pode ser realizada de acordo com as quatro seguintes maneiras. (1) Uma maneira com base no conhecimento prévio.
Nessa maneira, uma biblioteca de regras é formada com base em faces típicas para codificar faces e as faces são posicionadas com base na relação entre as características faciais. (2) Uma maneira invariante de característica.
Nesta maneira, as características estáveis são determinadas em várias posturas, visualizando ângulos ou condições de iluminação, e então as faces são determinadas com bases nessas características estáveis. (3) Uma maneira de correspondência de modelo.
Nessa maneira, vários modelos de face padrão são armazenados para descrever uma face inteira e características faciais, e então uma correlação entre a imagem de entrada e o modelo armazenado é calculada para detecção. (4) Uma maneira baseada na aparência.
Nesta maneira, diferente da maneira de correspondência de modelo moldes são adquiridos aprendendo com o conjunto de imagens de treinamento e então são usados para detecção.
A detecção de face pode ser descrita pela implementação das quatro maneiras.
Primeiro, uma característica é extraída para estabelecer um molde.
Nesta demonstração, uma característica Haar é usada como uma característica chave para reconhecer uma face. A característica Haar é uma característica retangular simples que é extraída rapidamente. Geralmente, um template de característica para calcular a característica Haar inclui uma combinação simples de dois ou mais retângulos congruentes. O template de característica inclui um retângulo preto e um retângulo branco. Então, algumas das características chave são determinadas a partir de um grande número de características Haar pelo uso de um algoritmo AdaBoost, e um classificador eficaz é construído com base nas características chave. Faces na imagem podem ser detectadas pelo uso do classificador construído.
[0063] Após a detecção da face, as características faciais da face são extraídas com base nos pontos chave predefinidos. Para uma típica face humana, um contorno da face, olhos, sobrancelhas, uma boca, um nariz, orelhas e assim por diante, pode ser marcado com 108 pontos chave. Imagens de diferentes características faciais podem ser extraídas com base nas posições dos pontos chave respectivamente correspondentes a essas características faciais.
[0064] Os exemplos mencionados acima são apenas ilustrativos e não limitam a presente divulgação. Na prática, existem muitos métodos de extração de um imagem. Qualquer método com o qual as características faciais podem ser extraídas, pode ser usado na presente divulgação, e isto não é descrito em detalhes aqui.
[0065] Após a extração das características faciais, o tipo de deformação e as características faciais alvo nas quais a deformação é realizada, pode ser adquirida com o método nesta etapa. Então, o processamento de deformação pode ser realizado na imagem com base na extensão de deformação e na característica facial alvo.
[0066] Nesta demonstração, a extensão de deformação está relacionada ao arquivo de áudio. Portanto, o processamento de deformação pode ser automaticamente realizado na imagem com base no arquivo de áudio sem realizar a deformação na imagem antecipadamente.
[0067] Em uma demonstração, a imagem a ser processada é o objeto alvo em uma imagem, por exemplo, as características faciais na demonstração mencionada acima. O processamento de deformação é realizado no objeto alvo em uma imagem de vídeo atual com base no primeiro valor de atributo. O quadro da imagem atual pode incluir múltiplos objetos. O quadro da imagem pode ser processado usando um método de processamento mencionado na demonstração acima. Nesta demonstração, a imagem a ser processada pode ser um vídeo. Enquanto o vídeo é reproduzido, a forma do objeto alvo em cada quadro pode mudar com os quadros de vídeo, e o processamento de cada quadro pode mudar com o ponto de tempo do áudio, mostrando o efeito que o efeito especial no objeto alvo no vídeo muda com o áudio.
[0068] Um método para controlar deformação em uma imagem é fornecido de acordo com a segunda demonstração da presente divulgação. O método para controlar deformação em uma imagem fornecido por esta demonstração pode ser executado por um dispositivo de computação. O dispositivo de computação pode ser implementado como software ou como uma combinação de software e hardware. O dispositivo de computação pode ser integrado ao servidor, aparelho terminal e afins. Conforme mostrado na Figura 2, na segunda demonstração , a etapa S10501 na primeira demonstração inclui as seguintes etapas S201 a S202.
[0069] Na etapa S201, o número de serial de estado da imagem atual é adquirido.
[0070] Na etapa S202, o tipo de deformação é adquirido com base no número serial de estado.
[0071] Nesta demonstração, a imagem inclui um número serial de estado,
cada número serial de estado correspondendo a um objeto alvo deformável e um tipo de deformação. Por exemplo, o estado da sequência número 1 corresponde ao levantamento da sobrancelha esquerda, estado da sequência número 2 ao levantamento da sobrancelha direita, estado da sequência número 3 ao levantamento da sobrancelha esquerda e direita, estado da sequência número 4 ao levantamento da sobrancelha esquerda e ampliação do olho esquerdo. Múltiplos estados podem ser definidos em vários estados, e cada um dos múltiplos estados corresponde a um número serial de estado. Após o número serial de estado deum estado atual ser adquirido, o tipo de deformação pode ser determinado.
[0072] Em uma demonstração, o processamento de deformação pode alternar entre múltiplos estados da imagem para alcançar o efeito de alternar entre múltiplos tipos de deformação. Especificamente, como mostrado na Figura 3, o número serial de estado da imagem atual é adquirido na etapa S201 por realizar as seguintes etapas de S301 a S304.
[0073] Em S301, a extensão de deformação na imagem é adquirida.
[0074] Em S302, no caso em que a extensão de deformação da imagem é maior do que o primeiro limite, o valor do bit de deformação é verdadeiro e o número serial de estado da imagem atual é adquirido.
[0075] Em S303, no caso em que a extensão de deformação na imagem é menor do que o primeiro limite e o valor do bit de deformação é verdadeiro, o número serial de estado da imagem atual é adicionado por 1 para adquirir o primeiro número serial de estado.
[0076] Em S304, o restante, adquirido pela divisão do primeiro número serial de estado pelo número total dos números seriais de estado, é determinado como o número serial de estado da imagem atual.
[0077] Nesta demonstração, o estado representa o número serial de estado atual.
O valor do número serial de estado padrão é definido como 1, ou seja, os padrões da imagem para o estado 1, estado é igual a 1. A extensão de deformação é adquirida e a intensidade representa a extensão de deformação.
O tipo de deformação é adquirido com base no valor do estado atual, e o processamento de deformação é realizado em uma característica facial correspondente ao estado atual.
No início, o estado é igual a 1, e é determinado se a intensidade é maior que o primeiro limite.
No caso em que a intensidade é maior que o primeiro limite, o valor do bit de deformação é definido como sendo verdadeiro.
O flag representa o bit de deformação, e o valor do flag é definido para ser verdadeiro.
No caso em que a intensidade é menor que o primeiro limite e o valor do flag for verdadeiro, o valor do estado é calculado pelo uso da expressão state = (state + 1)% max_state_num, em que max_state_num representa o número de estados, e % indica calcular um restante.
A Figura 4 mostra um exemplo específico de troca de estado.
Neste exemplo, existem 12 estados no total.
Começando com um estado 1, no caso em que a extensão de deformação adquirida é maior do que o primeiro valor de limite, o processamento da deformação é realizado e o valor do flag é definido como verdadeiro.
Se a extensão de deformação permanecer maior do que o primeiro valor de limite, o processamento de deformação permanece no estado 1, ou seja, elevação da sobrancelha esquerda.
No caso em que a extensão de deformação é menor ou igual ao primeiro valor de limite e flag é igual a verdadeiro, o valor do estado atual é calculado pelo uso da expressão (state + 1)% max_state_num , em que max_state_num = 12, estado + 1 = 2, e o restante é calculado para ser 2. Então, o estado é trocado do estado 1 para o estado 2, o número serial de estado é 2, e o processamento da deformação de levantar a sobrancelha direita é realizado.
As operações acima são repetidas até que o estado é trocado para o estado 12. Assim, o estado aumentado por um igual a 13, o restante é calculado pelo uso da expressão (state + 1)% max_state_num para ser 1, então o estado é trocado para o estado 1 e o ciclo inicia novamente.
[0078] Nesta demonstração, no caso em que a intensidade do ritmo do áudio atinge um limite, o processamento de deformação é realizado no objeto alvo na imagem. O objeto alvo e o tipo de deformação são determinados com base no número serial de estado. O número serial de estado muda com uma determinada regra para dispara a troca entre múltiplos estados para mudar o objeto alvo e o tipo de deformação, alcançando o efeito de realizar diferentes processamentos de deformação de acordo com diferentes músicas.
[0079] Um método e um dispositivo para controlar deformação em um imagem, e um dispositivo de hardware são fornecidos de acordo com a presente divulgação. O método para controlar deformação em uma imagem inclui: adquirir uma imagem a ser processada; adquirir um arquivo de áudio; reproduzir o arquivo de áudio para adquirir o primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual; determinar a extensão de deformação da imagem com base no primeiro valor de atributo; deformar a imagem a ser processada de acordo com a extensão de deformação da imagem. Com o método para controlar deformação em uma imagem de acordo com as demonstrações da presente divulgação, a extensão de deformação na imagem é controlada com base no valor de atributo do arquivo de áudio, o que resolve o problema técnico de que o efeito de deformação não pode ser gerado de forma flexível pela tecnologia atual.
[0080] Anteriormente, embora as etapas acima sejam descritas na ordem mencionada acima, os técnicos no assunto devem entender que as etapas nesta demonstração da presente divulgação não são necessariamente realizadas na ordem mencionada acima e também podem ser executadas na ordem inversa, paralela, cruzada e outra ordem. Além disse, com base nas etapas mencionadas acima, os técnicos no assunto podem adicionar outras etapas. Essas formas óbvias de modificação ou substituição equivalente também devem ser incluídas no escopo de proteção da presente divulgação e não serão descritas em detalhes na presente divulgação.
[0081] Demonstrações de dispositivos da presente divulgação serão descritos abaixo. O dispositivo, de acordo com a presente divulgação pode realizar o método de acordo com a presente divulgação. Para facilidade de descrição, apenas as partes relatadas na demonstração da presente divulgação são mostradas. Para as especificações técnicas detalhadas que não foram divulgadas, a referência pode ser feita para a demonstração do método da presente divulgação.
[0082] Esta demonstração fornece um dispositivo de controle para deformação de imagem. O dispositivo pode realizar o método para controlar deformação em uma imagem na primeira demonstração. Como mostrado na Figura 5, o dispositivo 500 inclui um módulo de aquisição de imagem 501, módulo de aquisição de arquivo de áudio 502, primeiro módulo de aquisição de valor de atributo 503, módulo de aquisição de extensão de deformação 504 e módulo de processamento de deformação 505.
[0083] O módulo de aquisição de imagem 501 é configurado para adquirir a imagem a ser processada. O módulo de aquisição de arquivos de áudio 502, é configurado para adquirir um arquivo de áudio. O primeiro módulo de aquisição de valor de atributo 503 é configurado para reproduzir o arquivo de áudio e adquirir o primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual. O módulo de aquisição de extensão de deformação 504 é configurado para determinar a extensão de deformação da imagem de acordo com o primeiro valor de atributo. O módulo de processamento de deformação 505 é configurado para processamento de deformação da imagem pendente de acordo com a extensão de deformação da imagem.
[0084] Além disso, o módulo de aquisição de imagem 501 inclui um módulo de aquisição de imagem de vídeo. O módulo de aquisição de imagem de vídeo é configurado para adquirir uma imagem de vídeo, e adquirir a imagem do quadro de vídeo na imagem de vídeo usada como a imagem a ser processada.
[0085] Além disso, o módulo de aquisição de arquivo de áudio 502 também é usado para adquirir o arquivo de áudio contido na imagem de vídeo.
[0086] Além disso, o primeiro módulo de aquisição de valor de atributo 503 inclui um primeiro módulo de reprodução de áudio, um módulo de aquisição de imagem de quadro de vídeo, um primeiro módulo de aquisição de ponto de tempo, e um primeiro módulo inicial de valor de atributo. O primeiro módulo de reprodução de áudio é configurado para reproduzir o arquivo de áudio. O módulo de aquisição de imagem de quadro de vídeo é configurado para adquirir a imagem de quadro de vídeo atualmente reproduzida pela imagem de vídeo. O primeiro módulo de aquisição de ponto de tempo é configurado para calcular o ponto de tempo atual de acordo com a imagem do quadro de vídeo. O primeiro módulo inicial de aquisição de valor de atributo é configurado para adquirir o primeiro valor de atributo do arquivo de áudio com base no ponto de tempo atual.
[0087] Além disso, o módulo de aquisição de arquivo de áudio 502 inclui um módulo de análise de arquivo de áudio. O módulo de análise de arquivo de áudio é configurado para adquiri o arquivo de áudio e analisar o arquivo de áudio para adquirir a tabela correspondente que armazena as relações entre os pontos de tempo no arquivo de áudio e os primeiros valores de atributo do arquivo de áudio .
[0088] Além disso, o primeiro módulo de aquisição de valor de atributo 503 inclui um segundo módulo de aquisição de ponto de tempo. O segundo módulo de aquisição de ponto de tempo é configurado para adquirir o ponto de tempo de reprodução atual do áudio. O segundo primeiro módulo de aquisição de valor de atributo é configurado para adquirir o primeiro valor de atributo correspondente ao ponto de tempo de reprodução atual de acordo com a tabela de relação de correspondência.
[0089] Além disso, o módulo de aquisição de extensão de deformação 504 inclui um módulo de aquisição de relação de correspondência e um módulo de cálculo de extensão de deformação. O módulo de aquisição de relação de correspondência é configurado para adquirir a relação de correspondência entre o primeiro valor de atributo e a extensão de deformação da imagem. O módulo de cálculo da extensão de deformação é configurado para calcular a extensão de deformação da imagem com base no primeiro valor de atributo e na relação de correspondência.
[0090] Além disso, o módulo de processamento de deformação 505 inclui um módulo de aquisição de tipo de deformação 50501 e um primeiro módulo de processamento de deformação 50502. O módulo de aquisição de tipo de deformação 50501 é configurado para adquirir o tipo de deformação. O primeiro módulo de processamento de deformação 50502 é configurado para realizar o processamento de deformação da imagem não processada com base no tipo de deformação da imagem e na extensão de deformação na imagem.
[0091] O dispositivo mostrado na Figura 5 pode realizar o método da demonstração mostrado na Figura 1. A parte da demonstração sem descrição detalhada pode se referir à descrição relevante da demonstração mostrada na Figura 1. Para a implementação e efeitos técnicos dessa solução técnica, referência pode ser feita na descrição da demonstração mostrada na Figura 1, que não é repetida aqui.
[0092] Um dispositivo para controlar deformação em uma imagem é fornecido de acordo com outra demonstração da presente divulgação. O dispositivo pode realizar as etapas descritas na segunda demonstração do método de controle para a deformação da imagem descrita acima. O dispositivo inclui o módulo de aquisição do tipo de deformação 50501 incluído na deformação da imagem na primeira demonstração . Como mostrado na Figura 6, o módulo de aquisição do tipo de deformação 50501 inclui um módulo de aquisição de número serial de estado 601 e um submódulo de aquisição de tipo de deformação 602. O módulo de aquisição de número serial de estado 601 é configurado para segmentar a imagem processada e adquirir a área de contorno do objeto alvo a ser processado. O submódulo de aquisição de tipo de deformação 602 é configurado para adquirir o tipo de deformação com base no número serial de estado.
[0093] Além disso, o módulo de aquisição de número serial de estado 601 inclui um primeiro módulo de aquisição de extensão, um primeiro módulo de aquisição de número serial de estado atual, e um segundo módulo de sequência de estado atual. O primeiro módulo de aquisição de extensão é configurado para adquirir a extensão de deformação na imagem. O primeiro módulo de aquisição de número serial de estado atual é usado para definir o valor do bit de deformação como verdadeiro quando a extensão de deformação da imagem é maior do que o primeiro valor de limite e para adquirir o número serial de estado da imagem atual. O segundo módulo de aquisição de número serial de estado atual é configurado para: adquirir o primeiro número serial de estado adicionando 1 ao número serial de estado da imagem atual. Quando a extensão de deformação da imagem é menor que o primeiro valor de limiar e o valor de deformação mencionado é verdadeiro, e o restante do primeiro número serial de estado dividido pelo número total do número serial de estado é o número serial de estado da imagem atual.
[0094] O dispositivo mostrado na Figura 6 pode realizar o método da demonstração mostrado na Figura 2. A parte da demonstração sem descrição detalhada pode se referir à descrição relevante da demonstração mostrada na Figura 2. Para a implementação e efeitos técnicos dessa solução técnica, referência pode ser feita na descrição da demonstração mostrada na Figura 2, que não é repetida aqui.
[0095] A Figura 7 abaixo mostra um esquema estrutural de 700 dispositivos eletrônicos adequados para a implementação destas demonstrações da presente divulgação. Os dispositivos eletrônicos nesta demonstração podem incluir, mas não estão limitados a terminais móveis, como telefones celulares, laptops, receptores de transmissão digital, PDA (Assistente Pessoal Digital), PAD (Tablet), PMP (Player Multimídia Portátil), terminais on-board (como terminais de navegação de bordo) e terminais fixos como TV digital, computadores desktop. O equipamento eletrônico mostrado na Figura 7 é apenas um exemplo e não deve impor quaisquer limitações na função e escopo destas demonstrações da presente divulgação.
[0096] Como mostrado na Figura 7, o dispositivo eletrônico 700 pode incluir um dispositivo de processamento 701 (por exemplo, uma unidade de processamento central e uma unidade de processamento gráfica). O dispositivo de processamento 701 pode realizar várias operações e processos apropriados com base em um programa armazenado em uma memória apenas de leitura (ROM) 702 ou um programa carregado em um memória de acesso aleatório (RAM) 703 de um dispositivo de armazenamento 708. Vários programas e dados requeridos pelo equipamento eletrônico 700 são armazenados na RAM 703. O dispositivo de processamento 701, a ROM 702 e a RAM 703 estão conectados uns aos outros por um barramento 704. Uma interface de entrada/saída (I/O) 705 também está conectada ao barramento 704.
[0097] Geralmente, os seguintes dispositivos podem ser conectados à interface de I/O 705: um dispositivo de entrada 706 tal como uma tela sensível ao toque, um touch pads, um teclado, um mouse, um sensor de imagem, um microfone, um acelerômetro e um giroscópio; um dispositivo de saída 707, tal como um monitor de cristal líquido (LCD), um alto-falante e um vibrador; um dispositivo de armazenamento 708, tal como uma fita magnética e um disco rígido; e um dispositivo de comunicação 709. Com o dispositivo de comunicação 709, o dispositivo eletrônico 700 pode realizar comunicação sem fio ou com fio com outro dispositivo para trocar dados. Embora a Figura 7 mostre um dispositivo eletrônico 700 com uma variedade de dispositivos, deve ser entendido que não é necessário implementar ou incluir todos os dispositivos mostrados. Esses dispositivos podem ser implementados alternativamente ou o dispositivo terminal 700 pode incluir mais ou menos dispositivos.
[0098] Em particular, os processos, descritos acima com referência nos fluxogramas, podem ser implementados como um programa de software de computador de acordo com uma demonstração da presente divulgação. Por exemplo, um produto de programa de computador é fornecido de acordo com uma demonstração da presente divulgação. O programa de computador inclui um programa de computador incorporado em um meio legível por computador, e o programa de computador inclui códigos de programa para executar um método mostrado em um fluxograma. Nesta demonstração, o programa de computador pode ser baixado (downloaded) a partir de uma rede através do dispositivo de comunicação 709, e ser instalado, ou o programa de computador pode ser lido a partir do dispositivo de armazenamento 708, e ser instalado, ou o programa de computador pode ser lido a partir da ROM 702, e ser instalado. O programa de computador, quando executado pelo dispositivo de processamento 701, implementa as funções definidas no método de acordo com a demonstração da presente divulgação.
[0099] Dever ser observado que o meio legível por computador mencionado acima na presente divulgação pode ser um meio de sinal legível por computador ou um meio de armazenamento legível por computador ou qualquer combinação de um meio de sinal legível por computador ou um meio de armazenamento legível por computador. O meio de armazenamento legível por computador, por exemplo, pode ser, mas não está limitado a, dispositivo, aparelho ou sistema semicondutor, elétrico, magnético, óptico, eletromagnético, infravermelho ou qualquer combinação destes. Mais particularmente, o meio de armazenamento legível por computador pode incluir, mas não está limitado a: uma conexão elétrica com um ou mais fios, um disco de computador portátil, um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), uma memória somente de leitura programável apagável (EPROM ou memória flash), uma fibra ótica, uma memória somente leitura em disco compacto portátil (CD-ROM), um dispositivo de armazenamento ótico, um dispositivo de armazenamento magnético ou qualquer combinação apropriada dos acima. Na presente divulgação, o meio de armazenamento legível por computador pode ser qualquer meio tangível que inclui ou armazena um programa. O programa pode ser usado por dispositivo, aparelho ou sistema de execução de instrução, ou usado em combinação destes. Na presente divulgação, o meio de sinal legível por computador pode incluir um sinal de dados transmitidos em uma banda base ou como uma parte da portadora de onda, e carregando um código de programa legível por computador. Esses sinais de dados transmitidos podem ser em muitas formas, incluindo, mas não se limitando a: um sinal eletromagnético, um sinal óptico ou qualquer combinação apropriada de um sinal eletromagnético e um sinal óptico. Um meio de sinal legível por computador também pode ser qualquer meio legível por computador diferente de um meio de armazenamento legível por computador. O meio de sinal legível por computador pode transmitir, propagar ou transportar um programa usado por dispositivo, aparelho ou um sistema de execução de instrução, ou usado em combinação destes. O código do programa contido no meio legível por computador pode ser transmitido por qualquer meio apropriado, incluindo, mas não se limitando a: um fio, um cabo óptico, RF (radiofrequência), ou qualquer combinação adequada dos acima.
[00100] O meio legível por computador mencionado acima pode ser incluído no dispositivo eletrônico mencionado acima, ou também pode existir separadamente sem estar no dispositivo eletrônico.
[00101] O meio legível por computador mencionado acima armazena um ou mais programas. O dispositivo eletrônico quando executa um ou mais programas, realiza as seguintes operações: adquirir uma imagem a ser processada; adquirir um arquivo de áudio; reproduzir o arquivo de áudio e adquirir o primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual; determinar uma extensão de deformação na imagem com base no primeiro valor de atributo; e realizar o processamento de deformação na imagem a ser processada com base na extensão de deformação na imagem.
[00102] O código de programa de computador para realizar operações da presente divulgação pode ser escrito em uma ou mais linguagens de programação ou combinações das mesmas. As linguagens de programação mencionadas acima incluem linguagens de programação orientadas a objetos, como Java, Smalltalk, C++, e linguagens de programação procedurais convencionais, como "C" ou outras linguagens de programação semelhantes. O código do programa pode ser executado inteiramente no computador do usuário, parcialmente no computador do usuário, ou ser executado como um pacote de software independente, ou ser parcialmente executado em um computador de usuário e parcialmente em um computador remoto, ou ser inteiramente executado no computador remoto ou servidor. No caso da execução do código de programa envolver um computador remoto, o computador remoto pode ser conectado ao computador do usuário por meio de qualquer tipo de rede, incluindo uma rede de área local (LAN) ou uma rede de longa distância (WAN). Alternativamente, o computador remoto pode ser conectado a um computador externo (por exemplo, via Internet através de um provedor de serviços de Internet).
[00103] Os fluxogramas e diagramas de blocos nos desenhos ilustram estruturas, funções e operações de possíveis implementações de produtos do método e programa de computador fornecidos de acordo com as várias demonstrações da presente divulgação. Cada bloco nos fluxogramas ou diagramas de blocos pode representar um módulo, um segmento de programa ou uma parte do código. O módulo, segmento de programa ou parte do código inclui uma ou mais instruções executáveis para implementar uma função lógica especificada. Também deve ser observado que, em algumas implementações alternativas, as funções mostradas nos blocos podem ser implementadas em uma ordem diferente da ordem mostrada nos desenhos. Por exemplo, dois blocos mostrados em sucessão podem ser executados, de fato, substancialmente em paralelo e, às vezes, podem ser executadas na ordem inversa, dependendo das funcionalidades envolvidas. Também deve ser observado que cada bloco nos diagramas de blocos e/ou fluxogramas, bem como uma combinação de blocos nos diagramas de blocos e/ou fluxogramas, pode ser implementado por um sistema baseado em hardware dedicado que é configurado para implementar funções ou operações especificadas, ou pode ser implementado pelo uso de uma combinação de hardware dedicado e instruções de computador.
[00104] Unidades envolvidas nas demonstrações da presente divulgação podem ser implementadas por software ou hardware. O nome da unidade não constitui, de qualquer forma, uma limitação à unidade em si.
[00105] Acima estão apenas demonstrações preferenciais da presente divulgação e são ilustrações de princípios técnicos aplicados na presente divulgação. Os técnicos no assunto devem entender que o escopo da presente divulgação não é limitado a soluções técnicas formadas por uma combinação específica das características técnicas acima mencionadas, e também abrange outras soluções técnicas formadas por qualquer combinação das características técnicas acima mencionadas ou de características equivalentes a estas, sem se afastar da concepção inventiva da presente divulgação, por exemplo, soluções técnicas formadas pela substituição das características mencionadas acima e as características divulgadas na presente divulgação ( mas não limitada a esta) com funções semelhantes.

Claims (13)

REIVINDICAÇÕES
1. Método para controlar deformação em uma imagem, caracterizado pelo fato de que compreende: adquirir uma imagem a ser processada; adquirir um arquivo de áudio; reproduzir o arquivo de áudio e adquire o primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual; determinar a extensão de deformação na imagem com base no primeiro valor de atributo; realizar o processo de deformação na imagem a ser processada com base na extensão de deformação na imagem.
2. Método para controlar deformação em uma imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que adquirir uma imagem a ser processada compreende: adquirir uma imagem de vídeo e adquirir uma imagem de quadro de vídeo compreendida na imagem de vídeo como a imagem a ser processada.
3. Método para controlar deformação em uma imagem, de acordo com a reivindicação 2, caracterizado pelo fato de que adquirir um arquivo de áudio compreende: adquirir um arquivo de áudio compreendido na imagem de vídeo.
4. Método para controlar deformação em uma imagem, de acordo com a reivindicação 3, caracterizado pelo fato de que reproduzir o arquivo de áudio e adquirir um primeiro valor de atributo correspondente ao ponto de tempo atual compreende: reproduzir o arquivo de áudio; adquirir uma imagem do quadro de vídeo atualmente reproduzida na imagem de vídeo;
calcular o ponto de tempo atual com base na imagem do quadro de vídeo; e adquirir o primeiro valor de atributo do arquivo de áudio com base no ponto de tempo atual.
5. Método para controlar deformação em uma imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que adquirir um arquivo de áudio compreende: adquirir o arquivo de áudio e analisar o arquivo de áudio para adquirir uma tabela de correspondência armazenando relações entre pontos de tempo no arquivo de áudio e os primeiros valores de atributo do arquivo de áudio.
6. Método para controlar deformação em uma imagem, de acordo com a reivindicação 5, caracterizado pelo fato de que reproduzir o arquivo de áudio e adquirir o primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual compreende: reproduzir o arquivo de áudio; adquirir um ponto de tempo de reprodução atual do arquivo de áudio; e adquirir um primeiro valor de atributo correspondente ao ponto de tempo de reprodução atual de acordo com a tabela de correspondência.
7. Método para controlar deformação em uma imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que determinar uma extensão de deformação em uma imagem com base no primeiro valor de atributo compreende: adquirir uma relação de correspondência entre o primeiro valor de atributo e a extensão de deformação na imagem; e calcular a extensão de deformação na imagem com base no primeiro valor de atributo e na relação de correspondência.
8. Método para controlar deformação em uma imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que realizar o processo de deformação na imagem a ser processada com base na extensão de deformação na imagem compreende: adquirir um tipo de deformação; realizar o processo de deformação na imagem a ser processada com base no tipo de deformação e na extensão de deformação da imagem.
9. Método para controlar deformação em uma imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que adquirir um tipo de deformação compreende: adquirir um número de série de estado de uma imagem atual; adquirir o tipo de deformação com base no número de série de estado.
10. Método para controlar deformação em uma imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que adquirir o número de série de estado de uma imagem atual compreende: adquirir a extensão de deformação na imagem; quando a extensão de deformação na imagem for maior que o primeiro limite, estabelecer um valor de um bit de deformação para ser verdadeiro e adquirir o número de série de estado da imagem atual; quando a extensão de deformação na imagem for menor que o primeiro limite e o valor do bit de deformação for verdadeiro, aumentar o número de série de estado da imagem atual em 1 para adquirir um primeiro número de série de estado; determinar um restante, obtido pela divisão do primeiro número de série de estado pelo número total dos números de série de estado, como o número de série de estado da imagem atual.
11. Dispositivo para controlar deformação em uma imagem caracterizado pelo fato de que compreende:
um módulo de aquisição de imagem configurado para adquirir uma imagem a ser processada; um módulo de aquisição de arquivo de áudio configurado para adquirir um arquivo de áudio; um módulo de aquisição de primeiro valor de atributo configurado para reproduzir o arquivo de áudio e adquirir o primeiro valor de atributo do arquivo de áudio correspondente ao ponto de tempo atual; um módulo de aquisição de extensão de deformação configurado para determinar a extensão de deformação na imagem com base no primeiro valor de atributo; e um módulo de processamento de deformação configurado para realizar o processamento da deformação na imagem a ser processada com base na extensão de deformação na imagem.
12. Dispositivo eletrônico caracacterizado pelo fato de que compreende: uma memória configurada para armazenar instruções legíveis por computador não-transitórias; e um processador configurado para executar instruções legíveis por computador para realizar o método para controlar deformação em uma imagem definido em qualquer uma das reivindicações 1 a 10.
13. Meio de armazenamento legível por computador caracterizado pelo fato de que é configurado para armazenar instruções legíveis por computador não-transitórias, em que as instruções legíveis por computador não-transitórias quando realizadas por um computador, fazem com que o computador realize o método para controlar deformação em uma imagem definido em qualquer uma das reivindicações 1 a 10.
BR112021014591-5A 2019-01-25 2020-01-07 Método de controle, dispositivo e dispositivo de hardware de deformação de imagem BR112021014591A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910073610.7A CN110072047B (zh) 2019-01-25 2019-01-25 图像形变的控制方法、装置和硬件装置
CN201910073610.7 2019-01-25
PCT/CN2020/070729 WO2020151491A1 (zh) 2019-01-25 2020-01-07 图像形变的控制方法、装置和硬件装置

Publications (1)

Publication Number Publication Date
BR112021014591A2 true BR112021014591A2 (pt) 2021-10-05

Family

ID=67366108

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021014591-5A BR112021014591A2 (pt) 2019-01-25 2020-01-07 Método de controle, dispositivo e dispositivo de hardware de deformação de imagem

Country Status (7)

Country Link
US (1) US11409794B2 (pt)
EP (1) EP3917131A4 (pt)
JP (1) JP7209851B2 (pt)
KR (1) KR102491773B1 (pt)
CN (1) CN110072047B (pt)
BR (1) BR112021014591A2 (pt)
WO (1) WO2020151491A1 (pt)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
CN113055738B (zh) * 2019-12-26 2022-07-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN111669497A (zh) * 2020-06-12 2020-09-15 杭州趣维科技有限公司 一种移动端自拍时音量驱动贴纸效果的方法
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP3645716B2 (ja) * 1998-07-31 2005-05-11 シャープ株式会社 アニメーション作成方法、アニメーション作成装置、及びアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
CN1320497C (zh) * 2002-07-03 2007-06-06 中国科学院计算技术研究所 基于统计与规则结合的语音驱动人脸动画方法
CN100369469C (zh) * 2005-08-23 2008-02-13 王维国 语音驱动头部图像合成影音文件的方法
JP4775066B2 (ja) * 2006-03-28 2011-09-21 カシオ計算機株式会社 画像加工装置
US20090268039A1 (en) * 2008-04-29 2009-10-29 Man Hui Yi Apparatus and method for outputting multimedia and education apparatus by using camera
JP5428294B2 (ja) * 2008-10-31 2014-02-26 ブラザー工業株式会社 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム
US20100118033A1 (en) * 2008-11-10 2010-05-13 Vistaprint Technologies Limited Synchronizing animation to a repetitive beat source
JP5639832B2 (ja) * 2010-09-30 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
US20120179757A1 (en) * 2011-01-10 2012-07-12 Troy Allen Jones System and process for communication and promotion of audio within a social network
JP5434965B2 (ja) * 2011-06-03 2014-03-05 カシオ計算機株式会社 動画生成方法、動画生成装置及びプログラム
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
JP2016208200A (ja) * 2015-04-21 2016-12-08 キヤノン株式会社 撮像装置
US10453494B2 (en) * 2017-01-10 2019-10-22 Adobe Inc. Facilitating synchronization of motion imagery and audio
CN108989706A (zh) * 2017-06-02 2018-12-11 北京字节跳动网络技术有限公司 基于音乐节奏生成特效的方法及装置
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108334821B (zh) * 2018-01-18 2020-12-18 联想(北京)有限公司 一种图像处理方法及电子设备
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109147825A (zh) * 2018-08-09 2019-01-04 湖南永爱生物科技有限公司 基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Also Published As

Publication number Publication date
WO2020151491A1 (zh) 2020-07-30
KR102491773B1 (ko) 2023-01-26
JP7209851B2 (ja) 2023-01-20
KR20210110852A (ko) 2021-09-09
CN110072047A (zh) 2019-07-30
US11409794B2 (en) 2022-08-09
EP3917131A1 (en) 2021-12-01
CN110072047B (zh) 2020-10-09
EP3917131A4 (en) 2022-11-02
US20210406305A1 (en) 2021-12-30
JP2022518520A (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
BR112021014591A2 (pt) Método de controle, dispositivo e dispositivo de hardware de deformação de imagem
US11354825B2 (en) Method, apparatus for generating special effect based on face, and electronic device
WO2021082760A1 (zh) 虚拟形象的生成方法、装置、终端及存储介质
US10599914B2 (en) Method and apparatus for human face image processing
JP7199527B2 (ja) 画像処理方法、装置、ハードウェア装置
WO2020093634A1 (zh) 基于人脸识别的照片添加方法、装置、终端及存储介质
WO2020024484A1 (zh) 用于输出数据的方法和装置
CN112532897A (zh) 视频剪辑方法、装置、设备及计算机可读存储介质
WO2021083069A1 (zh) 用于训练换脸模型的方法和设备
WO2020215722A1 (zh) 视频处理方法和装置、电子设备及计算机可读存储介质
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
WO2020052062A1 (zh) 检测方法和装置
CN113221847A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022237633A1 (zh) 一种图像处理方法、装置、设备及介质
US20190371039A1 (en) Method and smart terminal for switching expression of smart terminal
CN110288532B (zh) 生成全身图像的方法、装置、设备及计算机可读存储介质
WO2023227045A1 (zh) 显示对象的确定方法、装置、电子设备及存储介质
US20220198828A1 (en) Method and apparatus for generating image
WO2020077912A1 (zh) 图像处理方法、装置、硬件装置
WO2022262473A1 (zh) 图像处理方法、装置、设备及存储介质
CN111292247A (zh) 图像处理方法和装置
CN111489769B (zh) 图像处理方法、装置和硬件装置
WO2024104477A1 (zh) 图像生成方法、装置、电子设备及存储介质
WO2020147598A1 (zh) 模型动作方法、装置、带屏音箱、电子设备及存储介质
WO2024123244A1 (zh) 文本视频生成方法、装置、电子设备及存储介质