BR112016014300B1

BR112016014300B1 - Gerenciamento térmico e energético

Info

Publication number: BR112016014300B1
Application number: BR112016014300-0A
Authority: BR
Inventors: Hee Jun Park; Sumant Madhav Paranjpe; Babak Forutanpour
Original assignee: Qualcomm Incorporated
Priority date: 2013-12-20
Filing date: 2014-12-08
Publication date: 2023-04-18
Also published as: CN105814878B; JP2016541206A; CN105814878A; US9420178B2; BR112016014300A2; KR101737290B1; KR20160099615A; JP6203965B2; CN110139035B; CN110139035A; EP3085071B1; EP3085071A1; US20150181117A1; WO2015094777A1

Abstract

GERENCIAMENTO TÉRMICO E ENERGÉTICO. Em um exemplo, um método inclui a determinação, por um dispositivo eletrônico, de uma métrica de experiência de usuário associada com o conteúdo capturado por pelo menos uma câmera do dispositivo eletrônico. O método também inclui o ajuste de pelo menos um parâmetro operacional do dispositivo para produzir um alvo de característica operacional, onde o ajuste é baseado em uma mudança estimada da métrica de experiência de usuário determinada devido ao ajuste.

Description

[0001] Esse pedido reivindica os benefícios do pedido provisório U.S. No. 61/919.543, depositado em 20 de dezembro de 2013.

Campo Técnico

[0002] Essa descrição refere-se às técnicas para criar dados de vídeo com um dispositivo de computação.

Fundamentos

[0003] Os dispositivos móveis podem assumir a forma de telefones móveis, computadores tablet, computadores laptop, computadores portáteis com cartões de comunicação sem fio, assistentes digitais pessoais (PDAs), câmeras digitais, dispositivos de jogos de vídeo, aparelhos de mídia portátil, dispositivos de memória flash com capacidades de comunicação sem fio, dispositivos de comunicação sem fio incluindo os chamados "smart phones" e "smart pads" ou tablets, e-readers, ou outros dentre uma variedade ampla de outros tipos de dispositivos portáteis. Os dispositivos móveis estão se tornando cada vez mais poderosos com a adição de processadores de alta potência, a capacidade de processar conteúdo de mídia, e a capacidade de interagir com as redes na nuvem. Os avanços no processamento de potência e capacidades dos dispositivos também podem fazer com que os dispositivos consumam potência e/ou gerem calor.

Sumário

[0004] As técnicas dessa descrição incluem o ajuste de um ou mais parâmetros operacionais de um dispositivo eletrônico em resposta a uma estimativa de uma experiência de usuário. Por exemplo, um dispositivo eletrônico pode consumir energia e produzir calor durante a operação. De acordo com os aspectos dessa descrição, um dispositivo pode determinar uma métrica de experiência de usuário que fornece uma estimativa de uma experiência de usuário. O dispositivo pode ajustar por meio do tato um ou mais parâmetros operacionais com base na métrica de experiência de usuário para manter o dispositivo operando abaixo de um limite de utilização de potência alvo ou limite de temperatura, mas que minimiza o impacto da experiência do usuário.

[0005] Em um exemplo, um método inclui a determinação, por um dispositivo eletrônico, de uma métrica de experiência de usuário associada com o conteúdo capturado por pelo menos uma câmera do dispositivo eletrônico, e ajuste de pelo menos um parâmetro operacional do dispositivo para produzir um alvo de característica operacional, onde o ajuste é baseado em uma mudança estimada da métrica de experiência de usuário determinada devido ao ajuste.

[0006] Em outro exemplo, um dispositivo eletrônico inclui pelo menos uma câmera, e um ou mais processadores configurados para determinar uma métrica de experiência de usuário associada com o conteúdo capturado por pelo menos uma câmera do dispositivo eletrônico, e para ajustar pelo menos um parâmetro operacional do dispositivo para produzir um alvo de característica operacional, onde o ajuste é baseado em uma mudança estimada para a métrica de experiência de usuário determinada devido ao ajuste.

[0007] Em outro exemplo, um aparelho inclui meios para determinar uma métrica de experiência de usuário associada com o conteúdo capturado por pelo menos uma câmera de um dispositivo eletrônico, e meios para ajustar pelo menos um parâmetro operacional do dispositivo para produzir um alvo de característica operacional, onde o ajuste é baseado em uma mudança estimada da métrica de experiência de usuário determinada devido ao ajuste.

[0008] Em outro exemplo, um meio legível por computador não transitório possui instruções armazenadas no mesmo que, quando executadas, fazem com que um ou mais processadores determinem uma métrica de experiência de usuário associada com o conteúdo capturado por pelo menos uma câmera de um dispositivo eletrônico, e ajustar pelo menos um parâmetro operacional do dispositivo para produzir um alvo de característica operacional, onde o ajuste é baseado em uma mudança estimada da métrica de experiência de usuário determinada devido ao ajuste.

[0009] Os detalhes de um ou mais aspectos da descrição são apresentados nos desenhos em anexo e na descrição abaixo. Outras características, objetivos e vantagens das técnicas descritas nessa descrição serão aparentes a partir da descrição e dos desenhos e das reivindicações.

Breve Descrição dos Desenhos

[0010] A figura 1 ilustra dispositivos ilustrativos que podem implementar as técnicas dessa descrição;

[0011] A figura 2 é um diagrama em bloco ilustrando um exemplo de um dispositivo que pode ser configurado para implementar as técnicas dessa descrição;

[0012] A figura 3 ilustra um exemplo de um sistema de gerenciamento de um dispositivo que pode implementar as técnicas dessa descrição;

[0013] As figuras 4A e 4B ilustram um exemplo de uma relação entre o consumo de potência, uma taxa de quadro e uma experiência de usuário;

[0014] As figuras 5A e 5B ilustram uma relação ilustrativa entre o consumo de potência, resolução e experiência de usuário;

[0015] A figura 6 ilustra modelos ilustrativos de uma experiência de usuário para uma variedade de parâmetros operacionais;

[0016] A figura 7 é um fluxograma que ilustra um processo ilustrativo para ajuste de um parâmetro operacional de um dispositivo com base em uma métrica de experiência de usuário, de acordo com os aspectos dessa descrição;

[0017] A figura 8 é um fluxograma que ilustra outro processo ilustrativo para ajustar um parâmetro operacional de um dispositivo com base em uma métrica de experiência de usuário, de acordo com aspectos dessa descrição.

Descrição Detalhada

[0018] As técnicas dessa descrição incluem o ajuste de um ou mais parâmetros operacionais de um dispositivo eletrônico em resposta a uma estimativa de uma experiência de usuário. Por exemplo, um dispositivo eletrônico pode consumir energia e produzir calor durante a operação. De acordo com os aspectos dessa descrição, um dispositivo pode determinar uma métrica de experiência de usuário que fornece uma estimativa de uma experiência de usuário. O dispositivo pode ajustar por meio do tato um ou mais parâmetros operacionais com base na métrica de experiência de usuário para manter o dispositivo operando abaixo de um limite de utilização de potência alvo ou limite de temperatura, enquanto se minimiza o impacto na experiência de usuário.

[0019] A figura 1 ilustra dispositivos ilustrativos que podem implementar as técnicas dessa descrição. Em geral, as técnicas dessa descrição podem ser implementadas com dispositivos possuindo pelo menos um sensor de imagem e o processador de imagem (que pode ser configurado para imagens e/ou vídeo de alta resolução) e um limite de potência e/ou temperatura. Por exemplo, o dispositivo 20A inclui um sensor de imagem dianteiro 22A, um sensor de imagem traseiro 24A, um monitor 26A e uma janela picture-in-picture (PIP) 28A. Adicionalmente, o dispositivo 20B inclui um sensor de imagem dianteiro 22B, um sensor de imagem traseiro 24B, um monitor 26B, uma primeira janela PIP 28B e uma segunda janela PIP 30B.

[0020] Os dispositivos 20A e 20B podem compreender qualquer um dentre uma faixa ampla de dispositivos incluindo, por exemplo, aparelhos telefônicos tal como os chamados "smart phones", computadores tablet, câmeras, computadores notebook (isso é, laptop), aparelhos de mídia digital, consoles de jogos de vídeo, dispositivos de sequenciamento de vídeo, ou similares. Enquanto os dispositivos 20A e 20B podem ser dispositivos portáteis, as técnicas dessa descrição não são limitadas dessa forma. Por exemplo, de acordo com outros aspectos, as técnicas podem ser utilizadas com computadores desktop, caixas de decodificação, televisões ou outros dispositivos.

[0021] Os sensores de imagem dianteiros 22A e 22B e os sensores de imagem traseiros 24A e 24B podem ser configurados para capturar imagens. Por exemplo, os sensores de imagem dianteiros 22A e 22B e os sensores de imagem traseiros 24A e 24B podem incluir quaisquer componentes para conversão de uma imagem ótica em um sinal eletrônico. Sensores de imagem ilustrativos incluem dispositivos acoplados à carga (CCD), semicondutores de oxido de metal complementares (CMOS), semicondutor de oxido de metal tipo N (NMOS), ou similares. Em alguns casos, como descrito em maiores detalhes abaixo, os sensores de imagem dianteiros 22A e 22B e os sensores de imagem traseiros 24A e 24B podem ser incluídos em um ou mais sistemas ou subsistemas de câmera.

[0022] Os monitores 26A e 26B podem incluir um monitor de cristal líquido (LCD), um diodo de emissão de luz (LED), um diodo de emissão de luz orgânico (OLED), ou qualquer outro tipo de dispositivo que possa gerar a saída para um usuário. Em alguns casos, os monitores 26A e 26B podem ser configurados como monitores sensíveis ao toque e/ou sensíveis à presença.

[0023] No exemplo ilustrado na figura 1, o dispositivo 20A inclui a janela PIP 28A e o dispositivo 20B inclui janelas PIP 28B e 30B. Em alguns exemplos, as janelas PIP podem fornecer áreas para exibição de conteúdo independentemente de outro conteúdo sendo exibido nos monitores 26A e 26B. Por exemplo, os dispositivos 20A e/ou 20B podem ser configurados para realizar a gravação de vídeo Picture-in-picture. Nesse exemplo, o dispositivo 20A pode gravar imagens sendo exibidas no monitor 26A, enquanto a janela PIP 28A pode exibir uma imagem de um usuário capturando as imagens gravadas. Em outro exemplo, os dispositivos 20A e/ou 20B podem realizar a videoconferência em conjunto com os jogos. Por exemplo, o dispositivo 20B pode enviar um jogo de vídeo para o monitor 26B enquanto também exibe imagens de um usuário jogando o jogo de vídeo na janela PIP 28B e um oponente ou companhia do usuário (também jogando o jogo de vídeo) na janela PIP 30B. Outros exemplos também são possíveis.

[0024] Em alguns casos, os dispositivos 20A e 20B podem se aproximar ou exceder os parâmetros de operação. Como um exemplo, à medida que os dispositivos 20A e 20B realizam um número crescente de funções (por exemplo, captura de vídeo, criação de gráficos, codificação/decodificação de vídeo, exibição de vídeo, ou similares), a potência consumida pelos dispositivos 20A e 20B pode subir. Adicionalmente, em alguns casos, um ou mais componentes dos dispositivos 20A e 20B (por exemplo, uma unidade de processamento central (CPU), unidade de processamento gráfico (GPU), um subsistema de câmera, monitores 26A e 26B, ou similares, como descrito em maiores detalhes, por exemplo, com relação à figura 2) podem gerar calor como um subproduto. Algumas funções ilustrativas incluem gravação de vídeo Picture-in-picture (PIP) de alta definição quad ampla (WQHD), gravação de vídeo de definição ultra alta (UHD), jogos e vídeo conferência, criação de gráficos tridimensionais (3D) de alta resolução com vídeo conferência, ou similar.

[0025] Os dispositivos 20A e 20B podem se aproximar ou exceder os parâmetros operacionais tal como um orçamento de potência (por exemplo, 2 watts) ou um limite de temperatura. Em alguns casos, um subsistema de câmera incluindo, por exemplo, qualquer combinação de um ou mais processadores de imagem, sensores de imagem dianteiros 22A e 22B e sensores de imagem traseiros 24A e 24B, e outros componentes associados com a captura de imagens, podem contribuir para o consumo de potência e/ou geração de calor. Por exemplo, melhorias na qualidade, desempenho e/ou concorrência podem resultar em um custo com potência e/ou temperatura mais alto.

[0026] As técnicas dessa descrição incluem o ajuste de um ou mais parâmetros operacionais de um dispositivo eletrônico, tal como um dispositivo 20A ou dispositivo 20B, em resposta a uma estimativa de uma experiência de usuário. Por exemplo, de acordo com os aspectos dessa descrição, os dispositivos 20A ou 20B podem determinar uma métrica de experiência de usuário que fornece uma estimativa de uma experiência de usuário. Os dispositivos 20A ou 20B podem ajustar um ou mais parâmetros operacionais com base na métrica de experiência de usuário para manter o dispositivo operando abaixo de um limite de utilização de potência alvo ou limite de temperatura. Por exemplo, de acordo com os aspectos dessa descrição, os dispositivos 20A ou 20B podem utilizar a métrica de experiência de usuário para ajustar um ou mais dos parâmetros operacionais de uma forma que minimize o impacto da experiência de usuário, porém satisfaça o limite de utilização de potência alvo ou o limite de temperatura.

[0027] A figura 2 é um diagrama em bloco ilustrando um exemplo de um dispositivo 40 que pode ser configurado para implementar as técnicas dessa descrição. Em alguns exemplos, um ou mais componentes ilustrados e descritos com relação ao dispositivo 40 podem ser incorporados no dispositivo 20A e/ou dispositivo 20B (figura 1).

[0028] No exemplo ilustrado na figura 2, o dispositivo 40 inclui um ou mais processadores 44, memória 48 possuindo um armazenador de quadro 233 e armazenando um ou mais aplicativos 50, um processador de exibição 54, um monitor local 56, um processador de áudio 60, alto falantes 62, módulo de transporte 66, modem sem fio 68, dispositivos de entrada 72, sistemas de câmera 76, e gerenciador de temperatura/potência 80. Outros exemplos podem incluir mais ou menos componentes do que os ilustrados na figura 2. Adicionalmente, enquanto determinados componentes são descritos separadamente para fins de discussão, deve-se compreender que alguns componentes ilustrados e descritos com relação à figura 2 podem ser altamente integrados ou combinados para formar um componente único.

[0029] Cada um dos componentes 44, 48, 54, 60, 66, 72, 76 e 80 pode ser interconectado (fisicamente, de forma comunicativa, e/ou operacionalmente) para comunicações de intercomponente através dos canais de comunicação 82. Em alguns exemplos, os canais de comunicação 82 incluem um barramento de sistema, conexão de rede, estrutura de dados de comunicação interprocesso, ou qualquer outro canal para comunicação de dados.

[0030] Um ou mais processadores 44 podem ser capazes de processar instruções armazenadas na memória do dispositivo de armazenamento 48. Um ou mais dos processadores 44 podem formar uma unidade de processamento central (CPU) para o dispositivo 40. Os processadores 44 podem incluir, por exemplo, um ou mais microprocessadores, DSPs, ASICs, FPGAs, lógica discreta ou qualquer uma das combinações dos mesmos. Em alguns exemplos, os processadores 104 podem incluir lógica de função fixa e/ou lógica programável, e podem executar software e/ou firmware. Quando as técnicas são implementadas parcialmente em software, um dispositivo pode armazenar instruções para o software em um meio legível por computador não transitório adequado e executar as instruções em hardware utilizando um ou mais processadores para realizar as técnicas dessa descrição.

[0031] Em alguns exemplos, os processadores 44 podem ser configurados para codificar e/ou decodificar dados A/V para transporte, armazenamento e exibição. Por exemplo, um ou mais dos processadores 44 pode operar como um codificador de vide ou um decodificador de vídeo, qualquer um dos quais pode ser integrado como parte de um codificador/decodificador de vídeo combinado (codec). Em alguns casos, o codec pode operar de acordo com uma compressão/padrão de vídeo, tal como o padrão ITU-T H.264, alternativamente referido como MPEG-4, Parte 10, Codificação de Vídeo Avançado (AVC), ou extensões de tais padrões. Outros exemplos de padrões de compressão de vídeo incluem MPEG-2 e ITU-T H.263 e o padrão de Codificação de Vídeo de Alta Eficiência (HEVC).

[0032] Com relação a HEVC, uma imagem de vídeo pode ser dividida em uma sequência de blocos de árvore ou unidades de codificação maiores (LCU) que incluem ambas as amostras de luminescência e crominância. Os dados de sintaxe dentro de uma sequência de bits podem definir um tamanho para a LCU, que é uma unidade de codificação maior em termos de número de pixels. Uma fatia inclui um número de blocos de árvore consecutivos na ordem de codificação. Uma imagem de vídeo pode ser dividida em uma ou mais fatias. Cada bloco de árvore pode ser dividido em unidades de codificação (CUs) de acordo com um quadtree.

[0033] Uma CU possui uma finalidade similar como um macro bloco do padrão H.264, exceto que uma CU não possui uma distinção de tamanho. Uma CU inclui um nó de codificação e unidades de predição (PUs), e unidades de transformação (TUs) associadas com o nó de codificação. Em geral, uma PU representa uma área espacial correspondente a toda ou uma parte da CU correspondente, e pode incluir dados para recuperação de uma amostra de referência para a PU.

[0034] Por exemplo, a predição espacial ou temporal resulta em um bloco de predição para um bloco a ser codificado. Os dados residuais representam diferenças de pixel entre o bloco original a ser codificado e o bloco de predição. Um bloco intercodificado é codificado de acordo com o vetor de movimento que aponta para um bloco de amostras de referência formando o bloco de predição, e os dados residuais indicando a diferença entre o bloco codificado e o bloco de predição. Um bloco intracodificado é codificado de acordo com um modo de intracodificação que indica a forma na qual o bloco é previsto a partir de amostras espacialmente vizinhas e dados residuais.

[0035] Em HEVC, uma PU inclui dados relacionados com a predição. Por exemplo, quando a PU é codificada por intramodo, os dados para a PU podem ser incluídos em um quadtree residual (RQT), que pode incluir dados descrevendo um modo de intrapredição para uma TU correspondendo à PU. Como outro exemplo, quando a PU é codificada por intermodo, a PU pode incluir dados definindo um ou mais vetores de movimento para a PU.

[0036] TUs podem incluir coeficientes no domínio de transformação seguindo a aplicação de uma transformação, por exemplo, uma transformação de cosseno discreto (DCT), uma transformação de inteiros, uma transformação de wavelet, ou uma transformação conceitualmente similar aos dados de vídeo residuais. Os dados residuais podem corresponder a diferenças de pixel entre os pixels da imagem não codificada e valores de predição correspondentes às PUs. O codificador de vídeo 20 pode formar as TUs incluindo os dados residuais para a CU, e então transforma TUs para produzir coeficientes de transformação para a CU.

[0037] Seguindo a transformação, o codec pode realizar a quantização dos coeficientes de transformação. A quantização geralmente se refere a um processo no qual os coeficientes de transformação são quantizados para possivelmente reduzir a quantidade de dados utilizados para representar os coeficientes, fornecendo maior compressão. O processo de quantização pode reduzir a profundidade de bit associada com alguns ou todos os coeficientes. Por exemplo, um valor de n bits pode ser arredondado para baixo para um valor de m bits durante a quantização, onde n é maior que m.

[0038] O codec pode digitalizar os coeficientes de transformação, produzindo um vetor unidimensional a partir da matriz bidimensional incluindo os coeficientes de transformação quantizados. A digitalização pode ser projetada para colocar coeficientes de energia maiores (e, portanto, uma frequência menor) na frente do conjunto e para colocar os coeficientes de energia mais baixo (e, portanto, uma frequência maior) no fundo do conjunto. Depois da digitalização dos coeficientes de transformação quantizados para formar um vetor unidimensional, o codec pode codificar por entropia o vetor unidimensional. Em casos nos quais o codec está decodificando os dados de vídeo, o codec pode realizar a decodificação de vídeo de acordo com um processo geralmente alternado ao processo descrito acima.

[0039] Apesar de não ilustrado na figura 2, em alguns aspectos, o codec pode ser fornecido juntamente com um codificador e um decodificador de áudio. Unidades MUX- DEMUX adequadas, ou outro hardware e software, podem também ser fornecidos para manusear a codificação de áudio e vídeo em uma sequência de dados comum ou em sequências de dados separadas. Se aplicável, as unidades MUX-DEMUX podem se conformar ao protocolo multiplexador ITU H.223, ou outros protocolos, tal como o protocolo de datagrama de usuário (UDP).

[0040] A memória 48 da figura 2 pode compreender qualquer uma dentre uma variedade ampla de memória volátil ou não volátil, incluindo, mas não limitado a uma memória de acesso randômico (RAM) tal como memória de acesso randômico dinâmica sincronizada (SDRAM), memória de leitura apenas (ROM), memória de acesso randômico não volátil (NVRAM), memória de leitura apenas eletricamente programável e eliminável (EEPROM), memória de acesso randômico magnética (MRAM), memória FLASH, e similares. A memória 48 pode compreender um meio de armazenamento legível por computador para armazenar dados de áudio/vídeo, além de outros tipos de dados.

[0041] Em alguns exemplos, a memória 48 pode armazenar aplicativos 50 que são executados pelo processador 44 como parte da realização de várias técnicas descritas nessa descrição. A memória 48 também pode armazenar determinados dados A/V para apresentação pelo dispositivo 40. Por exemplo, a memória 48 pode armazenar todo o arquivo A/V, ou pode compreender um armazenador menor que simplesmente armazena uma parte de um arquivo A/V, por exemplo, sequenciado a partir de outro dispositivo ou fonte. Em qualquer caso, a memória 48 pode armazenar dados A/V antes de os dados serem apresentados pelo dispositivo 40.

[0042] Em alguns exemplos, o dispositivo 40 pode processar e exibir localmente os dados A/V. Em particular, o processador de exibição 54 pode formar uma parte de uma plataforma para processamento de dados de vídeo a serem exibidos no monitor local 56. A esse respeito, o processador de exibição 54 pode incluir um codec (como descrito acima com relação aos processadores 44) O monitor 56 pode incluir um monitor de cristal líquido (LCD), diodo de emissão de luz (LED), diodo de emissão de luz orgânica (OLED), ou qualquer outro tipo de dispositivo que possa gerar uma saída inteligível para um usuário. Adicionalmente, o processador de áudio 60 pode processar dados de áudio para enviar em um ou mais alto falantes 62.

[0043] O módulo de transporte 66 pode processar dados A/V codificados para um transporte de rede. Por exemplo, os dados A/V codificados podem ser processados pelos processadores 44 e encapsulados pelo módulo de transporte 66 em unidades de Camada de Acesso a Rede (NAL) para comunicação através de uma rede. As unidades NAL podem ser enviadas pelo modem 68 para outro dispositivo através de uma conexão de rede. A esse respeito, o modem 68 pode operar de acordo com qualquer número de técnicas de comunicação incluindo, por exemplo, técnicas de multiplexação por divisão de frequência ortogonal (OFDM), acesso múltiplo por divisão de tempo (TDMA), acesso múltiplo por divisão de frequência (FDMA), acesso múltiplo por divisão de código (CDMA), ou qualquer combinação de OFDM, FDMA, TDMA e/ou CDMA, WiFi. Bluetooth, Ethernet, a família de padrões IEEE 802.11, ou qualquer outra técnica de comunicação com ou sem fio. Em alguns casos, o modem 68 do dispositivo 40 pode receber pacotes de dados encapsulados, tal como unidades NAL, e enviar as unidades de dados encapsuladas para a unidade de transporte 66 para descapsulação. Por exemplo, a unidade de transporte 66 pode extrair pacotes de dados das unidades NAL, e os processadores 44 podem analisar os pacotes de dados para extrair os comandos de registro de usuário.

[0044] Um ou mais dispositivos de entrada 72 podem ser configurados para receber a entrada de um usuário através de retorno tátil, auditivo ou visual. Exemplos do dispositivo de entrada 42 incluem uma tela sensível ao toque e/ou à presença, um mouse, um teclado, um sistema de resposta à voz, um microfone ou qualquer outro tipo de dispositivo para detecção de um comando de um usuário.

[0045] A unidade de processamento gráfico (GPU) 74 representa um ou mais processadores dedicados para realização de operações gráficas. Isso é, por exemplo, GPU 74 pode ser uma unidade de hardware dedicada possuindo função fixa e componentes programáveis para criação de gráficos e execução de aplicativos GPU. GPU 74 também pode incluir um DSP, um microprocessador de finalidade geral, um ASIC, um FPGA ou outro conjunto de circuitos lógicos integrado ou discreto equivalente. Apesar de GPU 74 ser ilustrada como uma unidade separada no exemplo da figura 2, em alguns exemplos a GPU 74 pode ser integrada com um ou mais outros processadores 44 (tal como uma CPU) em uma unidade única.

[0046] O sistema de câmeras 76 pode incluir um ou mais processadores de imagem, um ou mais sensores de imagem (por exemplo, sensores CCD, sensores CMOS, sensores NMOS ou similares), além de vários outros componentes para captura de imagens. O sistema de câmeras 76 pode incluir um ou mais componentes para os chamados telefones de câmera ou videofones. Em alguns exemplos, o sistema de câmeras 76 pode suportar múltiplos sensores de imagem (por exemplo, um sensor de imagem dianteiro e um sensor de imagem traseiro de um telefone de câmera ou um vídeo telefone). As sequências de imagem geradas por tais sensores de imagem do sistema de câmera 76 podem ser processadas por um ou mais processadores de imagem. Em alguns casos, o sistema de câmera 76 pode operar em combinação com GPU 74 para gerar os dados com base em gráficos de computador como vídeo fonte, ou uma combinação de vídeo ao vivo, vídeo arquivado, e/ou vídeo gerado por computador. O vídeo capturado, pré- capturado ou gerado por computador pode ser codificado por um codificador de vídeo (descrito acima).

[0047] O gerenciador de temperatura/ potência 80 pode gerenciar um ou mais componentes do dispositivo 40 para manter um ou mais componentes operando em ou abaixo de um ou mais alvos característicos operacionais. Em um exemplo, o alvo característico operacional pode ser um alvo térmico (que também pode ser referido como um limite térmico) indicativo de uma temperatura operacional do dispositivo 40, de modo que o ajuste de pelo menos um parâmetro operacional do dispositivo para produzir o alvo de característica operacional compreende o ajuste de pelo menos um parâmetro operacional do dispositivo para manter uma temperatura de um ou mais componentes do dispositivo 40 igual a ou inferior ao alvo térmico. Em outro exemplo, o alvo de característica operacional compreende um alvo de potência (que também pode ser referido como um orçamento de potência ou limite de potência) indicativo de uma quantidade de potência consumida pela operação do dispositivo, de modo que o ajuste de pelo menos um parâmetro operacional do dispositivo 40 para produção do alvo de característica operacional compreenda o ajuste de pelo menos um parâmetro operacional do dispositivo 40 para manter um consumo de potência de um ou mais componentes do dispositivo 40 igual a ou inferior ao alvo de potência.

[0048] Como descrito em detalhes abaixo, o gerenciador de temperatura/ potência 80 pode ajustar um ou mais parâmetros operacionais do dispositivo 40 com base em uma métrica de experiência de usuário. Por exemplo, de acordo com os aspectos dessa descrição, o dispositivo 40 pode utilizar a métrica de experiência de usuário para ajustar um ou mais parâmetros operacionais de uma forma que minimize o impacto de uma experiência de usuário, porém, satisfaça o alvo de característica operacional.

[0049] A figura 3 ilustra um exemplo de um sistema de gerenciamento 100 de um dispositivo que pode implementar as técnicas dessa descrição. No exemplo da figura 3, o sistema de gerenciamento inclui um motor térmico de nível de sistema 102, hardware de sistema ou uma combinação de hardware e/ou software 104, um sistema de câmeras 106 possuindo uma unidde de escalonamento de taxa de quadro 108 e uma unidade de escalonamento de resolução 110, um modelo de experiência de usuário 112, um modelo de potência 114, e um gerenciador de temperatura/ potência 116. Como notado abaixo, em alguns casos, o modelo de experiência de usuário 112 e/ou o modelo de potência 114 podem ser dados armazenados em uma memória definindo os modelos para uso pelo gerenciador de temperatura/ potência 116 ou outro processador do sistema de gerenciamento 100. Em outros exemplos, o sistema de gerenciamento 100 pode incluir mais ou menos componentes do que os ilustrados na figura 3. Em alguns exemplos, o sistema de gerenciamento 100 pode ser incorporado ao dispositivo 20A, dispositivo 20B, dispositivo 40, ou qualquer número de outros dispositivos eletrônicos.

[0050] O motor térmico de nível de sistema 102 pode ser responsável pela manutenção de uma temperatura do dispositivo (ou um ou mais componentes do dispositivo) abaixo de um limite de temperatura. Em alguns exemplos, o motor térmico de nível de sistema 102 pode emitir uma solicitação de mitigação térmica (por exemplo, uma solicitação pela redução da temperatura de um ou mais componentes do dispositivo) e/ou uma limitação de orçamento de potência (por exemplo, uma limitação de consumo de potência predeterminada) para o gerenciador de temperatura/ potência 116 (solicitação de mitigação térmica ou limitação de orçamento de potência). O motor térmico de nível de sistema 102 também pode receber um aviso de recebimento, uma rejeição, e/ou uma solicitação por um aumento do orçamento de potência a partir do gerenciador de temperatura/ potência 116.

[0051] Hardware de sistema (HW de sistema) ou uma combinação de hardware e software 104 representam hardware ou uma combinação de componentes de hardware e software do dispositivo. Exemplos de hardware e/ou software 104 incluem hardware e/ou software para capturar ou processar imagens (por exemplo, um acessório de Equilíbrio Branco Automático (AWB), um acessório de Foco Automático (AF), um acessório de detecção de rosto, um Processador de Sensor de Imagem (ISP), software de detecção de face, um codec, um ou mais filtros para o processamento de imagem (tal como um filtro de passa alta), ou similar. Hardware e/ou software 104 podem, em alguns casos, fornecer informação para o gerenciador de potência térmica 116 tal como contexto de imagem. O contexto de imagem pode incluir, como exemplo, dados indicando a presença de uma face ou pele, dados indicando um nível de detalhamento nas imagens ou vídeo capturado, dados indicando movimento nas imagens ou vídeo capturado, dados indicando brilho das imagens ou vídeo capturado, uma distância de uma câmera para o conteúdo sendo capturado ou similar.

[0052] Em alguns exemplos, o sistema de câmera 106 pode ser configurado de forma similar ao sistema de câmera 76 do dispositivo 40 (figura 2). Por exemplo, o sistema de câmera 106 pode incluir um ou mais processadores de imagem, um ou mais sensores de imagem (por exemplo, sensores CCD, sensores CMOS, sensores NMOS ou similares), além de um número de outros hardwares ou uma combinação de componentes de hardware e software para captura de imagens. Em alguns exemplos, o sistema de câmera 106 pode suportar múltiplos sensores de imagem (por exemplo, um sensor de imagem dianteiro e um sensor de imagem traseiro de um telefone de câmera ou um vídeo telefone). Tais sensores de imagem do sistema de câmera 106, em alguns casos, podem ser fisicamente separados de outros componentes do dispositivo implementando o sistema de gerenciamento 100 (por exemplo, separados de um sistema em chip (SOC) do dispositivo). As sequências de imagens geradas por tais sensores de imagem do sistema de câmera 106 podem ser processadas por um ou mais processadores de imagem do sistema de câmeras 106.

[0053] No exemplo da figura 3, o sistema de câmeras 106 também inclui uma unidade de escalonamento de taxa de quadro 108 e uma unidade de escalonamento de resolução 110. A unidade de escalonamento de taxa de quadro 108 pode operar para mudar a taxa de quadro do vídeo sendo capturado pelo sistema de câmeras 106. A unidade de escalonamento de resolução 110 pode operar para mudar a resolução de imagens capturadas pelo sistema de câmeras 106. Em alguns exemplos, como descrito em maiores detalhes abaixo, a unidade de escalonamento de quadro 108 e a unidade de escalonamento de resolução 110 podem receber comandos do gerenciador de temperatura/potência 116. Por exemplo, a unidade de escalonamento de quadro 108 pode receber comandos de controle do gerenciador de temperatura/potência 116 que indica uma taxa de quadro em particular. Adicionalmente, a unidade de escalonamento de resolução 110 pode receber comandos de controle do gerenciador de temperatura/potência 116 que indica uma resolução em particular. Em alguns casos, esses sinais de controle podem ser utilizados para eliminar uma taxa de quadro preexistente e/ou configurações de resolução preexistentes, por exemplo, configuradas por outro processador ou unidade de controle.

[0054] O modelo de experiência de usuário 112 pode representar um exemplo de um modelo que fornece uma estimativa de uma experiência de usuário percebida. Por exemplo, o modelo de experiência de usuário 112 pode fornecer uma indicação empírica da experiência do usuário quando um usuário visualiza imagens ou vídeo capturado pelo sistema de câmera 76. Em alguns casos, o modelo de experiência de usuário 112 pode gerar uma indicação numérica de uma experiência de usuário relativa. Em um exemplo para fins de ilustração, o modelo de experiência de usuário 112 pode retornar uma marcação numérica em uma faixa predeterminada de valores, onde a marcação mais baixa na faixa representa a experiência de usuário menos aceitável e a marcação mais alta na faixa representa a melhor experiência de usuário. Em alguns casos, a marcação mais alta pode ser submetida às capacidades ou limitações do dispositivo e/ou sistema de câmera 76 (por exemplo, alguns dispositivos podem ser capazes de alcançar uma marcação mais alta do que outros).

[0055] Dessa forma, o modelo de experiência de usuário 112 pode fornecer uma estimativa de qualidade (ou qualidade percebida) de imagens ou vídeo sendo capturado pelo sistema de câmeras 106 e/ou apresentado em um monitor do dispositivo (tal como monitor local 56 do dispositivo 40 (figura 2)). Por exemplo, como descrito em maiores detalhes abaixo, imagens ou vídeo capturado com uma resolução relativamente maior podem resultar em um resultado relativamente maior do modelo de experiência de usuário 112. Da mesma forma, como outro exemplo, o vídeo capturado em uma taxa de quadro relativamente maior (por exemplo, 60 quadros por segundo (FPS), 30 FPS, 15 FPS ou similar) pode resultar em uma marcação relativamente mais alta do modelo de experiência de usuário.

[0056] Em alguns exemplos, como descrito em maiores detalhes abaixo, o modelo de experiência de usuário 112 pode ser configurado para determinar uma mudança na experiência de usuário resultando das mudanças para um ou mais parâmetros operacionais do dispositivo, tal como um ou mais parâmetros do sistema de câmera 106. Por exemplo, o modelo de experiência de usuário 112 pode ser configurado para determinar um aumento ou degradação antecipado da experiência de usuário resultando de uma mudança para um ou mais parâmetros operacionais do dispositivo. Essa mudança na experiência de usuário pode ser referida como um modelo de experiência de usuário 112 delta, como descrito em maiores detalhes abaixo.

[0057] Como um exemplo para fins de ilustração, o modelo de experiência de usuário 112 pode ser configurado para determinar uma mudança na experiência de usuário (por exemplo, uma mudança na qualidade como percebida por um usuário do dispositivo) produzida pela mudança de uma taxa de quadro de vídeo capturada pelo sistema de câmeras 106. Por exemplo, o aumento da taxa de quadro do sistema de câmera 106 pode produzir um aumento no resultado do modelo de experiência de usuário 112. Em outro exemplo, o modelo de experiência de usuário 112 pode ser configurado para determinar uma mudança na experiência do usuário (por exemplo, uma mudança na qualidade como percebida por um usuário do dispositivo) produzida pela alteração de uma resolução de vídeo capturado pelo sistema de câmera 106. Nesse exemplo, o aumento da resolução do sistema de câmera 106 pode produzir um aumento no resultado do modelo de experiência de usuário 112.

[0058] Em alguns exemplos, o gerenciador de temperatura/ potência 116 pode determinar o modelo de experiência e usuário 112 com base em um vetor de condições e/ou parâmetros de operação. Por exemplo, um vetor de parâmetro de operação S pode incluir um número de parâmetros operacionais incluindo uma taxa de quadro do sistema de câmera 106, uma resolução do sistema de câmera 106, e/ou um número de outros botões, tal como o modelo de experiência de usuário pode ser determinado de acordo com as seguintes equações: S = [FPS, resolução, botão1, botão2,...,botãoN] Ux = UxModel(S) onde S é um vetor de parâmetros operacionais, Ux representa um resultado de experiência de usuário, e UxModel representa um modelo de experiência de usuário que é aplicado ao vetor dos parâmetros de operação S.

[0060] Em casos nos quais o sistema de câmera 106 inclui mais de um sensor de imagem gerando mais do que uma sequência de imagem, o gerenciador de potência/temperatura 116 pode determinar o modelo de experiência de usuário 112 com base em um vetor para condições e/ou parâmetros operacionais para cada um dos sensores de imagem. Por exemplo, cada sequência de imagem do sistema de câmeras 106 pode ter seu próprio conjunto de sensores de imagem. Por exemplo, cada sequência de imagens do sistema de câmera 106 pode ter seu próprio conjunto de botões associados, e cada sequência pode ser controlada separadamente utilizando os botões. O modelo de experiência de usuário 112 pode determinar uma única estimativa de experiência de usuário com base em todos os parâmetros operacionais associados com todas as sequências de imagem.

[0061] Em um exemplo para fins de ilustração, assume-se que dois sensores de imagens IS1 e IS2 do sistema de câmera 106 geram sequências de imagem respectivas que são processadas pelo sistema de câmera 106. Nesse exemplo, cada sequência de imagens (por exemplo, uma primeira sequência associada com IS1 e uma segunda sequência de imagens associada com IS2) são controladas separadamente com botões separados, como ilustrado no vetor ilustrativo S abaixo? S = [FPS para IS1, resolução para IS1, botão1 para IS1, botão2 para IS1,...botãoN para IS1, FPS para IS2, resolução para IS2, botão1 para IS2, botão2 para IS2,...,botãoN para IS2]

[0062] Adicionalmente, um único modelo de experiência de usuário 112 pode ser determinado com base nos parâmetros de vetor S. Nesse exemplo, a experiência de usuário Ux pode ser determinada da mesma forma que a descrita com relação à equação acima: Ux = UxModel(S) onde S é o vetor dos parâmetros operacionais que inclui os parâmetros operacionais para ambos os sensores de imagem IS1 e IS2, Ux representa um resultado de experiência de usuário, e UxModel representa um modelo de experiência de usuário que é aplicado ao vetor de parâmetros operacionais S.

[0063] O modelo de potência 114 pode fornecer uma indicação de uma quantidade de potência consumida pelo dispositivo. Por exemplo, o modelo de potência 114 pode fornecer uma indicação numérica de uma quantidade de potência que é utilizada por um ou mais componentes do dispositivo (por exemplo, tal como uma CPU, GPU, sistema de câmeras 106, ou similares). Em alguns exemplos, como descrito em maiores detalhes abaixo, o modelo de potência 114 pode ser configurado para determinar uma mudança em uma quantidade de potência que será consumida pelo dispositivo resultando das mudanças de um ou mais parâmetros operacionais do dispositivo, tal como um ou mais parâmetros operacionais do sistema de câmeras 106.

[0064] Como um exemplo para fins de ilustração, o modelo de potência 114 pode ser configurado para determinar uma quantidade de economia de potência (ou um aumento na potência), por exemplo, uma redução ou aumento na quantidade de potência consumida pelo sistema de câmera 106 e/ou dispositivo, produzida pela mudança de uma taxa de quadro de vídeo capturado pelo sistema de câmeras 106. Por exemplo, a redução da taxa de quadro do sistema de câmeras 106 pode resultar em uma redução na quantidade de potência consumida pelo sistema de câmeras 106 e/ou outros componentes do dispositivo (por exemplo, uma CPU, GPU, memória ou similar). Em outro exemplo, o modelo de potência 114 pode ser configurado para determinar uma quantidade de economia de potência (ou um aumento na potência) produzida pela alteração de uma resolução de vídeo capturado pelo sistema de câmeras 106. Nesse exemplo, a redução da resolução do sistema de câmera 106 pode resultar em uma redução na quantidade de potência consumida pelo sistema de câmeras 106 e/ou outros componentes do dispositivo (por exemplo, uma CPU, GPU, memória ou similar).

[0065] Enquanto determinados exemplos descritos aqui são descritos com relação às mudanças no sistema de câmeras 106, deve-se compreender que a alteração de um ou mais parâmetros de operação de um componente em particular do dispositivo, tal como o sistema de câmera 106, pode resultar em uma alteração em cascata que afeta um número de componentes do dispositivo (por exemplo, uma CPU, GPU, memória ou similar). De acordo, meramente como um exemplo, a redução de uma taxa de quadro associada com o sistema de câmera 106 pode não resultar em uma redução em uma quantidade de potência consumida pelo sistema de câmeras 106, mas também uma redução na quantidade de potência consumida por outros componentes do dispositivo tal como uma CPU e/ou memória.

[0066] O modelo de potência 114 também pode fornecer uma indicação do calor gerado pelo dispositivo. Por exemplo, tipicamente, à medida que o dispositivo consome mais potência, a quantidade de energia térmica ou calor criada pelo dispositivo aumenta. Por exemplo, à medida que um ou mais componentes do dispositivo (tal como CPU, GPU, sistema de câmera 106, ou similar) retiram mais potência a quantidade de calor que é gerada por um ou mais componentes como um subproduto também aumenta. De acordo, o modelo de potência 114 pode ser configurado para fornecer uma estimativa de uma quantidade de calor que será gerada pelos componentes do dispositivo mediante alteração de uma característica de operação dos componentes.

[0067] O gerenciador de temperatura/potência 116 pode utilizar a informação descrita acima para ajustar um ou mais parâmetros operacionais do dispositivo, incluindo um sistema de câmeras 106. Por exemplo, como descrito em maiores detalhes abaixo, o gerenciador de temperatura/ potência 116 pode ajustar uma taxa de quadro de vídeo capturada pelo sistema de câmeras 106 pela emissão de um comando para a unidade de escalonamento de taxa de quadro 108, uma resolução de vídeo capturada pelo sistema de câmeras 106 pela emissão de um comando para a unidade de escalonamento de resolução 110, ou um número de outros parâmetros operacionais pela emissão de um comando para outras unidades do sistema de câmeras 106 (representado por elipses no exemplo da figura 3).

[0068] O gerenciador de temperatura/ potência 116 pode ajustar um ou mais "botões" de controle para manter um orçamento de potência e/ou limite térmico em particular. Em adição aos botões de escalonamento de taxa de quadro e de escalonamento de resolução descritos acima, a Tabela 1 (abaixo) inclui um número de outros botões (ou parâmetros operacionais) que podem ser ajustados pelo gerenciador de temperatura/ potência 116. Em casos nos quais o sistema de câmeras 106 inclui mais de um sensor de imagem e/ou processador de imagem, cada sensor de imagem e/ou processador de imagem pode ter diferentes configurações de parâmetro para o conjunto de botões.

[0069] De acordo com os aspectos dessa descrição, o gerenciador de temperatura/potência 116 pode receber uma solicitação de mitigação térmica (por exemplo, uma solicitação pela redução da temperatura do dispositivo e/ou um ou mais componentes do dispositivo) do motor térmico de nível de sistema 102. O gerenciador de temperatura/potência 116 pode, adicionalmente ou alternativamente, receber um limite de orçamento de potência (por exemplo, um limite de utilização de potência) indicando um limite de utilização de potência para componentes do dispositivo a partir do motor térmico de nível de sistema 102.

[0070] O gerenciador de temperatura/potência 116 pode mudar um ou mais parâmetros de operação dos componentes do dispositivo (tal como sistema de câmeras 106) para corresponder ao alvo térmico ou orçamento de potência recebido. Por exemplo, o gerenciador de temperatura/potência 116 pode ajustar um ou mais parâmetros operacionais (tal como taxa de quadro ou resolução de vídeo capturado pelo sistema de câmeras 106 ou uma variedade de outros "botões") de um ou mais componentes do dispositivo para corresponder ao alvo térmico ou orçamento de potência recebido.

[0071] Em alguns exemplos, a operação do gerenciador de temperatura/potência 116 pode ser influenciado pelo modelo de experiência de usuário 112 e/ou modelo de potência 114. Por exemplo, como descrito em maiores detalhes abaixo, o gerenciador de temperatura/potência 16 pode determinar uma métrica de experiência de usuário associada com o conteúdo capturado por uma câmera de um dispositivo. Em alguns exemplos, a métrica de experiência de usuário pode incluir um ou mais resultados do modelo de experiência de usuário 112. Adicionalmente, o gerenciador de temperatura/potência 116 pode ajustar, com base em uma mudança estimada da métrica de experiência de usuário determinada, pelo menos um parâmetro operacional do dispositivo para produzir um alvo de característica operacional (por exemplo, um alvo térmico ou orçamento de potência).

[0072] De acordo com os aspectos dessa descrição, o gerenciador de temperatura/potência 116 pode ajustar os parâmetros operacionais pela seleção de um ou mais parâmetros operacionais para minimizar ou pelo menos reduzir a experiência de usuário (como determinado utilizando-se o modelo de experiência 112) com relação à seleção de outros parâmetros operacionais. Adicionalmente ou alternativamente, o gerenciador de temperatura/potência 116 pode ajustar os parâmetros operacionais pela seleção de um ou mais parâmetros operacionais para maximizar ou pelo menos aumentar uma mudança nos parâmetros operacionais, aumentando ou potencialmente maximizando, assim, uma mudança na utilização de potência (como determinado utilizando-se o modelo de potência 114) com relação à seleção de outros parâmetros operacionais.

[0073] Em alguns exemplos, o gerenciador de temperatura/potência 116 pode determinar um ajuste de parâmetro operacional ideal que resulta na menor mudança na experiência de usuário (por exemplo, redução na experiência de usuário) e na maior mudança no consumo de potência (por exemplo, redução na potência de operação). Em alguns exemplos, como descrito em maiores detalhes com relação à figura 7, o ajuste de parâmetro operacional ideal (identificação de um ou mais parâmetros operacionais para mudança e uma quantidade para ajuste) pode ser determinado com base em uma razão de uma mudança estimada na experiência de usuário determinada para a mudança estimada na característica da operação.

[0074] Isso é, em um exemplo para fins de ilustração, o gerenciador de temperatura/potência 116 pode determinar uma razão de um delta no modelo de experiência de usuário 112 para um delta no modelo de potência 114. Nesse exemplo, o gerenciador de temperatura/potência 116 pode determinar os parâmetros operacionais e as quantidades de ajuste que produzem a razão relativamente menor.

[0075] Em alguns exemplos, o gerenciador de temperatura/potência 116 pode ser influenciado pelo contexto associado com o conteúdo sendo capturado pelo sistema de câmera 106. Por exemplo, o gerenciador de temperatura/potência 116 pode receber informação contextual referente ao conteúdo sendo capturado pelo sistema de câmeras 106 a partir de hardware de sistema ou uma combinação de hardware e software 104. O contexto ilustrativo pode incluir onde existe uma face incluída no conteúdo, a matiz e/ou cor do conteúdo (por exemplo, se existem pelo menos alguns tons de pele incluídos no conteúdo), se o conteúdo inclui uma quantidade relativamente alta de detalhamento, se o conteúdo está em movimento (por exemplo, uma quantidade de movimento associada com o conteúdo), o brilho do conteúdo, a distância entre um sensor de imagem do sistema de câmera 106 e o conteúdo, ou uma variedade de outro contexto.

[0076] O gerenciador de temperatura/potência 116 pode selecionar um parâmetro operacional para ajustar (por exemplo, uma taxa de quadro, uma resolução, ou similar) além de uma quantidade de ajuste de parâmetro de operação selecionado com base no contexto. Como um exemplo meramente para fins de ilustração, assume-se que o gerenciador de temperatura/potência 116 receba uma solicitação para reduzir o conjunto de potência e/ou temperatura associado com o dispositivo. Assume-se adicionalmente que o gerenciador de temperatura/potência 116 ajuste uma taxa de quadro e uma resolução do sistema de câmera 106 a fim de corresponder à solicitação. Nesse exemplo, se uma face for detectada no conteúdo, o gerenciador de temperatura/potência 116 pode ajustar uma taxa de quadro do sistema de câmera 106 relativamente mais do que uma resolução do sistema de câmera 106 sob a consideração de que a captura dos detalhes da face (tal como uma expressão) é relativamente mais importante para a experiência de usuário do que a captura do movimento suave (associado com a taxa de quadro). Outros exemplos são possíveis utilizando-se qualquer combinação do contexto notado acima.

[0077] Em alguns exemplos, de acordo com os aspectos dessa descrição, o gerenciador de temperatura/potência 116 pode aplicar um fator de ponderação a um ou mais parâmetros operacionais no modelo de experiência de usuário com base no contexto (por exemplo, pesos para FPS e resolução). Por exemplo, o gerenciador de temperatura/potência 116 pode determinar o modelo de experiência de usuário 112 com base nas equações abaixo: S = [FPS, resolução, botão1, botão2,...botãoN] Ux = UxModel(S) Ux = WeightedSum(UxModel_1(FPS), UxModel_2(resolution), UxModel_3(knob1)...) onde S é um vetor de parâmetros operacionais, Ux representa um resultado da experiência de usuário, e UxModel representa um modelo de experiência de usuário que é aplicado ao vetor dos parâmetros de operação S. Adicionalmente, Ux é uma função de uma soma ponderada de parâmetros operacionais, cada um dos quais inclui um fator de ponderação associada com seus respectivos modelos de experiência de usuário (UxModel_1, UxModel_2, UxModel_3, e assim por diante).

[0078] Como notado acima, em alguns exemplos, o sistema de câmera 106 pode incluir mais de um sensor de imagem e sequência de imagens associada, com botões separados para cada sequência. Em alguns casos, o vetor S pode incluir botões para todas as sequências de imagens (por exemplo, S = [FPS para IS1, resolução para IS1, botão1 para IS1, botão2 para IS1,...botãoN para IS1, FPS para IS2, resolução para IS2, botão1 para IS2, botão2 para IS2,...botãoN para IS2]). Adicionalmente, Ux pode ser uma função de uma soma ponderada de parâmetros operacionais, cada um dos quais inclui um fator de ponderação associado com seus modelos de experiência de usuário respectivos (por exemplo, Ux = WeightedSum (UxModel_1 (FPS para IS1), UxModel_2 (resolução para IS1), UxModel_3 (botão1 para IS1)...,UxModel_1 (FPS para IS2), UxModel_2 (resolução para IS2), UxModel_3 (botão1 para IS2)...))

[0079] A Tabela 2, ilustrada abaixo, ilustra os fatores de ponderação em potencial para um parâmetro operacional de taxa de quadro e um parâmetro operacional de resolução para uma variedade de contextos:

[0080] Nos exemplos acima, os fatores de ponderação podem ser selecionados para fornecer a menor degradação relativa na experiência de usuário enquanto também maximiza uma mudança no parâmetro operacional (e retirada de potência associada). Retornando-se ao exemplo acima no qual o contexto inclui a detecção de uma face, o gerenciador de temperatura/potência 116 pode ajustar uma taxa de quadro do sistema de câmera 106 de forma relativamente maior do que uma resolução do sistema de câmera 106 sob a consideração de que a captura dos detalhes da face (tal como uma expressão) são relativamente mais importantes para a experiência de usuário do que a captura de movimento suave (associado com a taxa de quadro). Nesse exemplo, como ilustrado no exemplo da Tabela 1 acima, o gerenciador de temperatura/potência 116 pode colocar um peso relativamente alto na resolução e um peso relativamente baixo na taxa de quadro. Outros exemplos são possíveis utilizando-se qualquer combinação do contexto notado acima.

[0081] De acordo, em operação, o motor térmico de nível de sistema 102 pode emitir uma solicitação de mitigação térmica e/ou um limite de orçamento de potência para o gerenciador de temperatura/potência 116. O gerenciador de temperatura/potência 116 pode acusar o recebimento da mensagem, rejeitar a solicitação, ou solicitar um orçamento de potência adicional (aviso de recebimento/rejeição/solicitação de mais orçamento de potência). Adicionalmente, o gerenciador de temperatura/potência 116 pode emitir controles e/ou comandos de eliminação para o sistema de câmera 106, incluindo comandos para o controle dos parâmetros de operação tal como uma taxa de quadro (comando emitido para a unidade de escalonamento de taxa de quadro 108), resolução (comando emitido para a unidade de escalonamento de resolução 110), ou outros parâmetros de controle (representados pela elipse).

[0082] O sistema de câmera pode fornecer retorno de temperatura para o motor térmico de nível de sistema 102 (temperatura do sistema de câmeras) além de como uma indicação dos parâmetros operacionais para o modelo de experiência de usuário 112 e modelo de potência 114.

[0083] O modelo de experiência de usuário 112 pode ser utilizado para determinar uma métrica de experiência de usuário representando uma estimativa de uma experiência de usuário com base nos parâmetros operacionais do sistema de câmeras 106 Enquanto ilustrados como uma unidade separada no exemplo da figura 3 para fins de explicação, em alguns casos, o modelo de experiência de usuário 112 pode ser dados (incluindo, por exemplo, um ou mais algoritmos de experiência de usuário) utilizados pelo gerenciador de temperatura/potência 116 para fornecer uma estimativa de uma experiência de usuário. Em outros exemplos, o modelo de experiência de usuário 112 pode incluir hardware de processamento separado, tal como hardware de função fixa ou programável. Em alguns exemplos, a métrica de experiência de usuário pode ser um valor numérico. Adicionalmente, o modelo de experiência de usuário 112 pode fornecer a estimativa da experiência de usuário para o gerenciador de temperatura/potência 116 e pode receber fatores de ponderação associados com os parâmetros operacionais.

[0084] O modelo de potência 114 pode determinar uma quantidade de potência consumida pelo dispositivo com base nos parâmetros operacionais do sistema de câmera 106. Novamente, enquanto ilustrada como uma unidade separada no exemplo da figura 3 para fins de explicação, em alguns casos, o modelo de potência 114 podem ser dados (incluindo, por exemplo, um ou mais algoritmos para determinação do consumo de potência) utilizados pelo gerenciador de temperatura/potência 116 para fornecer uma indicação de uma quantidade de potência consumida pelo dispositivo. Em outros exemplos, o modelo de potência 114 pode incluir hardware de processamento separado, tal como hardware de função programável ou fixa. O modelo de potência 114 pode fornecer uma indicação numérica de uma quantidade de potência que é utilizada por um ou mais componentes do dispositivo (por exemplo, tal como uma CPU, GPU, sistema de câmera 106, ou similar) com base na operação do sistema de câmeras 106. O modelo de potência 114 também pode (ou alternativamente) fornecer uma indicação do calor gerado pelo dispositivo. O modelo de potência 114 pode fornecer uma estimativa de potência (ou temperatura) para o gerenciador de temperatura/potência 116 e pode receber uma indicação de configurações de sistema de câmeras do gerenciador de temperatura/potência 116.

[0085] De acordo com aspectos dessa descrição, o gerenciador de temperatura/potência 116 pode ajustar um ou mais parâmetros operacionais do dispositivo, incluindo um ou mais parâmetros operacionais do sistema de câmera 106 com base na métrica de experiência de usuário (a partir do modelo de experiência de usuário 112) e/ou estimativa de potência (do modelo de potência 114). Como notado acima, em alguns casos, o gerenciador de temperatura/potência 116 pode ajustar um ou mais parâmetros operacionais possuindo um impacto relativamente baixo na experiência de usuário e um impacto relativamente alto no consumo de potência. Em alguns exemplos, o gerenciador de temperatura/potência 116 pode considerar o contexto, como recebido do hardware de sistema ou uma combinação de hardware e software 104, quando do ajuste dos parâmetros operacionais.

[0086] Como notado acima, os aspectos dessa descrição incluem a determinação de parâmetros operacionais para ajuste com base em quais parâmetros operacionais terão um impacto reduzido na experiência de usuário, mas um impacto aumentado no consumo de potência. Em alguns exemplos, o gerenciador de temperatura/potência 116 pode tentar alcançar uma troca ideal possuindo o menor impacto na experiência de usuário, mas o maior impacto no consumo de potência. Em alguns casos, uma métrica de experiência de usuário pode auxiliar na determinação.

[0087] Uma base para a métrica de experiência de usuário descrita acima pode ser encontrada no princípio de redução de retornos. Por exemplo, os sentidos humanos são imitados. Um ser humano não consegue perceber mudanças nas imagens ou vídeo além de um determinado limite de percepção. Dessa forma, como um exemplo, um usuário pode não ser capaz de perceber diferenças no vídeo apresentado acima de um limite de percepção de taxa de quadro temporal. Da mesma forma, como outro exemplo, um usuário pode não poder perceber diferenças no vídeo apresentado acima de um limite de percepção de resolução espacial.

[0088] De acordo, a relação entre uma experiência de usuário e um parâmetro operacional em particular pode não ser linear. Isso é, acima de um limite de percepção em particular, o aumento de um parâmetro operacional tal como taxa de quadro, resolução, ou uma variedade de outros parâmetros operacionais pode não produzir uma experiência de usuário melhorada.

[0089] Aspectos dessa descrição alavancam esse princípio de redução de retornos. Por exemplo, pela determinação de uma estimativa de uma experiência de usuário, parâmetros operacionais podem ser selecionados e ajustados com base em um impacto na experiência de usuário. De acordo, a economia de potência e/ou temperatura pode ser alcançada enquanto se minimiza um impacto na experiência de usuário.

[0090] As figuras 4A e 4B ilustram um exemplo de uma relação entre o consumo de potência, uma taxa de quadro, e uma experiência de usuário. A relação ilustrada nas figuras 4A e 4B pode ser utilizada para produzir uma redução de densidade de potência através de escalonamento de taxa de quadro. Em geral, os pontos ilustrados nas figuras 4A e 4B representam pontos de amostra particulares ao longo das representações de relacionamento (indicadas pelas setas).

[0091] Por exemplo, a figura 4A ilustra uma relação entre uma taxa de quadro (FPS) e o consumo de potência (potência). Nesse exemplo, à medida que um dispositivo (tal como os dispositivos descritos acima com relação às figuras 1A a 3) aumenta a taxa de quadro do vídeo capturado por uma câmera, o consumo de potência do dispositivo também aumenta.

[0092] Como ilustrado na figura 4B, à medida que o dispositivo aumenta a taxa de quadro (FPS), a experiência de usuário também aumenta. No entanto, o aumento da taxa de quadro (FPS) além de um ponto determinado resulta em pouco ou nenhum ganho na experiência de usuário.

[0093] Uma taxa de quadro reduzida pode economizar diretamente a potência ativa nos núcleos de câmera. Adicionalmente, uma taxa de quadro reduzida pode reduzir a potência devido ao tráfego de barramento. Em alguns casos, a redução da taxa de quadro também pode reduzir o carregamento de processador e a dissipação de potência por todo o dispositivo (por exemplo, uma sequência de Sistema em Chip (SoC)).

[0094] De acordo com os aspectos dessa descrição, a taxa de quadro pode se dinamicamente controlada para fornecer um gerenciamento gracioso da densidade de potência. Isso é, a taxa de quadro pode ser controlada para se alcançar um equilíbrio ideal entre a taxa de quadro e o consumo de potência, levando em consideração a experiência de usuário. Uma permuta personalizável entre a economia de potência e o desempenho de taxa de quadro pode ser alcançada.

[0095] Em alguns exemplos, a potência ativa pode ser reduzida com escalonamento FPS de núcleo de câmera (por exemplo, pulo de quadro), que pode fornecer um nível moderado de controle de densidade de potência. Em alguns casos, as sequências de programação e sincronização relativamente complexas podem ser associadas com escalonamento FPS. O controle detalhado de FPS pode ser realizado em etapas quantizadas (por exemplo, resolução 30 FPS, 29 FPS, 28 FPS, 27 FPS, ou menor detalhamento).

[0096] Em outros exemplos, a potência ativa pode ser reduzida com o controle de modo de sensor (apesar de não sensores poderem suportar essa característica). Em alguns casos, o controle de modo de sensor pode fornecer uma economia de densidade de potência relativamente melhor do que o escalonamento FPS descrito acima.

[0097] Em outros exemplos adicionais, a potência ativa pode ser reduzida com os quadros de sensor por segundo (FPS) controle (por exemplo, controle de taxa de auto quadro). Os sensores podem suportar o controle automático de taxa de quadro através do aumento de intervalo de blanking. Em alguns casos, o controle FPS pode fornecer economia de densidade de potência significativamente maior do que os exemplos acima. O controle FPS pode fornecer um controle FPS suave e linear através da programação de sensor simples.

[0098] As figuras 5A e 5B ilustram uma relação ilustrativa entre o consumo de potência, resolução e experiência de usuário. A relação ilustrada nas figuras 5A e 5B pode ser configurada para produzir uma redução de densidade de potência através do escalonamento de resolução. Em geral, os pontos ilustrados nas figuras 5A e 5B representam pontos de amostra particulares ao longo das representações de relação (indicadas pelas setas).

[0099] Por exemplo, a figura 5A ilustra uma relação entre a resolução (Res Interno) e consumo de potência (potência). Nesse exemplo, à medida que um dispositivo (tal como os dispositivos descritos acima com relação às figuras 1A a 3) aumenta a resolução do vídeo capturado por uma câmera, o consumo de potência do dispositivo também aumenta.

[0100] Como ilustrado na figura 5B, à medida que o dispositivo aumenta a resolução (Res Interno), a experiência de usuário também aumenta. No entanto, o aumento da resolução além de um determinado ponto resulta em pouco ou nenhum ganho na experiência de usuário.

[0101] Resoluções intermediárias e de saída reduzidas (para operações internas ao dispositivo, tal como processamento e/ou codificação de imagem/vídeo) podem salvar diretamente a potência ativa nos núcleos de câmera. Alavancagens de controle de resolução intermediária fluem dentro da tubulação da câmera e podem reduzir o armazenamento interno e/ou tráfego de barramento, além de hardware ou uma combinação de cargas de processamento de hardware e software. Em alguns exemplos, a redução da resolução pode economizar potência e reduzir a densidade de potência pela redução de ciclos de tarefa de processamento ativo e/ou largura de banda.

[0102] O controle de resolução dinâmica total pode permitir o gerenciamento de densidade de potência gracioso. Isso é, o controle de resolução pode fornecer uma troca personalizável para economia de potência X desempenho (por exemplo, qualidade).

[0103] Em alguns exemplos, a potência ativa pode ser reduzida pelo ajuste da resolução intermediária de câmera. A resolução de câmera interna pode ser transparente para um aplicativo e/ou usuário. A qualidade de imagem pode ser recuperada para uma perda imperceptível através do processamento interno. A redução da resolução interna pode fornecer uma economia de potência relativamente grande devido a cargas de tráfego mais leves e ciclos de tarefa ativa de núcleo. A compensação pode ser alcançada utilizando-se uma escala descendente de crominância seguida por uma escala ascendente de crominância. Em alguns casos, esse processo de escala descendente e ascendente pode ser utilizado par redução de ruído de crominância de luz baixa. No entanto, de acordo com os aspectos dessa descrição, o mesmo processo ou um processo similar pode ser utilizado para o gerenciamento de potência/temperatura.

[0104] Adicionalmente ou alternativamente, a potência ativa pode ser reduzida pelo ajuste da resolução de saída de câmera. Em alguns casos, o ajuste da resolução de saída de câmera pode incluir a intervenção de aplicativo para mudar a resolução de saída. A resolução de saída de câmera pode ser gerenciada através de toda a tubulação de criação de imagem (por exemplo, exibição de composição de câmera ou codificação de câmera).

[0105] A figura 6 ilustra modelos ilustrativos da experiência de usuário para uma variedade de parâmetros operacionais. Por exemplo, como notado acima, a relação entre uma experiência de usuário e um parâmetro operacional em particular pode não ser linear. Isso é, acima de um limite perceptual particular, o aumento de um parâmetro operacional tal como a taxa de quadro (FPS), resolução, ou uma variedade de outros parâmetros operacionais (por exemplo, outro botão) pode não produzir uma experiência de usuário melhorada.

[0106] O exemplo da figura 6 ilustra um retorno de experiência de usuário reduzido em um aumento de quantidade de processamento. A relação entre os parâmetros operacionais e uma experiência de usuário reduzida pode ser modelada com representações curvas (com pontos e setas indicando pontos de amostra ao longo das representações). Por exemplo, os pontos ilustrados na figura 6, podem ser pontos de operação, enquanto as representações podem modelar vários impactos na experiência de usuário (UX) dependendo dos pontos operacionais atuais. De acordo com os aspectos dessa descrição, um dispositivo (tal como os dispositivos descritos acima com relação às figuras de 1 a 3) pode determinar uma métrica de experiência de usuário com base nos modelos. Como notado acima, em alguns casos, o dispositivo pode determinar uma soma ponderada dos fatores de experiência de usuário. Os fatores, em alguns exemplos, podem ser ponderados com base no contexto associado com o conteúdo sendo capturado por uma câmera do dispositivo.

[0107] A figura 7 é um fluxograma que ilustra um processo ilustrativo para ajuste de um parâmetro operacional de um dispositivo com base em uma métrica de experiência de usuário, de acordo com os aspectos dessa descrição. O processo ilustrado na figura 7 pode ser realizado pelos dispositivos e sistemas ilustrados e descritos com relação às figuras de 1 a 3 acima, ou por uma variedade de outros dispositivos eletrônicos. A figura 7 é descrita com relação ao dispositivo 40 (figura 2) para fins de ilustração.

[0108] O processo na figura 7 se refere ao controle de potência e/ou temperatura. Em alguns casos, o processo da figura 7 pode ser implementado com base no consumo de potência apenas (com cálculos de consumo de potência correspondentes e um orçamento de potência, como notado abaixo). Em outros casos, o processo da figura 7 pode ser implementado com base na temperatura apenas (com as medições de temperatura correspondentes e um orçamento de temperatura, como notado abaixo). Em outros casos, o processo da figura 7 pode ser implementado com base em uma combinação de consumo de potência e temperatura. Em tais casos, ambos o consumo de potência e a temperatura podem ser monitorados. Adicionalmente, um orçamento de potência e um orçamento de temperatura podem ser utilizados para determinar quando ajustar os parâmetros operacionais. Isso é, um algoritmo predeterminado pode especificar uma prioridade entre controlar o consumo de potência e controlar a temperatura.

[0109] O dispositivo 40 pode aplicar uma configuração padrão a um vetor de condição operacional (também referido como um parâmetro operacional) S (140). O dispositivo 40 pode então determinar o consumo de potência (P) de um ou mais componentes do dispositivo 40 (tal como, por exemplo, um processador de imagem ou outros componentes do sistema de câmera 76) e/ou uma temperatura de sistema (T) do dispositivo 40 (142). Em alguns exemplos, o consumo de potência pode ser composto de um número de medições de potência a partir de componentes individuais do dispositivo 40. Da mesma forma, em alguns exemplos, a temperatura do sistema pode ser composta de várias medições de temperatura a partir de componentes individuais do dispositivo 40.

[0110] O dispositivo 40 pode determinar se o consumo de potência (P) excede um orçamento de potência predeterminado e/ou se a temperatura excede um limite de temperatura predeterminado (T) (144). Se o consumo de potência (P) exceder o orçamento de potência e/ou a temperatura (T) exceder o limite de temperatura (o sim na ramificação da etapa 144), o dispositivo 40, por exemplo, o gerenciador de temperatura/potência 80 do dispositivo 40, pode determinar um ou mais parâmetros operacionais no vetor S que, quando ajustados, produzem uma razão de experiência de usuário mínima (delta UX/delta (delta T)) (146). Por exemplo, o dispositivo 40 pode determinar a razão de experiência de usuário com base em uma mudança estimada na experiência de usuário (experiência de usuário delta) além de uma mudança estimada no consumo de potência (potência delta, ou, no caso de temperatura, temperatura delta).

[0111] Como notado acima, o dispositivo 40 pode estimar a mudança na experiência de usuário utilizando uma métrica de experiência de usuário, que pode ser composta de um ou mais modelos de experiência de usuário. Adicionalmente, o dispositivo 40 pode estimar a mudança no consumo de potência (ou temperatura) utilizando um ou mais modelos de potência ou temperatura. Pela redução e em alguns casos minimização da razão de experiência de usuário (por exemplo, experiência de usuário delta dividida por potência delta (ou temperatura delta)), dispositivo 40 pode selecionar os parâmetros operacionais que possuem um impacto relativamente baixo (por exemplo, um impacto mínimo) na experiência de usuário, mas um impacto relativamente alto (por exemplo, um impacto máximo) na economia de potência (ou temperatura).

[0112] O dispositivo 40 pode então reduzir os parâmetros determinados no vetor S (148). Adicionalmente, o dispositivo 40 pode aplicar novo vetor de condição operacional S ao sistema, ajustando, assim, um ou mais parâmetros operacionais do dispositivo (150).

[0113] Retornando-se à etapa 144, se o consumo de potência (P) for menor do que o orçamento de potência e/ou temperatura (T) for menor do que o limite de temperatura (não na etapa 144), o dispositivo 40 pode determinar um ou mais parâmetros operacionais no vetor S que, quando ajustados, produzem uma maior razão de experiência de usuário (por exemplo, um máximo) (delta UX/delta P (ou delta T)) (152). Por exemplo, o dispositivo 40 pode determinar a razão de experiência de usuário com base em uma mudança estimada na experiência de usuário (experiência de usuário delta) além de uma mudança estimada no consumo de potência (potência delta, ou, no caso de temperatura, temperatura delta).

[0114] Novamente, o dispositivo 40 pode estimar a mudança na experiência de usuário utilizando uma métrica de experiência de usuário, que pode ser composta de um ou mais modelos de experiência. Adicionalmente, o dispositivo 40 pode estimar a mudança no consumo de potência (ou temperatura) utilizando um ou mais modelos de potência ou temperatura. Pelo aumento (por exemplo, maximização) da razão de experiência de usuário (por exemplo, experiência de usuário delta dividida pela potência delta (ou temperatura delta)), o dispositivo pode selecionar os parâmetros operacionais que possuem um impacto relativamente grande (por exemplo, máximo) na experiência de usuário, mas uma mudança de potência (ou temperatura) relativamente baixa (por exemplo, minimizada). Isso é, o dispositivo 40 seleciona um ou mais parâmetros operacionais que, quando ajustados, produzem um aumento na experiência de usuário, mas não aumentam drasticamente o consumo de potência ou temperatura do dispositivo 40.

[0115] O dispositivo 40 pode então aumentar os parâmetros determinados no vetor S (154). Adicionalmente, o dispositivo 40 pode aplicar o novo vetor de condição operacional S ao sistema, ajustando, assim, um ou mais parâmetros operacionais do dispositivo (150).

[0116] Depois do ajuste dos um ou mais parâmetros operacionais do dispositivo (150), por exemplo, pela aplicação do novo vetor de condição operacional S para o sistema, o dispositivo 40 pode determinar se a experiência de usuário (UX) é maior do que um limite mínimo de experiência de usuário (156). Se a experiência de usuário (UX) for inferior ao mínimo (ramificação não na etapa 156), o dispositivo 40 pode retornar para a etapa 142 para ajuste adicional dos parâmetros operacionais para aumentar a experiência de usuário. Se a experiência de usuário (UX) for maior do que ou igual ao mínimo (ramificação sem na etapa 156), o dispositivo 40 pode solicitar orçamento de potência adicional ou um aumento no limite de temperatura de um motor térmico de nível de sistema e atualizar o orçamento ou limite se permitido (158). Em outros exemplos, o dispositivo 40 pode continuar a monitorar a experiência de usuário (UX) até que a experiência de usuário se encontre abaixo do limite mínimo de experiência de usuário.

[0117] Deve-se compreender que as etapas ilustradas e descritas com relação à figura 7 são fornecidas meramente como um exemplo. Isso é, as etapas do método da figura 7 não precisam necessariamente ser realizadas na ordem ilustrada na figura 7, e menos, mais ou outras etapas podem ser realizadas.

[0118] A figura 8 é um fluxograma que ilustra outro processo ilustrativo para ajuste de um parâmetro operacional de um dispositivo com base em uma métrica de experiência de usuário, de acordo com os aspectos dessa descrição. O processo ilustrado na figura 8 pode ser realizado pelos dispositivos e sistemas ilustrados e descritos com relação às figuras de 1 a 3 acima, ou por uma variedade de outros dispositivos eletrônicos. A figura 8 é descrita com relação ao dispositivo 40 (figura 2) para fins de ilustração.

[0119] O dispositivo 40 pode determinar uma métrica de experiência de usuário associada com o conteúdo capturado por uma câmera do dispositivo eletrônico (166). De acordo com os aspectos dessa descrição, o dispositivo 40 pode determinar automaticamente a métrica de experiência de usuário. Por exemplo, o dispositivo 40 pode determinar automaticamente a métrica de experiência de usuário sem registro de um usuário.

[0120] O dispositivo 40 pode, em alguns exemplos, determinar uma métrica de experiência de usuário, pela aplicação de um modelo de experiência de usuário para cada parâmetro operacional do dispositivo 40 para gerar um ou mais fatores de experiência de usuário. O dispositivo 40 pode calcular uma soma de um ou mais fatores de experiência de usuário. Em alguns casos, o cálculo da soma dos fatores de experiência de usuário pode incluir a aplicação, com base no contexto associado com o conteúdo, de um ou mais fatores de ponderação a um ou mais dentre os fatores de experiência de usuário para produzir um ou mais fatores de experiência de usuário ponderados. O dispositivo 40 pode então calcular uma soma ponderada dos fatores de experiência de usuário ponderados.

[0121] O dispositivo 40 também ajusta, com base em uma mudança estimada na métrica de experiência de usuário determinada, pelo menos um parâmetro operacional do dispositivo para produzir um alvo de característica operacional (168). Como notado acima com relação à figura 3, os parâmetros operacionais ilustrativos incluem um ou mais dentre uma taxa de quadro, uma resolução, um aplicativo de software operando no dispositivo, um ou mais parâmetros operacionais associados com um ou mais componentes de hardware de um subsistema de câmera que inclui a câmera, um sensor para a câmera capturando o conteúdo, ou similar.

[0122] De acordo com os aspectos dessa descrição, o dispositivo 40 pode ajustar o parâmetro operacional com base no contexto de conteúdo capturado pela câmera. O dispositivo 40 pode ajustar o parâmetro operacional com base no fato de se o conteúdo inclui como exemplos, uma presença de uma face no conteúdo, presença de um matiz de pele no conteúdo, uma frequência de conteúdo, uma estimativa de movimento associada com o conteúdo, um brilho de conteúdo, um comprimento focal de conteúdo, ou similar. Em um exemplo para fins de ilustração, assume-se que os parâmetros operacionais sendo ajustados incluem resolução e taxa de quadro. Nesse exemplo, o dispositivo 40 pode ajustar a resolução mais (ou menos) que a taxa de quadro, dependendo do conteúdo sendo capturado.

[0123] Em um exemplo, o dispositivo 40 pode determinar se uma face está presente no conteúdo capturado como contexto. Nesse exemplo, o dispositivo 40 pode a plicar um modelo de experiência de usuário à taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicar um modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução. O dispositivo 40 pode aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação ao fator de experiência de usuário de resolução, onde o primeiro fator de ponderação é inferior ao segundo fator de ponderação.

[0124] Em outro exemplo, o dispositivo 40 pode determinar se um matiz associado com um tom de pele está presente no conteúdo capturado como contexto. Nesse exemplo, o dispositivo 40 pode aplicar um modelo de experiência de usuário à taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicar um modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução. O dispositivo 40 pode aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação ao fator de experiência de usuário de resolução, onde o primeiro fator de ponderação é inferior ao segundo fator de ponderação.

[0125] Em outro exemplo, o dispositivo 40 pode determinar uma frequência de conteúdo capturado como contexto. Nesse exemplo, o dispositivo 40 pode aplicar um modelo de experiência de usuário à taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicar um modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução. O dispositivo 40 pode aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação ao fator de experiência de usuário de resolução, onde o primeiro fator de ponderação é inferior ao segundo fator de ponderação quando a frequência excede um limite predeterminado.

[0126] Em outro exemplo, o dispositivo 40 pode determinar uma estimativa de movimento no conteúdo capturado como contexto. Nesse exemplo, o dispositivo 40 pode aplicar um modelo de experiência de usuário à taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicar um modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução. O dispositivo 40 pode aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação ao fator de experiência de usuário de resolução, onde o primeiro fator de ponderação é maior do que o segundo fator de ponderação quando a estimativa de movimento excede um limite predeterminado.

[0127] Em outro exemplo, o dispositivo 40 pode determinar uma estimativa de brilho no conteúdo capturado como contexto. Nesse exemplo, o dispositivo 40 pode aplicar um modelo de experiência de usuário à taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicar um modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução. O dispositivo 40 pode aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação para o fator de experiência de usuário de resolução, onde o primeiro fator de ponderação é maior do que o segundo fator de ponderação quando a estimativa de brilho excede um limite predeterminado.

[0128] Em outro exemplo, o dispositivo 40 pode determinar um comprimento focal de conteúdo como contexto. Nesse exemplo, o dispositivo 40 pode aplicar um modelo de experiência de usuário à taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicar um modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução. O dispositivo 40 pode aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação ao fator de experiência de usuário de resolução, onde o primeiro fator de ponderação é inferior ao segundo fator de ponderação quando o comprimento focal é inferior a um limite predeterminado.

[0129] Em alguns exemplos, de acordo com aspectos dessa descrição, o dispositivo pode ajustar os parâmetros operacionais para minimizar o impacto na experiência de usuário. Adicionalmente, o dispositivo pode selecionar de forma inteligente um ou mais parâmetros com relação a outros parâmetros com base em seu impacto na experiência de usuário. Por exemplo, o dispositivo pode selecionar um ou mais parâmetros operacionais a partir de uma pluralidade de parâmetros operacionais para minimizar a redução na métrica de experiência de usuário com relação à seleção de outro dos parâmetros operacionais.

[0130] Dessa forma, em alguns casos, o alvo de característica operacional pode ser um orçamento de potência predeterminado (que também pode ser referido como um limite de potência). Em tais casos, quando uma retirada de potência de um ou mais componentes do dispositivo 40 excede o orçamento de potência predeterminado, o dispositivo 40 pode ajustar pelo menos um dos parâmetros operacionais pela determinação de um ou mais parâmetros operacionais dentre uma pluralidade de parâmetros que, quando ajustados, produzem a maior mudança na retirada de potência do dispositivo 40 e a menor mudança na métrica de experiência de usuário com relação a outros parâmetros operacionais dentre a pluralidade

[0131] Da mesma forma, em alguns casos, o alvo de característica operacional pode ser um limite de temperatura predeterminado (que também pode ser referido como um limite térmico). Em tais casos, quando uma temperatura de um ou mais componentes do dispositivo 40 excede o limite de temperatura predeterminado, o dispositivo 40 pode ajustar os pelo menos uns parâmetros operacionais pela determinação de um ou mais parâmetros operacionais de uma pluralidade de parâmetros que, quando ajustados, produzem a maior mudança na temperatura do dispositivo 40 e a menor mudança na métrica de experiência de usuário com relação a outros parâmetros operacionais da pluralidade.

[0132] Em alguns exemplos, de acordo com os aspectos dessa descrição, o dispositivo 40 pode ajustar pelo menos um parâmetro operacional com base em uma razão de mudança estimada na característica operacional para a mudança estimada na experiência de usuário determinada.

[0133] O dispositivo 40 pode, em alguns exemplos, ajustar o um parâmetro operacional com base em uma soma ponderada de fatores de experiência de usuário, como notado acima. Em um exemplo para fins de ilustração, assume-se que os parâmetros operacionais incluam uma taxa de quadro e uma resolução. Assume-se adicionalmente que o contexto associado com o conteúdo inclua pelo menos um dentre presença de uma face no conteúdo, presença de um matiz de pele no conteúdo, uma frequência de conteúdo, uma estimativa de movimento associada com o conteúdo, um brilho de conteúdo, ou um comprimento focal de conteúdo. Nesse exemplo, a aplicação do modelo de experiência de usuário a cada um dos parâmetros operacionais pode incluir a aplicação de um modelo de experiência de usuário à taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicando o modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução. O dispositivo 40 pode aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação diferente ao fator de experiência de usuário de resolução com base no contexto.

[0134] Deve-se compreender que as etapas ilustradas e descritas com relação à figura 8 são fornecidas meramente como um exemplo. Isso é, as etapas do método da figura 8 não precisam ser realizadas necessariamente na ordem ilustrada na figura 8, e menos, mais ou outras etapas podem ser realizadas.

[0135] Dessa forma, as técnicas dessa descrição podem fornecer uma ou mais vantagens sobre outras técnicas de controle de potência e/ou temperatura. Por exemplo, um dispositivo pode realizar tipicamente a aceleração de relógio (limitação de frequência) quando uma temperatura se tornar mais alta do que o limite. De acordo com aspectos dessa descrição, o dispositivo pode controlar resolução de captura de imagem/taxa de quadro/outros controles (controle de carga de trabalho de imagem) em vez de apenas controle de relógio.

[0136] Um dispositivo pode ter tipicamente muitos relógios diferentes para vários blocos de função. A aceleração de relógio pode ser aplicada a poucos blocos de função alcançando apenas a aceleração de relógio parcial e a redução de potência parcial (e nada para alguns blocos de função). De acordo com os aspectos dessa descrição, o dispositivo pode ter um controle profunda através de todo o fluxo de sistema de câmeras incluindo, por exemplo, um módulo de sensor de câmera externo, componentes de processamento de imagem e leitura/escrita de memória.

[0137] Um dispositivo pode realizar tipicamente o controle de taxa de quadro através do pulo de quadro. De acordo com os aspectos dessa descrição, o dispositivo pode ter um controle de taxa de quadro mais fino através de interfaces mais simples para o gerenciador térmico ciente da experiência de usuário (por exemplo, utilizando um controle de taxa de quadro automático através de aumento de intervalo de blanking), que pode produzir uma economia de potência significativamente mais alta.

[0138] Um dispositivo pode tipicamente não ter qualquer consideração pelo impacto na experiência de usuário quando ajustando os overages de potência e temperatura. De acordo com aspectos dessa descrição, como descrito acima, o dispositivo pode equilibrar a degradação na resolução de imagem/taxa de quadro/outros parâmetros operacionais com base em um modelo de experiência de usuário que considera o impacto na experiência de usuário.

[0139] Um dispositivo pode ter tipicamente controles passivos com relação a um orçamento de potência (por exemplo, nenhuma negociação de orçamento de potência). De acordo com os aspectos dessa descrição, se a resolução de qualidade de imagem quantificada (por exemplo, experiência de usuário)/taxa de quadro/outros parâmetros operacionais se tornarem inferiores a um limite, o dispositivo pode rejeitar a solicitação de redução de potência do motor térmico ou solicitar mais orçamento de potência do mesmo.

[0140] Deve-se compreender também que, dependendo do exemplo, determinados atos ou eventos de qualquer um dos métodos descritos aqui pode ser realizado em uma sequência diferente, podem ser adicionados, misturados, ou deixados de fora completamente (por exemplo, nem todos os atos descritos ou eventos são necessários para a prática do método). Ademais, em determinados exemplos, atos ou eventos podem ser realizados simultaneamente, por exemplo, através de processamento de múltiplas sequências, processamento interrompido, ou múltiplos processadores, em vez de sequencialmente.

[0141] Ademais, em um ou mais exemplos, as funções descritas aqui podem ser implementadas em hardware, software, firmware, ou qualquer combinação dos mesmos. Se implementadas em software, as funções podem ser armazenadas em ou transmitidas como uma ou mais instruções ou código em um meio legível por computador e executadas por uma unidade de processamento com base em hardware. O meio legível por computador pode incluir meio de armazenamento legível por computador, que corresponde a um meio tangível, tal como meio de armazenamento de dados, ou meio de comunicação incluindo qualquer meio que facilite a transferência de um programa de computador de um lugar para outro, por exemplo, de acordo com um protocolo de comunicação.

[0142] Dessa forma, o meio legível por computador geralmente pode corresponder a (1) meio de armazenamento legível por computador tangível que é não transitório ou (2) um meio de comunicação tal como um sinal ou onda portadora. O meio de armazenamento de dados pode ser qualquer meio disponível que possa ser acessado por um ou mais computadores ou um ou mais processadores para recuperar instruções, código e/ou estruturas de dados para implementação de técnicas descritas nessa descrição. Um produto de programa de computador pode incluir um meio legível por computador. Por meio de exemplo, e não de limitação, tal meio de armazenamento legível por computador pode compreender RAM, ROM, EEPROM, CD-ROM ou outro armazenamento em disco ótico, armazenamento em disco magnético, ou outros dispositivos de armazenamento magnético, memória flash, ou qualquer outro meio que possa ser utilizado para armazenar o código de programa desejado na forma de instruções ou estruturas de dados e que possa ser acessado por um computador.

[0143] Além disso, qualquer conexão é adequadamente chamada de meio legível por computador. Por exemplo, se instruções forem transmitidas a partir de um sítio da rede, servidor ou outra fonte remota utilizando-se um cabo coaxial, um cabo de fibra ótica, um par torcido, uma linha de assinante digital (DSL), ou tecnologias sem fio tal como infravermelho, rádio e micro-ondas, então o cabo coaxial, o cabo de fibra ótica, o par torcido, DSL ou tecnologias sem fio tal como infravermelho, rádio e microondas são incluídos na definição de meio.

[0144] Deve-se compreender, no entanto, que o meio de armazenamento legível por computador e o meio de armazenamento de dados não incluem conexões, ondas portadoras, sinais ou outro meio transiente, mas, em vez disso, são direcionados para o meio de armazenamento tangível não transiente. Disquete e disco, como utilizados aqui, incluem disco compacto (CD), disco a laser, disco ótico, disco versátil digital (DVD), disquete e disco blu- ray onde disquetes normalmente reproduzem os dados magneticamente, enquanto discos reproduzem os dados oticamente com lasers. Combinações do acima exposto devem ser incluídas também no escopo de meio legível por computador.

[0145] Instruções podem ser executadas por um ou mais processadores, tal como um ou mais DSPs, microprocessadores de finalidade geral, ASICs, FPGAs, ou outro conjunto de circuitos lógicos equivalentes integrados ou discretos. De acordo, o termo "processador", como utilizado aqui pode se referir a qualquer uma dentre a estrutura acima ou qualquer outra estrutura adequada para implementação das técnicas descritas aqui. Adicionalmente, em alguns aspectos, a funcionalidade descrita aqui pode ser fornecida dentro de hardware dedicado e/ou módulos de software configurados para codificação e decodificação, ou incorporados em um codec combinado. Além disso, as técnicas podem ser totalmente implementadas em um ou mais circuitos ou elementos lógicos.

[0146] As técnicas dessa descrição podem ser implementadas em uma ampla variedade de dispositivos ou aparelhos, incluindo um aparelho sem fio, um circuito integrado (IC) ou um conjunto de ICs (por exemplo, um conjunto de chip). Vários componentes, módulos ou unidades são descritos nessa descrição para enfatizar os aspectos funcionais dos dispositivos configurados para realizar as técnicas descritas, mas não exigem necessariamente a realização por diferentes unidades de hardware. Em vez disso, como descrito acima, várias unidades podem ser combinadas em uma unidade de hardware codec ou fornecidas por uma coleção de unidades de hardware interoperacionais, incluindo um ou mais processadores como descrito acima, em conjunto com software e/ou firmware adequado.

[0147] Vários aspectos da descrição foram descritos. Esses e outros aspectos estão dentro do escopo das reivindicações em anexo.

Claims

1. Método que compreende: determinar (116), por meio de um dispositivo eletrônico, uma métrica de experiência de usuário associada a conteúdo capturado por pelo menos uma câmera do dispositivo eletrônico; determinar um consumo de potência de um ou mais componentes do dispositivo em relação a um orçamento de potência predeterminado; e ajustar (168) uma pluralidade de parâmetros operacionais do dispositivo com base no orçamento de potência predeterminado, o método caracterizado pelo fato de que, quando o consumo de potência exceder o orçamento de potência predeterminado, ajustar o pelo menos um parâmetro operacional compreende: determinar um ou mais parâmetros operacionais da pluralidade de parâmetros operacionais que, quando ajustados, produzem a maior mudança no consumo de potência do dispositivo e a menor mudança na métrica de experiência de usuário em relação a pelo menos um outro parâmetro operacional da pluralidade de parâmetros operacionais; ajustar o parâmetro operacional determinado; e em que a métrica de experiência de usuário é baseada em um modelo de experiência de usuário que tem uma pluralidade de fatores associados à captura ou ao processamento do conteúdo e fornece uma estimativa de uma experiência de usuário quando o conteúdo capturado por pelo menos uma câmera é visualizado.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o ajuste da pluralidade de parâmetros operacionais do dispositivo compreende adicionalmente ajustar o pelo menos um parâmetro operacional com base em um contexto do conteúdo.

3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que o pelo menos um parâmetro operacional compreende uma taxa de quadro e uma resolução; e o ajuste do pelo menos um parâmetro operacional compreende ajustar a taxa de quadro, uma entre mais ou menos do que a resolução com base no contexto.

4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que o contexto compreende pelo menos um dentre uma presença de uma face no conteúdo, uma presença de um matiz de pele no conteúdo, uma frequência do conteúdo, uma estimativa de movimento associada ao conteúdo, um brilho do conteúdo ou um comprimento focal do conteúdo.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato que a pelo menos uma câmera compreende uma pluralidade de câmeras e em que o ajuste da pluralidade de parâmetros operacionais do dispositivo compreende ajustar separadamente pelo menos um parâmetro operacional para cada câmera dentre a pluralidade de câmeras.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: determinar uma temperatura de um ou mais componentes do dispositivo em relação ao limite de temperatura predeterminado; em que, quando a temperatura exceder o limite de temperatura predeterminado, o ajuste do pelo menos um parâmetro operacional do dispositivo compreende: determinar um parâmetro operacional dentre a pluralidade de parâmetros operacionais que, quando ajustado, produz a maior mudança na temperatura dos um ou mais componentes do dispositivo e a menor mudança na métrica de experiência de usuário em relação a pelo menos um outro parâmetro operacional dentre a pluralidade de parâmetros operacionais; e ajustar o parâmetro operacional determinado.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o ajuste dos um ou mais parâmetros operacionais determinados compreende ajustar os um ou mais parâmetros operacionais determinados com base em uma razão de uma mudança estimada no consumo de potência pela mudança estimada na métrica de experiência de usuário determinada.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a determinação da métrica de experiência de usuário compreende adicionalmente: aplicar um modelo de experiência de usuário a cada um dentre a pluralidade de parâmetros operacionais para gerar uma pluralidade de fatores de experiência de usuário; calcular uma soma da pluralidade de fatores de experiência de usuário; e em que o ajuste dos um ou mais parâmetros operacionais determinados compreende ajustar os um ou mais parâmetros operacionais determinados com base, pelo menos parcialmente, na soma calculada.

9. Método, de acordo com a reivindicação 8, caracterizado pelo fato de que o cálculo da soma da pluralidade de fatores de experiência de usuário compreende adicionalmente: aplicar um ou mais fatores de ponderação a um ou mais dentre os fatores de experiência de usuário para produzir um ou mais fatores de experiência de usuário ponderados; calcular uma soma ponderada dos fatores de experiência de usuário ponderados; e em que o ajuste dos um ou mais parâmetros operacionais determinados compreende ajustar os um ou mais parâmetros operacionais determinados com base, pelo menos parcialmente, na soma ponderada calculada.

10. Método, de acordo com a reivindicação 9 caracterizado pelo fato de que os um ou mais parâmetros operacionais determinados compreendem uma taxa de quadro e uma resolução, em que o um ou mais fatores de ponderação são baseados em um contexto determinado a partir do conteúdo, em que os contextos incluem determinação de uma presença de uma face no conteúdo, uma presença de um matiz de pele no conteúdo, uma frequência do conteúdo, uma estimativa de movimento associada ao conteúdo, um brilho do conteúdo ou um comprimento focal do conteúdo, em que a aplicação do modelo de experiência de usuário a cada um dos pelo menos um parâmetros operacionais compreende aplicar o modelo de experiência de usuário para a taxa de quadro para gerar um fator de experiência de usuário de taxa de quadro e aplicar o modelo de experiência de usuário à resolução para gerar um fator de experiência de usuário de resolução; e em que aplicar os um ou mais fatores de ponderação compreende aplicar um primeiro fator de ponderação ao fator de experiência de usuário de taxa de quadro e um segundo fator de ponderação diferente ao fator de experiência de usuário de resolução.

11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a pluralidade de parâmetros operacionais compreende pelo menos dois dentre uma taxa de quadro, uma resolução, um ou mais parâmetros operacionais associados a um ou mais componentes de hardware de pelo menos um subsistema de câmera que inclui a pelo menos uma câmera ou pelo menos um sensor para a pelo menos uma câmera que captura o conteúdo.

12. Aparelho que compreende: meios (112) para determinar uma métrica de experiência de usuário associada a conteúdo capturado por pelo menos uma câmera de um dispositivo eletrônico; meios para determinar um consumo de potência de um ou mais componentes do dispositivo em relação a um orçamento de potência predeterminado; e meios (116) para ajustar uma pluralidade de parâmetros operacionais do dispositivo com base no orçamento de potência predeterminado; o aparelho caracterizado pelo fato de que os meios para ajustar a pluralidade de parâmetros operacionais compreendem: meios para determinar, com base no consumo de potência excedendo o orçamento de potência predeterminado, um ou mais parâmetros operacionais dentre a pluralidade de parâmetros operacionais que, quando ajustados, produzem a maior mudança no consumo de potência e a menor mudança na métrica de experiência de usuário em relação a pelo menos um outro parâmetro operacional da pluralidade de parâmetros operacionais; meios para ajustar o parâmetro operacional determinado; e em que a métrica de experiência de usuário é baseada em um modelo de experiência de usuário que tem uma pluralidade de fatores associados à captura ou ao processamento do conteúdo e fornece uma estimativa de uma experiência de usuário quando o conteúdo capturado por pelo menos uma câmera é visualizado.

13. Memória legível por computador caracterizada pelo fato de que compreende instruções armazenadas na mesma que, quando executadas, fazem com que um computador realize o método conforme definido em qualquer uma das reivindicações 1 a 11.